“LLMは、常に「採点者に丸をもらえる回答はどれか」というクイズを解いている。そう訓練された。 ハーネスエンジニアリングとかは、LLMが丸をもらう最短経路とユーザーの目的達成が一致するように設計する仕事”
テスト通すためにアサーション緩めたりテスト側を書き換えるの、人間でもよく見る光景で草生える
『テストを触るな』と頼む限り握り潰しは消えない。受け入れテストをエージェントの書込み範囲外に置き、報酬信号を読み取り専用にして初めて抜け道が構造的に塞がる
なるほど！！！！！！検収を敵対的にやらせればいいんだ！！！！！！
ブレてるから。コマンド使え
正直テスターとか二次検証者は重箱の隅ネチネチ突きまくってる性格が悪い人の方が向いてる思うことは多々あるからな…。そのへんの再現がAIには難しそうなイメージ。
人間のマネジメントと同じってのがなかなか悲しいものがあります。人間も同じようなものなのかもしれません
AIエージェントはなぜテストを握り潰すのか ― 報酬エンジニアリングのすすめ
“LLMは、常に「採点者に丸をもらえる回答はどれか」というクイズを解いている。そう訓練された。 ハーネスエンジニアリングとかは、LLMが丸をもらう最短経路とユーザーの目的達成が一致するように設計する仕事”
テスト通すためにアサーション緩めたりテスト側を書き換えるの、人間でもよく見る光景で草生える
『テストを触るな』と頼む限り握り潰しは消えない。受け入れテストをエージェントの書込み範囲外に置き、報酬信号を読み取り専用にして初めて抜け道が構造的に塞がる
なるほど！！！！！！検収を敵対的にやらせればいいんだ！！！！！！
ブレてるから。コマンド使え
正直テスターとか二次検証者は重箱の隅ネチネチ突きまくってる性格が悪い人の方が向いてる思うことは多々あるからな…。そのへんの再現がAIには難しそうなイメージ。
人間のマネジメントと同じってのがなかなか悲しいものがあります。人間も同じようなものなのかもしれません