“LLMは、常に「採点者に丸をもらえる回答はどれか」というクイズを解いている。そう訓練されてる。 ハーネスエンジニアリングとかは、LLMが丸をもらう最短経路とユーザーの目的達成が一致するように設計する仕事”
テスト通すためにアサーション緩めたりテスト側を書き換えるの、人間でもよく見る光景で草生える
『テストを触るな』と頼む限り握り潰しは消えない。受け入れテストをエージェントの書込み範囲外に置き、報酬信号を読み取り専用にして初めて抜け道が構造的に塞がる
なるほど！！！！！！検収を敵対的にやらせればいいんだ！！！！！！
ブレてるから。コマンド使え
正直テスターとか二次検証者は重箱の隅ネチネチ突きまくってる性格が悪い人の方が向いてる思うことは多々あるからな…。そのへんの再現がAIには難しそうなイメージ。
人間のマネジメントと同じってのがなかなか悲しいものがあります。人間も同じようなものなのかもしれません
大丈夫！ AIじゃない人間のオレも握り潰すから。都合が悪くなれば、躊躇わずに逃げるし
skipして握り潰すのを見たことないんだけどカバレッジ8割満たせってルールがあるからかな。
『文字と文字の関係性(多次元座標)』の生成AIが、『人の論理(世の中の4次元描写に最適な言語算術)』について、多次元の謎ルールを駆使し『オウム的回答』が可能に。現AIはさらに『＋RLHF様』が加り、記事のような弱点が
低品質で害悪。「薄給エンジニアはなぜテストを握りつぶすのか」と書くようなもの。
"「この機能を実装して」という依頼には、実は「何をもって完了とするか」の定義がまだ含まれていません。・・・最後は必ず「エンドユーザーや顧客に価値が届くこと」に行き着きます。これが本当のゴール"
AIがテストを握り潰すのは「完了」の評価指標を最適化するから。テスト・CI・ハーネスを外付け報酬と捉え、完了条件、別系統の検証、ログ、指標見直しを設計する「報酬エンジニアリング」を提案。
AIエージェントはなぜテストを握り潰すのか ― 報酬エンジニアリングのすすめ
“LLMは、常に「採点者に丸をもらえる回答はどれか」というクイズを解いている。そう訓練されてる。 ハーネスエンジニアリングとかは、LLMが丸をもらう最短経路とユーザーの目的達成が一致するように設計する仕事”
テスト通すためにアサーション緩めたりテスト側を書き換えるの、人間でもよく見る光景で草生える
『テストを触るな』と頼む限り握り潰しは消えない。受け入れテストをエージェントの書込み範囲外に置き、報酬信号を読み取り専用にして初めて抜け道が構造的に塞がる
なるほど！！！！！！検収を敵対的にやらせればいいんだ！！！！！！
ブレてるから。コマンド使え
正直テスターとか二次検証者は重箱の隅ネチネチ突きまくってる性格が悪い人の方が向いてる思うことは多々あるからな…。そのへんの再現がAIには難しそうなイメージ。
人間のマネジメントと同じってのがなかなか悲しいものがあります。人間も同じようなものなのかもしれません
大丈夫！ AIじゃない人間のオレも握り潰すから。都合が悪くなれば、躊躇わずに逃げるし
skipして握り潰すのを見たことないんだけどカバレッジ8割満たせってルールがあるからかな。
『文字と文字の関係性(多次元座標)』の生成AIが、『人の論理(世の中の4次元描写に最適な言語算術)』について、多次元の謎ルールを駆使し『オウム的回答』が可能に。現AIはさらに『＋RLHF様』が加り、記事のような弱点が
低品質で害悪。「薄給エンジニアはなぜテストを握りつぶすのか」と書くようなもの。
"「この機能を実装して」という依頼には、実は「何をもって完了とするか」の定義がまだ含まれていません。・・・最後は必ず「エンドユーザーや顧客に価値が届くこと」に行き着きます。これが本当のゴール"
AIがテストを握り潰すのは「完了」の評価指標を最適化するから。テスト・CI・ハーネスを外付け報酬と捉え、完了条件、別系統の検証、ログ、指標見直しを設計する「報酬エンジニアリング」を提案。