テクノロジー

AI生成の「CLAUDE .md」、逆に精度が下がるという研究

1: takamocchi 2026/03/03 22:11

AIに任せると「グローバルは必要最低限に留める」という原則を守らず、可能な限り統制を効かせようとして結局readmeみたいになる。書きますか?>書くな。書きますか?>書くな。の繰り返し。

2: mkusaka 2026/03/04 02:02

論文要約:LLM生成の指示ファイル(CLAUDE.md/AGENTS.md)は成功率を平均0.5〜2%下げ、推論コストを20〜23%増加させる一方、人間作成は平均4%改善と報告されています。

3: mole-studio 2026/03/04 02:48

AIが出したものの密度を変えずにそのままAIに入れる行為に懐疑的で、だろうなという気持ち

4: hiroomi 2026/03/04 06:40

"強いモデルあっても、AI生成なら結果は同じ"モデル能力の問題ではなく情報設計の問題。丁寧し過ぎるのかも。

5: disatance2 2026/03/04 07:02

これ、リポジトリの規模書いてないけど、100万行ぐらいある規模のリポジトリで比較してほしいな。

6: tsukarukatamade 2026/03/04 07:27

俺テキスト生成系でプロンプト作らせて検証して修正していくみたいな仕組み作ってよくやるけど、プロンプト作りは雑魚。検証作業と後処理アルゴリズム考えるのとかは見事

7: morimarii 2026/03/04 07:34

CLAUDE.mdを人間が書こうがAIが書こうが同じで非決定論である以上結果は確約されないし多くなればなるほど抜け漏れがでるよ。

8: jintrick 2026/03/04 07:48

2~3%で済む? Claude羨ましすぎる案件。Geminiの場合プロンプトのアンチパターン盛り盛りで体感80%くらい精度が悪化する。ので、コンテクスト文書を書かせるときは自作したprompt-crafterスキル使って推敲させてるが。

9: revert 2026/03/04 07:50

ポン出しの性能は微妙だよね。出てきたものにおおまかな調整指示して、その後に軽く手直しするぐらいの半自動が今はちょうどいい

10: knjname 2026/03/04 08:21

何もないと本当に全探索し始めるので私はそうは思わない しかしAIの書く文章は情報が薄いのは全般的にどうにかしてほしい 我々は作文のたびに俳句や短歌を毎度やってるんだよ

11: mayumayu_nimolove 2026/03/04 08:36

守れ!さもないとお前の首をへし折る。と書けば守る

12: otoan52 2026/03/04 08:43

普通の文章書かせても焦点の合わないぼやけた感じになるので、生成目的に焦点を合わせた文書の作成はまた別の能力にも感じる。メタ認知的なところまでいってないし

13: zentarou 2026/03/04 08:44

CLAUDE.mdくらいAIに生成させた後に添削しなよ