AIに任せると「グローバルは必要最低限に留める」という原則を守らず、可能な限り統制を効かせようとして結局readmeみたいになる。書きますか?>書くな。書きますか?>書くな。の繰り返し。
論文要約:LLM生成の指示ファイル(CLAUDE.md/AGENTS.md)は成功率を平均0.5〜2%下げ、推論コストを20〜23%増加させる一方、人間作成は平均4%改善と報告されています。
AIが出したものの密度を変えずにそのままAIに入れる行為に懐疑的で、だろうなという気持ち
"強いモデルあっても、AI生成なら結果は同じ"モデル能力の問題ではなく情報設計の問題。丁寧し過ぎるのかも。
これ、リポジトリの規模書いてないけど、100万行ぐらいある規模のリポジトリで比較してほしいな。
俺テキスト生成系でプロンプト作らせて検証して修正していくみたいな仕組み作ってよくやるけど、プロンプト作りは雑魚。検証作業と後処理アルゴリズム考えるのとかは見事
CLAUDE.mdを人間が書こうがAIが書こうが同じで非決定論である以上結果は確約されないし多くなればなるほど抜け漏れがでるよ。
2~3%で済む? Claude羨ましすぎる案件。Geminiの場合プロンプトのアンチパターン盛り盛りで体感80%くらい精度が悪化する。ので、コンテクスト文書を書かせるときは自作したprompt-crafterスキル使って推敲させてるが。
ポン出しの性能は微妙だよね。出てきたものにおおまかな調整指示して、その後に軽く手直しするぐらいの半自動が今はちょうどいい
何もないと本当に全探索し始めるので私はそうは思わない しかしAIの書く文章は情報が薄いのは全般的にどうにかしてほしい 我々は作文のたびに俳句や短歌を毎度やってるんだよ
守れ!さもないとお前の首をへし折る。と書けば守る
普通の文章書かせても焦点の合わないぼやけた感じになるので、生成目的に焦点を合わせた文書の作成はまた別の能力にも感じる。メタ認知的なところまでいってないし
CLAUDE.mdくらいAIに生成させた後に添削しなよ
AI生成の「CLAUDE .md」、逆に精度が下がるという研究
AIに任せると「グローバルは必要最低限に留める」という原則を守らず、可能な限り統制を効かせようとして結局readmeみたいになる。書きますか?>書くな。書きますか?>書くな。の繰り返し。
論文要約:LLM生成の指示ファイル(CLAUDE.md/AGENTS.md)は成功率を平均0.5〜2%下げ、推論コストを20〜23%増加させる一方、人間作成は平均4%改善と報告されています。
AIが出したものの密度を変えずにそのままAIに入れる行為に懐疑的で、だろうなという気持ち
"強いモデルあっても、AI生成なら結果は同じ"モデル能力の問題ではなく情報設計の問題。丁寧し過ぎるのかも。
これ、リポジトリの規模書いてないけど、100万行ぐらいある規模のリポジトリで比較してほしいな。
俺テキスト生成系でプロンプト作らせて検証して修正していくみたいな仕組み作ってよくやるけど、プロンプト作りは雑魚。検証作業と後処理アルゴリズム考えるのとかは見事
CLAUDE.mdを人間が書こうがAIが書こうが同じで非決定論である以上結果は確約されないし多くなればなるほど抜け漏れがでるよ。
2~3%で済む? Claude羨ましすぎる案件。Geminiの場合プロンプトのアンチパターン盛り盛りで体感80%くらい精度が悪化する。ので、コンテクスト文書を書かせるときは自作したprompt-crafterスキル使って推敲させてるが。
ポン出しの性能は微妙だよね。出てきたものにおおまかな調整指示して、その後に軽く手直しするぐらいの半自動が今はちょうどいい
何もないと本当に全探索し始めるので私はそうは思わない しかしAIの書く文章は情報が薄いのは全般的にどうにかしてほしい 我々は作文のたびに俳句や短歌を毎度やってるんだよ
守れ!さもないとお前の首をへし折る。と書けば守る
普通の文章書かせても焦点の合わないぼやけた感じになるので、生成目的に焦点を合わせた文書の作成はまた別の能力にも感じる。メタ認知的なところまでいってないし
CLAUDE.mdくらいAIに生成させた後に添削しなよ