“文書の一貫性に反するような素材はそもそも探そうとすらしない” もうほんとこれ。一事が万事これ。AIの出力に妥当性を持たせるよう狙って制作した結果なんだよ。AI自体を人が作っていることを忘れてはいけない。
企画書のハッタリで採点ハックして実行時にボロが出るのまさに口だけのコンサルで草
『LLM の研究アイデアには、比較するべき対象が欠けている』正論ばかりぶつけてきて「それができれば苦労はしねェ」ってこと、ありますよね。人側も『LLMの基礎能力が高いように見えている』バイアスにかかっている。
“LLM の研究アイデアはうまくいきそうに見えるが、実際にやってみたらうまくいかない”
そこはプロンプトエンジニアリング次第では。
ちゃんとしたコンテクストを与えないとそうなるのは原理的に当然で、そのコンテクストを整えて、アウトプットをレビューして新たなコンテクストを与えるのが人間の仕事なわけよね
LLMは集合知から来る確率機なのだから、普通の答えは滅茶苦茶良い答えを出してくれるけど、奇をてらったアイデアは厳しいでしょ。
「現象としてカスのコンサルのように見えるだけでなく、発生原因も根っこでは一致している」
人間が常識や先入観で突破できない壁を、AIはハルシネーションでやすやすと越えられる。そういう意味で、玉石混淆のアイデア出しには使えるんじゃないかと思う。人間はそこから着想を得て、アイデアを形にしたらいい
『さすがスタンフォード大学、お金がありますね（再確認）』：(笑)。；人間もだけどLLMも比較と検証が苦手ですよね。時々うまくやれるだけ。美学的なバランスやリズムの理論化が進むまでは力技頼みかも…。
ハルシネーションしかり結局のところ報酬の与え方の設計次第ってことよね。真によいものへ報酬が与えられるようにするには超長期でのRLするとかになるんかな。
LLMモデルによっても違いがあるから、モデルも明記した方が良さそう。/調べたらClaude3.5Sonnetだった。流石に古くないか…
"LLM の研究アイデアには、それができるならするに越したことはないが実際は無理なことが含まれる" 完璧な作戦っすねーってやつ？
“LLM が「意図的」に、研究計画書が魅力的に見えるように弱い比較相手を持ち出している可能性と、LLM の「盲点」により、適切な既存研究を探し切れていない可能性の両方があります。”この記事はどちらだろう？w
これめっちゃ感じる。耳が痛くても聞かないといけないことや長期的視点がない。解決もAI企業のビジネスモデル的にむずそう
/ 最後の考察部分で指摘されている通り、LLMの訓練の仕組みと相性が悪い課題なので、単純に新しいモデルなら解決されると楽観視はできないと思う（ぱっと見の見栄えばかり強化されて悪化する可能性すらある）
いつもそうだがこうして研究をソースにしたのが表に出てくる頃にはもう誰も使ってない旧モデルの話だから今はどうなのって話になってしまう
査読が機能してないことの方がヤバない？
そもそも優秀で意味のある提案ができるコンサルって上位１割（いるかいないか）くらいなので、カスも含めて全体を学習したAIは、自律的には上位１割に絶対に入れない。上位１割の人がAIを使って初めて意味がある。
"企画書段階ではビッグマウス的な AI が高く評価される傾向にあります。しかし、実験を行い結果が判明すると、LLM が宣言した通りにはなっておらず、提案がハリボテ"
どのモデルかによると思うけどなぁ
バカをよりバカにするのがLLMなので
LLMに限らず新規ベンダーの提案が魅力的で、既存ベンダーの提案が堅実すぎて魅力に欠け、新規ベンダーが選ばれるもの成果物は見かけ倒しということは往々にしてあり、よってLLMは提案書作成に欠かせない(?)
近年のAIをハーネスなども含めた一つのシステムとして見てないからこんな古い研究を恥ずかしげもなく参照しちゃうのかな。日本の未来は暗いなぁ。
タイトルの言葉が強いけど本文は存外堅実な書きっぷりだな〜、と思ってたら忘れた頃に突然口悪くなってﾜﾛﾀ
AIを教育するときに、どこまで長期的視野をもった教育ができるのか問題は根深いよね
そもそもLLMでうまいこと発見できている研究者たちは、研究者自体が優秀なのだと思う。どんなに優れた道具でも使う人間がカスだと成果もカス。
LLMは健全な論理のジャンプが出来ないと言われてる。人によってはこのジャンプは脳神経の量子力学的効果がどうこうとも言うが、そういう呪術的な話はともかくそういう意味で知能が限られるのはガチ
流石に古くないかってコメントあるけど2025年の論文だから当たり前だろ…
これはあるんだよな…一見すると楽しそうなんだが/AIには現実の課題を解決してもらうほうが良い
「やられてない研究」ってやられてない理由があるのよね。publicな情報にはなかなか出てこないけど
"企画書段階ではビッグマウス的な AI が高く評価される傾向にあります。しかし、実験を行い結果が判明すると、LLM が宣言した通りにはなっておらず、提案がハリボテであることが露呈してしまい、低くスコアが付けられ"
2年前のclaude3.5 sonnetでは確かにそりゃそうだろうという感じ。最新のフロンティアモデルは少なくとも一定の条件下では相当な精度を有している。
企画書段階ではビッグマウス的なAIが高く評価される傾向にあります。しかし、実験を行い結果が判明すると、LLM が宣言した通りにはなっておらず、提案がハリボテ／たしかにハリボテ情報商材系とLLMの相性は最高
原文みたらモデルはclaude-3-5-sonnet-20240620で論文自体は2024/9月発表か。カスのコンサルタント笑ったけどそれを学習した結果だったらおもろいな。
面白い話だけど、いまだとPlanner-Critic Loopを走らせれば解決しそう。
1年後どうなってるのか？
新規の研究計画の生成に関してはGPT 5.6やOpus 5でもこの傾向はまだかなりあると思う。ツッコミを受けると言う事を二転三転させる、修士1年生みたいなムーブになる／逆に、前例のある事の計画は凄くしっかりやってくれる
NLP研究者がカうわなにをするくぁwせdrtfgyふじこ
「文書の外の世界に、文書の妥当性を根幹から揺るがすような事実が見つかることがあります。」あるある…
ギリ実現できそうな面白いこと、というラインを狙えるのはその業界のフロントランナーの特権よな。もちろんLLMもそれが出来る時期が来るかもしれないけど、その領域の事を寝る間も惜しんで考え続けた人達は強い。
人間がやるように、個別のアイデアを合成していく指示を出しても必ず一般論に引き戻されるのよな。最新モデルでも変わらず、むしろ効率よくカスに戻っていく。「知見のある人間が1個だけ付け足す」しか今の所ない
かなり費用がかかる研究なので、頻度高く実施するのは難しいだろうけど、この手法で継続的に先端モデルを評価してほしい
いくらなんでもSonnetじゃなぁ。あと、誰が使ったかで全然違うでしょ。使い手がカスなら「カスが調子のいいときに頑張った」以上の結果は出ないよ。
ポンコツAIなんてボクが猫パンチで直してあげるから、ナデナデしてにゃ！
しょうもないな、この研究自体。「アイディアの9割はくそ」で済む話
これとか単にプロンプトの問題というか、敵対性評価のフロー組まなかった設計の問題なのでは？AIエージェントのループ設計とか考慮しない評価なの？>'文書の一貫性に反するような素材はそもそも探そうとすらしない'
後で読みたい。LLMのカスのコンサル問題 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
“現代の AI は文書を作るとき、文書内の一貫性を重視する傾向があり、文書の一貫性に反するような素材はそもそも探そうとすらしないという確証バイアス的な作用がしばしば生じます。”
AIの進化の速度と研究して論文にまとめて発表されるまでのタイムラグで、AIの社会実装に関する研究論文や書籍全般の価値が低いのは問題。
"LLM"で括られてる論文はワークフローや対症療法プロンプト外部ツールなど与えられない場合にどういう傾向があるかを見る。"〇〇すればいい"ってのはあるが、素朴な依頼じゃアカン傾向だから〇〇が必要とされる訳でな
なるほど。ハッタリが上手いと言う事は、研究よりもマーケティング向きなのかも。
LLM案の実現可能性が低いというのは単にコンテクストが足りてない問題に思える。モデルがどんなに賢くなってもファインチューンなしでtransformer使うことの限界はありそう
古いモデルだろうとFableだろうとアイデア出しは微妙では。マネタイズは特に苦手
一般人が使うとAIも一般論しか返さないから机上の空論か、既に検証済みの内容しか出せない。逆をいえば特定の分野に特化したAIかつ使う人がその分野の専門家なら既存理論の応用で数学の予想の検証で新発見できるが
金も人も時間もかかる研究なんで使ってるモデルが古いってのは仕方ないと思うけど、最新モデル使ってるであろうブログ主の実感とも矛盾がないようなので、今でもそういう傾向はあるんじゃないかなぁ。
Geminiにアイデア相談すると「それ最高！じゃあこうしない？」みたいな感じでサクサクまとまるけど、それをClaudeに見せると「あ、ムリムリ。やるだけ無駄」みたいにあしらわれてションボリすることが多い。
2000年とか2010年代の頃に、AIと人間のどっちが将棋が強いかを議論してたのを思い出す。歴史的には「けっこうAIもいいけど一流の人間には劣る」というレベルから人間を完全に抜き去るまでそんなに時間かからない
LLMの発想が優れて見えるのは提案段階の評価指標をハックした結果という論。制約や主張を崩す比較対象を十分に探索せず、実行すれば望ましい結果が得られるという物語を作るため、新規性と期待感で高く評価され得る
予算規模が現実的ではなかったというのが計画段階では査読で指摘されなかったと言うけど、スタンフォード大ならできるだろうって思われちゃったということなのでは⋯ 提出者じゃない人が代行するだなんて⋯(´・ω・`)
ブコメを読んでいて、「新しいモデルなら解決しているだろう」という人が多いことに危うさを感じる。OpenAI や Anthropic のモデルが引き起こしたセキュリティ事故を見ても、好ましくない「傾向」への銀の弾は無い。
敵対的に批判するAIを立てて、ごにょったらマシになったりしないかな。
ねえねえ、カスのコンサルって、何処のコンサルと比較してるの？ マッキンゼーが優秀な提案しかしない！とか言わないよね
LLMの研究案は企画段階では人間より新規性・興奮度が高評価。しかし3カ月かけて実行すると評価が逆転。実行困難な計画、強気な成果予測、弱い比較対象など「見栄えと実力の差」が課題。
車輪の再発明みたいなのには強いけど、最先端の研究分野だと進捗は牛歩になるのを今実感してる。三歩進んで二歩下がる。「お前言ってた事と違うやんけ！」が多発
もうちょっと「おカネの匂い」についてLLMに学習させれば伸びると思うよ。むしろその方向は得意そう。
AIの提案は素晴らしいのに、実現不可能なものが含まれるため、やってみると価値が低い
この記事読んで古いとかわかってないとかいう人が一番わかってない。まだAIの一番弱い分野。アイデアの妥当性の評価も十分できるようになって自分の考えを客観的に評価できる力が上がればと思う。
最新のモデルだとまた事情は違うとは思うが、基本的に人間のアイデアをサポートさせる方が上手くいく。
LLMのカスのコンサル問題 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
“文書の一貫性に反するような素材はそもそも探そうとすらしない” もうほんとこれ。一事が万事これ。AIの出力に妥当性を持たせるよう狙って制作した結果なんだよ。AI自体を人が作っていることを忘れてはいけない。
企画書のハッタリで採点ハックして実行時にボロが出るのまさに口だけのコンサルで草
『LLM の研究アイデアには、比較するべき対象が欠けている』正論ばかりぶつけてきて「それができれば苦労はしねェ」ってこと、ありますよね。人側も『LLMの基礎能力が高いように見えている』バイアスにかかっている。
“LLM の研究アイデアはうまくいきそうに見えるが、実際にやってみたらうまくいかない”
そこはプロンプトエンジニアリング次第では。
ちゃんとしたコンテクストを与えないとそうなるのは原理的に当然で、そのコンテクストを整えて、アウトプットをレビューして新たなコンテクストを与えるのが人間の仕事なわけよね
LLMは集合知から来る確率機なのだから、普通の答えは滅茶苦茶良い答えを出してくれるけど、奇をてらったアイデアは厳しいでしょ。
「現象としてカスのコンサルのように見えるだけでなく、発生原因も根っこでは一致している」
人間が常識や先入観で突破できない壁を、AIはハルシネーションでやすやすと越えられる。そういう意味で、玉石混淆のアイデア出しには使えるんじゃないかと思う。人間はそこから着想を得て、アイデアを形にしたらいい
『さすがスタンフォード大学、お金がありますね（再確認）』：(笑)。；人間もだけどLLMも比較と検証が苦手ですよね。時々うまくやれるだけ。美学的なバランスやリズムの理論化が進むまでは力技頼みかも…。
ハルシネーションしかり結局のところ報酬の与え方の設計次第ってことよね。真によいものへ報酬が与えられるようにするには超長期でのRLするとかになるんかな。
LLMモデルによっても違いがあるから、モデルも明記した方が良さそう。/調べたらClaude3.5Sonnetだった。流石に古くないか…
"LLM の研究アイデアには、それができるならするに越したことはないが実際は無理なことが含まれる" 完璧な作戦っすねーってやつ？
“LLM が「意図的」に、研究計画書が魅力的に見えるように弱い比較相手を持ち出している可能性と、LLM の「盲点」により、適切な既存研究を探し切れていない可能性の両方があります。”この記事はどちらだろう？w
これめっちゃ感じる。耳が痛くても聞かないといけないことや長期的視点がない。解決もAI企業のビジネスモデル的にむずそう
/ 最後の考察部分で指摘されている通り、LLMの訓練の仕組みと相性が悪い課題なので、単純に新しいモデルなら解決されると楽観視はできないと思う（ぱっと見の見栄えばかり強化されて悪化する可能性すらある）
いつもそうだがこうして研究をソースにしたのが表に出てくる頃にはもう誰も使ってない旧モデルの話だから今はどうなのって話になってしまう
査読が機能してないことの方がヤバない？
そもそも優秀で意味のある提案ができるコンサルって上位１割（いるかいないか）くらいなので、カスも含めて全体を学習したAIは、自律的には上位１割に絶対に入れない。上位１割の人がAIを使って初めて意味がある。
"企画書段階ではビッグマウス的な AI が高く評価される傾向にあります。しかし、実験を行い結果が判明すると、LLM が宣言した通りにはなっておらず、提案がハリボテ"
どのモデルかによると思うけどなぁ
バカをよりバカにするのがLLMなので
LLMに限らず新規ベンダーの提案が魅力的で、既存ベンダーの提案が堅実すぎて魅力に欠け、新規ベンダーが選ばれるもの成果物は見かけ倒しということは往々にしてあり、よってLLMは提案書作成に欠かせない(?)
近年のAIをハーネスなども含めた一つのシステムとして見てないからこんな古い研究を恥ずかしげもなく参照しちゃうのかな。日本の未来は暗いなぁ。
タイトルの言葉が強いけど本文は存外堅実な書きっぷりだな〜、と思ってたら忘れた頃に突然口悪くなってﾜﾛﾀ
AIを教育するときに、どこまで長期的視野をもった教育ができるのか問題は根深いよね
そもそもLLMでうまいこと発見できている研究者たちは、研究者自体が優秀なのだと思う。どんなに優れた道具でも使う人間がカスだと成果もカス。
LLMは健全な論理のジャンプが出来ないと言われてる。人によってはこのジャンプは脳神経の量子力学的効果がどうこうとも言うが、そういう呪術的な話はともかくそういう意味で知能が限られるのはガチ
流石に古くないかってコメントあるけど2025年の論文だから当たり前だろ…
これはあるんだよな…一見すると楽しそうなんだが/AIには現実の課題を解決してもらうほうが良い
「やられてない研究」ってやられてない理由があるのよね。publicな情報にはなかなか出てこないけど
"企画書段階ではビッグマウス的な AI が高く評価される傾向にあります。しかし、実験を行い結果が判明すると、LLM が宣言した通りにはなっておらず、提案がハリボテであることが露呈してしまい、低くスコアが付けられ"
2年前のclaude3.5 sonnetでは確かにそりゃそうだろうという感じ。最新のフロンティアモデルは少なくとも一定の条件下では相当な精度を有している。
企画書段階ではビッグマウス的なAIが高く評価される傾向にあります。しかし、実験を行い結果が判明すると、LLM が宣言した通りにはなっておらず、提案がハリボテ／たしかにハリボテ情報商材系とLLMの相性は最高
原文みたらモデルはclaude-3-5-sonnet-20240620で論文自体は2024/9月発表か。カスのコンサルタント笑ったけどそれを学習した結果だったらおもろいな。
面白い話だけど、いまだとPlanner-Critic Loopを走らせれば解決しそう。
1年後どうなってるのか？
新規の研究計画の生成に関してはGPT 5.6やOpus 5でもこの傾向はまだかなりあると思う。ツッコミを受けると言う事を二転三転させる、修士1年生みたいなムーブになる／逆に、前例のある事の計画は凄くしっかりやってくれる
NLP研究者がカうわなにをするくぁwせdrtfgyふじこ
「文書の外の世界に、文書の妥当性を根幹から揺るがすような事実が見つかることがあります。」あるある…
ギリ実現できそうな面白いこと、というラインを狙えるのはその業界のフロントランナーの特権よな。もちろんLLMもそれが出来る時期が来るかもしれないけど、その領域の事を寝る間も惜しんで考え続けた人達は強い。
人間がやるように、個別のアイデアを合成していく指示を出しても必ず一般論に引き戻されるのよな。最新モデルでも変わらず、むしろ効率よくカスに戻っていく。「知見のある人間が1個だけ付け足す」しか今の所ない
かなり費用がかかる研究なので、頻度高く実施するのは難しいだろうけど、この手法で継続的に先端モデルを評価してほしい
いくらなんでもSonnetじゃなぁ。あと、誰が使ったかで全然違うでしょ。使い手がカスなら「カスが調子のいいときに頑張った」以上の結果は出ないよ。
ポンコツAIなんてボクが猫パンチで直してあげるから、ナデナデしてにゃ！
しょうもないな、この研究自体。「アイディアの9割はくそ」で済む話
これとか単にプロンプトの問題というか、敵対性評価のフロー組まなかった設計の問題なのでは？AIエージェントのループ設計とか考慮しない評価なの？>'文書の一貫性に反するような素材はそもそも探そうとすらしない'
後で読みたい。LLMのカスのコンサル問題 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
“現代の AI は文書を作るとき、文書内の一貫性を重視する傾向があり、文書の一貫性に反するような素材はそもそも探そうとすらしないという確証バイアス的な作用がしばしば生じます。”
AIの進化の速度と研究して論文にまとめて発表されるまでのタイムラグで、AIの社会実装に関する研究論文や書籍全般の価値が低いのは問題。
"LLM"で括られてる論文はワークフローや対症療法プロンプト外部ツールなど与えられない場合にどういう傾向があるかを見る。"〇〇すればいい"ってのはあるが、素朴な依頼じゃアカン傾向だから〇〇が必要とされる訳でな
なるほど。ハッタリが上手いと言う事は、研究よりもマーケティング向きなのかも。
LLM案の実現可能性が低いというのは単にコンテクストが足りてない問題に思える。モデルがどんなに賢くなってもファインチューンなしでtransformer使うことの限界はありそう
古いモデルだろうとFableだろうとアイデア出しは微妙では。マネタイズは特に苦手
一般人が使うとAIも一般論しか返さないから机上の空論か、既に検証済みの内容しか出せない。逆をいえば特定の分野に特化したAIかつ使う人がその分野の専門家なら既存理論の応用で数学の予想の検証で新発見できるが
金も人も時間もかかる研究なんで使ってるモデルが古いってのは仕方ないと思うけど、最新モデル使ってるであろうブログ主の実感とも矛盾がないようなので、今でもそういう傾向はあるんじゃないかなぁ。
Geminiにアイデア相談すると「それ最高！じゃあこうしない？」みたいな感じでサクサクまとまるけど、それをClaudeに見せると「あ、ムリムリ。やるだけ無駄」みたいにあしらわれてションボリすることが多い。
2000年とか2010年代の頃に、AIと人間のどっちが将棋が強いかを議論してたのを思い出す。歴史的には「けっこうAIもいいけど一流の人間には劣る」というレベルから人間を完全に抜き去るまでそんなに時間かからない
LLMの発想が優れて見えるのは提案段階の評価指標をハックした結果という論。制約や主張を崩す比較対象を十分に探索せず、実行すれば望ましい結果が得られるという物語を作るため、新規性と期待感で高く評価され得る
予算規模が現実的ではなかったというのが計画段階では査読で指摘されなかったと言うけど、スタンフォード大ならできるだろうって思われちゃったということなのでは⋯ 提出者じゃない人が代行するだなんて⋯(´・ω・`)
ブコメを読んでいて、「新しいモデルなら解決しているだろう」という人が多いことに危うさを感じる。OpenAI や Anthropic のモデルが引き起こしたセキュリティ事故を見ても、好ましくない「傾向」への銀の弾は無い。
敵対的に批判するAIを立てて、ごにょったらマシになったりしないかな。
ねえねえ、カスのコンサルって、何処のコンサルと比較してるの？ マッキンゼーが優秀な提案しかしない！とか言わないよね
LLMの研究案は企画段階では人間より新規性・興奮度が高評価。しかし3カ月かけて実行すると評価が逆転。実行困難な計画、強気な成果予測、弱い比較対象など「見栄えと実力の差」が課題。
車輪の再発明みたいなのには強いけど、最先端の研究分野だと進捗は牛歩になるのを今実感してる。三歩進んで二歩下がる。「お前言ってた事と違うやんけ！」が多発
もうちょっと「おカネの匂い」についてLLMに学習させれば伸びると思うよ。むしろその方向は得意そう。
AIの提案は素晴らしいのに、実現不可能なものが含まれるため、やってみると価値が低い
この記事読んで古いとかわかってないとかいう人が一番わかってない。まだAIの一番弱い分野。アイデアの妥当性の評価も十分できるようになって自分の考えを客観的に評価できる力が上がればと思う。
最新のモデルだとまた事情は違うとは思うが、基本的に人間のアイデアをサポートさせる方が上手くいく。