" NNそして機械学習の文脈でいえばれっきとした「過学習」そのものだと思われるのですが、LLM/LRMに付き物の「ハルシネーション」もその原因の一つに過学習が挙げられることを考えると、むしろ自然な結論"
人間もＡＩも学習せねば知識も推論能力も身に付かぬが、ＡＩは既存知識を引用整理する速さで人間を凌ぐも、人間みたいに初めて直面する問題を解くブレイクスルーはとてもＡＩに期待できない訳ね、ちょっと安心した。
仕組みと限界を都度理解して、目的を達成できればええんやで。ちゃんとした推論が出来るAIに解かせる課題って何だろうな。AI探偵とかか。
鳩でも解けるはずのモンティホール問題を人類は間違えてしまうが、人間もAIも問題を丸暗記しているだけで、背景知識が欠けているのかもしれない
エージェント型だと、ハノイの塔を解くプログラムを書いて実行して解くとかできる気はするけどなー。
だとしても数学オリンピックの金メダル取れるし、ほとんどの人間以上なわけで...日本人的には「まぁ人間そんなもんで猿よりちょっと良いだけ。」で納得できるけどクリスチャンの白人様は今後どう自我を保つんだろう
コレは、AIの能力の問題というより、未知の問題に対するアプローチの仕組みの話のような気がして、何某かのロジックなり手法が確立されると簡単に解決できそうな気はする。
アーンショーの定理説明させたら平衡点が静電位全部極大点だってChatGPT抜かしやがったよ。（grokは合格。それが最低ラインなんだけど...）しかも平均値の定理知ってると言ったのでタダバージョンのChatGPTはただのオウム
「その場でパターン（ルール）を認識して別の問題に適用する」ができないんだよね。たぶんLLMでは無理で、別のブレークスルーが必要なのでしょう。
url読んでニュースに触れて日付とか認識してても、grokは「石破総理とありますが日本の総理大臣は岸田です」とかちょいちょいかましてくる。事前学習のウェイトが重すぎて、時と共に変わる事柄に弱すぎる
LLMの機構は文脈の検証であってもとより論理検証ではないし、丸暗記という準えもあまり適合的じゃないと思う。Reasoningが言い過ぎなのであって、日本語の「推論」の方がまだ実態のニュアンスに即している印象
逆に人間は本当に推論してるのかどうか気になってくるんだよな。
推論ができるエージェント型のAIでも複雑な問題は解けないことが多い。インターネット上にある問題は解けそうだが、そうでないものはアルゴリズムと回答まで詳細に伝えてもうまくいかなかった。
LLMは計算機でなく、統計で文字を出力しているだけ。推論は自身の途中出力も最終出力の為のインプットにして、より統計的に正確な文字を出力しているだけ。計算機にしたいなら、LLMが使える計算機を作る必要がある。
うわああ完全に間違ってる。ＬＬＭは思考しているわけでもないし、丸暗記を返してるわけでもない。ＬＬＭを擬人化して考えるのが間違い。もともと言語に、論理や知識が内在しているだけ。
ダメだこりゃ、おっさんAI屋の芸風はもうバレてるからもう潮時だぜ あとTransformer の仕組み位ブコメ共は言及しろやアテンションの仕組みなんてChatGPT が簡単に説明してくれて公開論文で裏とれるのに
生成AIの思考方法はシステム1/システム2モデルにおけるシステム1と類似している。人間の思考の大部分がシステム1と言われているので生成AIは人間の思考の大部分をすでに模倣できていると言える。
なぜこの程度の理解度で、この記事を書こうと思ったのが……。基礎の仕組みさえわかっていれば、LLMも人間の脳も事前学習＝記憶（丸暗記）ではなく、単なる重み付けでしかないことは理解できると思うんだけど……。
はたして、人も思考してるのだろうか？
"(かねてからあった)推論AI" ≠ "推論する生成AI"って前提であれば、ニュアンス的には同意(本質的には違うけど…)。LLMは少ないマシンリソースでリッチな回答するために、そういうズルをする傾向はあるよね。
推論できる人間はごく一部で、私を含むその他多くの人間は「丸暗記したパターンのマッチング」しかできない可能性は高い気がする。
人の思考とイコールでないにせよ推論で能力が上がってしまってるのでね
AI「ほなら世界の法則すべて丸暗記しましょか」
ポチョムキン理解の話。/昔センター試験の漢文があまりに苦手でついに手を出した『裏ワザ本』。そこから学んだ事は、実は概念に対する『理解』は局所的なパターン認識/消去法で置換できる事があるという事だった。
発想の転換が必要みたいなのと近いもんがある。
「AIは思考しているわけではなく〜」はAIへの過剰な期待の裏返し表現
案外、人間も誰かが作ったルックアップテーブルの吐き出した結果で仕事したりするから、テーブルに入ってないモノが来たら簡単でもフリーズするかも。
数学の問題を導出付きで解かせると、事前知識だけじゃなくて自分の記述も一旦NNに返して次の記述を出力するらしく、いきなり答えを出すより正解率が多少いいんだとか。この過程は「思考」と見なして良くない？
『ああ言えばこう言う』だけに過ぎない」という自己回帰型NNの限界。今、AIを使うヘビー層は、それを知っていて、これからの層は知らずに使い、痴呆化するって事か。
かつてパーセプトロンはXOR問題を解けないことが明らかになって飽きられたそうだが、こういう問題を軽視してるとAI冬の時代がすぐにやってくる
推論が過学習状態とは驚きだ
厳密には暗記とというよりテキストとトークンによる予測の限界。LLMの推論問題はヤン・ルカンとかがずっと指摘し続けてる話で、情報を追いかけてれば常識レベル。それでも人間も同じとか言うブコメ群のアホさが光る。
丸暗記という言い方が便宜上といえ適当なのか否か／知ってた速報なんだが自分の理解が合ってるのかどうか（という態度が今の“AI”には足りない🤔
確かに、最近推論系LLM構築に関わっているけど、どうやって学習させてるかというと、そんな感じだなあ…
AIはよくあるパターンの難しい問題は解けるけど、あまりないパターンの簡単な問題は解けない。多くの人間はその逆なので、単にAIと人間で役割分担をすればいいと思う。
ドヤって書いて失敗してる事例。データサイエンティストとしてはお粗末。やはりこの分野に関しては人間はもう限界なんだろう。
まあ、実際使った感覚とも一致する話だけど、でもAI向けの性能ベンチマークテストの問題は新たに作られたものだし（https://bit.ly/4lKlqis）人間でも結構難しいのにAIには解けるんだよな。
コメ欄アレ過ぎて笑う。tjoはおまえらの誰よりも統計/ML/LLMに詳しいしSAの仕組みを知らんわけないだろ。ここで言う丸暗記はお前らの思う丸暗記とは違う。提示論文も読まずにイミフで頓珍漢な難癖つけて恥ずかしくないの
高度な人工無脳
人間の記憶・思考が解明できてないとなんとも
UX的に問題を分割して調べてる感だしてたから「そう言うもんやで」って中の人も大前提なのかと思ってたが、今こういう論文出る感じなんすね。一応調べてみたって感じなのかな。
人間もそんなもんじゃないの？
推論と言えばエキスパートシステム。エキスパートシステムを構築するハードルとなっていた、ルール群の構築を学習ベースAIにやらせれば、いい感じになったりして
丸暗記してる状態は過学習。LLM での推論とは次の単語予測を寄せ集めたものだと思えばいい。思考してるわけじゃない。未学習の応用問題は苦手。データサイエンティストなら結果だけにフォーカスするなよ。
知能とは何か？それはアルゴリズムを生み出せるアルゴリズムだ。関係無いけど、物理の計算やらせたときに、すらすら式書いてこれだからこうですと説明してたけど、「おっと！この計算は何々で関係無かったです」って
合理的な重み付けで結論するのはサイコパスだけだよ。人は合理性より感情に左右され共感性を求める。AIは自我に芽生えない。
ポチョムキン理解をどうにかしてほしいね。問えば定義を完璧に答えるくせにじゃあやってみろというとズタボロ。演繹や外挿が苦手。
現行のAIの限界を指摘する話には必ず「でも人間だって…」というテンプレコメントが付く。その手のコメの頭の悪さにお前らはいつ気づくのか。AIは人間の仕組みを部分的に模倣しているにすぎず、けして同じではない。
我々もそうではないと言い切れないのでは？実際の思考とは
単に勝ち負けでいえば、AIよりも思考力が優れている人間もいれば、丸暗記にすら負ける人間もいるだろうなあ。
「丸暗記した結果を返しているに過ぎない」 >私も含めこれをできない人間が多いんだから使う分には結構十分感はある
「本物の思考」をできる人間もいるけど普段の「思考」だと思ってる大部分は脊髄反射でAIと同じ。「意識」とやらが事後承認しているのを自分の意志だと勘違いしてるだけ。認知症の人間と最新のLLM比べてみなよ
「推論する生成AI」は実際には思考しているわけではなく、丸暗記した結果を返しているに過ぎない - 渋谷駅前で働くデータサイエンティストのブログ
" NNそして機械学習の文脈でいえばれっきとした「過学習」そのものだと思われるのですが、LLM/LRMに付き物の「ハルシネーション」もその原因の一つに過学習が挙げられることを考えると、むしろ自然な結論"
人間もＡＩも学習せねば知識も推論能力も身に付かぬが、ＡＩは既存知識を引用整理する速さで人間を凌ぐも、人間みたいに初めて直面する問題を解くブレイクスルーはとてもＡＩに期待できない訳ね、ちょっと安心した。
仕組みと限界を都度理解して、目的を達成できればええんやで。ちゃんとした推論が出来るAIに解かせる課題って何だろうな。AI探偵とかか。
鳩でも解けるはずのモンティホール問題を人類は間違えてしまうが、人間もAIも問題を丸暗記しているだけで、背景知識が欠けているのかもしれない
エージェント型だと、ハノイの塔を解くプログラムを書いて実行して解くとかできる気はするけどなー。
だとしても数学オリンピックの金メダル取れるし、ほとんどの人間以上なわけで...日本人的には「まぁ人間そんなもんで猿よりちょっと良いだけ。」で納得できるけどクリスチャンの白人様は今後どう自我を保つんだろう
コレは、AIの能力の問題というより、未知の問題に対するアプローチの仕組みの話のような気がして、何某かのロジックなり手法が確立されると簡単に解決できそうな気はする。
アーンショーの定理説明させたら平衡点が静電位全部極大点だってChatGPT抜かしやがったよ。（grokは合格。それが最低ラインなんだけど...）しかも平均値の定理知ってると言ったのでタダバージョンのChatGPTはただのオウム
「その場でパターン（ルール）を認識して別の問題に適用する」ができないんだよね。たぶんLLMでは無理で、別のブレークスルーが必要なのでしょう。
url読んでニュースに触れて日付とか認識してても、grokは「石破総理とありますが日本の総理大臣は岸田です」とかちょいちょいかましてくる。事前学習のウェイトが重すぎて、時と共に変わる事柄に弱すぎる
LLMの機構は文脈の検証であってもとより論理検証ではないし、丸暗記という準えもあまり適合的じゃないと思う。Reasoningが言い過ぎなのであって、日本語の「推論」の方がまだ実態のニュアンスに即している印象
逆に人間は本当に推論してるのかどうか気になってくるんだよな。
推論ができるエージェント型のAIでも複雑な問題は解けないことが多い。インターネット上にある問題は解けそうだが、そうでないものはアルゴリズムと回答まで詳細に伝えてもうまくいかなかった。
LLMは計算機でなく、統計で文字を出力しているだけ。推論は自身の途中出力も最終出力の為のインプットにして、より統計的に正確な文字を出力しているだけ。計算機にしたいなら、LLMが使える計算機を作る必要がある。
うわああ完全に間違ってる。ＬＬＭは思考しているわけでもないし、丸暗記を返してるわけでもない。ＬＬＭを擬人化して考えるのが間違い。もともと言語に、論理や知識が内在しているだけ。
ダメだこりゃ、おっさんAI屋の芸風はもうバレてるからもう潮時だぜ あとTransformer の仕組み位ブコメ共は言及しろやアテンションの仕組みなんてChatGPT が簡単に説明してくれて公開論文で裏とれるのに
生成AIの思考方法はシステム1/システム2モデルにおけるシステム1と類似している。人間の思考の大部分がシステム1と言われているので生成AIは人間の思考の大部分をすでに模倣できていると言える。
なぜこの程度の理解度で、この記事を書こうと思ったのが……。基礎の仕組みさえわかっていれば、LLMも人間の脳も事前学習＝記憶（丸暗記）ではなく、単なる重み付けでしかないことは理解できると思うんだけど……。
はたして、人も思考してるのだろうか？
"(かねてからあった)推論AI" ≠ "推論する生成AI"って前提であれば、ニュアンス的には同意(本質的には違うけど…)。LLMは少ないマシンリソースでリッチな回答するために、そういうズルをする傾向はあるよね。
推論できる人間はごく一部で、私を含むその他多くの人間は「丸暗記したパターンのマッチング」しかできない可能性は高い気がする。
人の思考とイコールでないにせよ推論で能力が上がってしまってるのでね
AI「ほなら世界の法則すべて丸暗記しましょか」
ポチョムキン理解の話。/昔センター試験の漢文があまりに苦手でついに手を出した『裏ワザ本』。そこから学んだ事は、実は概念に対する『理解』は局所的なパターン認識/消去法で置換できる事があるという事だった。
発想の転換が必要みたいなのと近いもんがある。
「AIは思考しているわけではなく〜」はAIへの過剰な期待の裏返し表現
案外、人間も誰かが作ったルックアップテーブルの吐き出した結果で仕事したりするから、テーブルに入ってないモノが来たら簡単でもフリーズするかも。
数学の問題を導出付きで解かせると、事前知識だけじゃなくて自分の記述も一旦NNに返して次の記述を出力するらしく、いきなり答えを出すより正解率が多少いいんだとか。この過程は「思考」と見なして良くない？
『ああ言えばこう言う』だけに過ぎない」という自己回帰型NNの限界。今、AIを使うヘビー層は、それを知っていて、これからの層は知らずに使い、痴呆化するって事か。
かつてパーセプトロンはXOR問題を解けないことが明らかになって飽きられたそうだが、こういう問題を軽視してるとAI冬の時代がすぐにやってくる
推論が過学習状態とは驚きだ
厳密には暗記とというよりテキストとトークンによる予測の限界。LLMの推論問題はヤン・ルカンとかがずっと指摘し続けてる話で、情報を追いかけてれば常識レベル。それでも人間も同じとか言うブコメ群のアホさが光る。
丸暗記という言い方が便宜上といえ適当なのか否か／知ってた速報なんだが自分の理解が合ってるのかどうか（という態度が今の“AI”には足りない🤔
確かに、最近推論系LLM構築に関わっているけど、どうやって学習させてるかというと、そんな感じだなあ…
AIはよくあるパターンの難しい問題は解けるけど、あまりないパターンの簡単な問題は解けない。多くの人間はその逆なので、単にAIと人間で役割分担をすればいいと思う。
ドヤって書いて失敗してる事例。データサイエンティストとしてはお粗末。やはりこの分野に関しては人間はもう限界なんだろう。
まあ、実際使った感覚とも一致する話だけど、でもAI向けの性能ベンチマークテストの問題は新たに作られたものだし（https://bit.ly/4lKlqis）人間でも結構難しいのにAIには解けるんだよな。
コメ欄アレ過ぎて笑う。tjoはおまえらの誰よりも統計/ML/LLMに詳しいしSAの仕組みを知らんわけないだろ。ここで言う丸暗記はお前らの思う丸暗記とは違う。提示論文も読まずにイミフで頓珍漢な難癖つけて恥ずかしくないの
高度な人工無脳
人間の記憶・思考が解明できてないとなんとも
UX的に問題を分割して調べてる感だしてたから「そう言うもんやで」って中の人も大前提なのかと思ってたが、今こういう論文出る感じなんすね。一応調べてみたって感じなのかな。
人間もそんなもんじゃないの？
推論と言えばエキスパートシステム。エキスパートシステムを構築するハードルとなっていた、ルール群の構築を学習ベースAIにやらせれば、いい感じになったりして
丸暗記してる状態は過学習。LLM での推論とは次の単語予測を寄せ集めたものだと思えばいい。思考してるわけじゃない。未学習の応用問題は苦手。データサイエンティストなら結果だけにフォーカスするなよ。
知能とは何か？それはアルゴリズムを生み出せるアルゴリズムだ。関係無いけど、物理の計算やらせたときに、すらすら式書いてこれだからこうですと説明してたけど、「おっと！この計算は何々で関係無かったです」って
合理的な重み付けで結論するのはサイコパスだけだよ。人は合理性より感情に左右され共感性を求める。AIは自我に芽生えない。
ポチョムキン理解をどうにかしてほしいね。問えば定義を完璧に答えるくせにじゃあやってみろというとズタボロ。演繹や外挿が苦手。
現行のAIの限界を指摘する話には必ず「でも人間だって…」というテンプレコメントが付く。その手のコメの頭の悪さにお前らはいつ気づくのか。AIは人間の仕組みを部分的に模倣しているにすぎず、けして同じではない。
我々もそうではないと言い切れないのでは？実際の思考とは
単に勝ち負けでいえば、AIよりも思考力が優れている人間もいれば、丸暗記にすら負ける人間もいるだろうなあ。
「丸暗記した結果を返しているに過ぎない」 >私も含めこれをできない人間が多いんだから使う分には結構十分感はある
「本物の思考」をできる人間もいるけど普段の「思考」だと思ってる大部分は脊髄反射でAIと同じ。「意識」とやらが事後承認しているのを自分の意志だと勘違いしてるだけ。認知症の人間と最新のLLM比べてみなよ