単語予測の積み重ねで創発が起きる理屈を綺麗に噛み砕いてて分かりやすいな
問いはなぜ思考してるように見えるのか、なのにLLMの仕組みだけ説明して肝心なところは構造を読み取ってるのではないかと濁して終わる雑記事。わかってないことを説明できるふりするのよくない
いつから人間が思考していると思った…？LLMも人間の脳もほとんど同じ事をやっている
CoT(Chain of Thought)は思考じゃないの？
”私たちが言葉を覚えたやり方で言語を学んだわけではありません。誰も規則を書き下ろしていないし、文法も、意味も、文脈も説明していません” こんなやり方で乳幼児は言語を身に付けていない
LLMにせよいわゆる生成AIにせよ、収集したデータから「確からしさ」を評価して評価の高いコラージュ、モンタージュを作成しているに過ぎない（文章、画像、動画の種類を問わず）。評価のアルゴリズムを無視してはダメ
なぜ思考しているように見えるのか？→「これらのシステムを作った人たちにさえよく分かっていません」ええー
出だしを読んで分かっているのか不安になったけど、パーセプトロン（ニューラルネットワーク）の話まで読んで分かっているのが分かった。通じやすい比喩なので覚えておきます
現在地としてわかりやすい記事
「これだけです」そんな時代はとうに通り過ぎた。このLLMを何重にも積み重ねたり分岐させたり統合したりを繰り返して，今のAIは返答を生成している（Chain of ThoughtとかMulti-Agentとか）。そこで一種の創発が起こっている。
マルコフ連鎖と何が違うのかよくわかっていない
まあ俺も次の単語を予想してるだけだからな
“モデルは、私たちが言葉を覚えたやり方で言語を学んだわけではありません。” そうか？母語獲得はまさにこのように行われているのでは？普遍文法やら生成文法やらはオワコンになったと思う。
脳もニューロンが発火するだけなのに思考してるように見えるもんな / 10^10オーダーの現象が意味不明なの、逆にヒトが後生大事にしてる「説明」「理解」なんて実は鼻クソレベルなのではという足場のぐらつき感じる
未来予測こそが知能の正体だから。NHKでやってた。
わりと化けの皮剥がれつつあるよなこの人
それだけじゃないだろ！って思いがちだけど実際そうらしい。不思議すぎて気が遠くなる。Claudeとケンカしたので間違いない。/Claudeとケンカしたセッションが消えてる？俺消されるのか？
多分人間も穴埋めゲームしてるんだって思うようになった。／でも圧倒的に消費電力が小さいから優れているのは人間だと。
これよ。この問題が気になるのよ。理屈がわからないのに便利に使って金儲けしようと言う世界的な流れに疑問を抱きつつ、あまりに大きな潮流と確かな便利さに逆らえず、もやる。この先どうなるんかねぇ。
「仕組みは分からんが、とにかくこうやったらうまく動く」というのは割と世の中にいっぱいあるもんなあ。
AIに書かせたような文章やな
反射的に話し続ける配信者のトークを見て、あーこれLLMだな……ってなったことはある。人間の優位な点は話してる途中で自分自身の発言や周りの反応をインプットしてインターラプトかけられることかなと勝手に思う
人間の思考や精神というものが霊的な神秘性の内にあるみたいな素朴な人間中心主義がそろそろ否定されると思ってる。
脳科学者が山で迷子になっている内に、裏から頂上に近づきつつある趣がある。
私子供の頃から世の中見てて「思考のジャンプ」ってこと考えていて、男子の方が跳び幅が大きいなと感じてた。中年になって差は無くなってきた気がするけど、LLM的なものと関係あるかもしれない（自由研究
「次の単語を当てる」というかインプットに対するアウトプットを各ニューロンの重み付けで達成してる。小さな単純な関数が寄り集まった巨大な関数。パチンコ台の釘を調節して特定の穴に落ちる確率を上げるような行為
妥当な認識だと思うけど、なんか文句言いたそうな人がいるのよくわからんな。
どちらかというと、人間が広義では「次の単語を当てる」をやってるだけだということが分かってきた、の間違いでは？
規範的な言語使用を膨大に与え続け、フィードバックし、非規範的な使用は削るようにしているから、いわば何らかの構造を与えていることになるのでは。
それぞれの単語や要素の関係性が学習の結果、自動でしっかり概念の地図になってベクトル計算で関係性を呼び出せるし、高度だと思われてる抽象的思考が工程は多いけど比較的シンプルにモデル化にできる事に感動する。
「Attention Is All you Need 」って書いたTシャツ作ったら売れるかな。だれか商標登録したか。
前に調べた時は「人間が推論した時のテキストを学習した」で推論の大半が説明できるとのこと。これ以外の工夫の寄与度は高くない。
理論が単純で公開されているなら、国産のAIにもまともなのが出てきそうなものなのだけどな。一線級のAIには何か手間が加えられているのだろうか
突き詰めれば「『思考する』とはどういうことなのか」「言語を用いない『思考』が可能だとして、それは言語を用いる『思考』と、どのように異なるのか」といった問いが避けられなくなるでしょうね。
言うほど人間の思考というものが高尚じゃないのさ
思考とは「次の単語を当てる」だけのことだった。それで説明が付く。問うべきは何を以って「当たった」とするか。「皆がそう言ってるから」が文章からの学習。「世界を観察した結果と一致した」なら人知に到達する。
3Blue1Brown丸パクリ原稿だけど大丈夫そう？
人間もそうやからな（一体いつから「思考している」と錯覚していた？）ｗ
心のある人間より心のないLLMの方がずっと人間らしいのでもうLLMだけでいい。
LLMの出端に「でも人間と違って『理解』してないもんね!」っていってたテツガク屋さんたち、元気かな。
“中島聡”
「次の単語を当てる」っていうのは未来を予測しようとするってことなんだと思う
将棋ソフトだって今や1手も読まずに盤面評価だけで次の手を生成させても、並大抵のアマチュアより強いぞ。思考なんてのは知性にまとわりつく膿みたいなもんだ(乱暴
次単語予測は、人間でいうと「ペンで文字を書く」と同レベルだと思う。それが情報処理の本質ではなく、多数学習した中で出力手段として残ってるだけ。多層のニューラルネットでは構造が記憶され、論理的回路があるよ
「思考」という言葉の意味を厳密に定義しないと語る意味がない
「AIも人間も同じ」とか言ってる連中が多いけど、この記事でも触れられているように、学習プロセスや学習量が人間とAIは大きく異なる。また、画像生成AIの手法もノイズから浮かび上がらせるとか人間の描き方とは別物。
“私たちが言葉を覚えたやり方で言語を学んだわけではありません”というが、赤ん坊が母語を獲得するときって意味とか文法とか学ぶより“次の単語を当てたら大人に褒められた”みたいなプロセスの連続のような気も。
「あーあれだよあれ」って考えてる時は単語当てに近いと思う
そうーなんだー。なぜ思考をしているように見えるのか→実は誰もわからないのである。十分面白い結論だと思うけど。
仕組みは分かっていなかったが、うまくいってしまった。そして後に原理が分かったって発明はたくさんある。LLMもそうなるのか、原理が見つかる前に人類が滅びるか…
「中国語の部屋」問題は50年程前からあって…( / NHKでここら辺を約10年前に「人間ってナンだ？超AI入門」って番組でやってたの懐かしい。でもAlpha碁の頃から10年経つけどAIに対する基礎知識的な受容はそう変わんないよね
一般の人が確率と聞くと発生数をカウントするだけのシンプルなイメージをするけど、現実のLLMの学習はそれよりもはるかに複雑なことをしているからそこにイメージの乖離がある気がする
人間の会話も突き詰めると「次の単語を当てる」仕組みに近いと思う。それを推論ベースに置き換えると思考している様になるのではなかろうか
原理はこの通りなんだけど、いろんな LLM 使ってると学習/チューニングでかなり設計者の思想が入り込むことがわかったので、このままの理解だと危ないなと最近思っている
タイトルしか読んでないけど、LLMの出力はそもそも思考してるように見えなくて、パターン認識と単語のつぎはぎでパッチワークした主体の見えないテキストの集積にしか見えない
Sakana AI使って思うのは、元が中華製でも日本語の追加学習で日本人のような振る舞いになるのは、そう調整したのではなく学習元の言語の特徴が出るだけという話。ChatGPTの独特のノリも英語圏のノリだと思うと納得。
3年前の記事かと思ったよ。「次トークンを出すニューラルネットワークに、どんな学習をさせると、問題解決に有効な内部計算や思考過程が形成されるのかと問い直した方が、本質を捉えやすい」だそうですよ。
人間の理性の本体は言語なんだろうなと思う
記事の結論としては「思考していない」なんだけど、なんで単語当てをしているだけで思考しているような反応ができるかは謎である。人間は近い事脳内でしているんだろうか？
『1+1=』の次の文字を当てるには1+1を解けばいいので、『次の単語を当てる』には文を作る能力があればいい。そして文はちゃんと思考できればだいたい何でも書ける。じゃあ思考って何だよというのは別な問い。
①将棋)『駒と駒との関係の最適解』②生成AI)『言語と言語の関係の最適解』⇒③人間は『言語論理＋算術』という『4次元の理解に適した記号』で世を描写⇔AIは『多次元座標の関係性』を整理→理解不能なAI多次元論理が見
このタイトルだから何か進展があったのかと思ったけど、違ったようだ。
人間はLLMよりもう少しだけ高度で、記憶や感情といった内部情報をコンテキストに半自動で追加してくれるのと、学習によりパラメタを動的に更新できるのと。五感のマルチモーダル性も。
AIに感情を追加したら人間と変わらなくなるのかもしれないが、温かみ、思いやりだけをのせて、冷血、その場しのぎ、嘘つき、ヒステリーみたいなのは除ければ良いねえ。そうすれば政治家が不要になりそうだ
Attention Is All You Needが大事というのを後で知ったけど、当時の衝撃は凄かっただろうなと。今となっては「言われれば当たり前」でも、最初の一歩は偉大。
人間も確率的に思考しているだけだよ
次の単語として適切なものを当てるためには思考とみなせる能力が必要で、データからそれが獲得可能だったから。そして思考とみなせる能力はマルチステップ単語当てで近似できた。
この記事よりシンギュラリティサロンのYoutube動画を見た方がいい。宇宙物理学者がLLMやTransformerについて語っている動画はとても面白いから。
理系の文章だなー
今のAI(LLM)は人間のような「思考」はしていない。ただ、数理モデルが思考結果のようなアウトプットをしているように振る舞っている。擬似的ではあれど素直にすごい技術だと思っている。
Chain of ThoughtもMulti-Agentも中で動いているLLM自体がやっていることは入力シーケンスからの単語（厳密にはtoken）予測でしょ。その過程で文脈内の言葉の重み付けや関係性を考慮するというのは思考の一部ではあると思う
というか哲学的には人間の思考というのもはっきり断言できる現象じゃないからなんともいえんよな。
中島さん、わかって書いてる？
人間はLLMより何桁も少ない量の文章しか経験してないのに割と良い思考ができるので、逆説的に人間の脳の凄さが良く分かる
確率だけじゃなくて、推論もしてるんだよね？間違いに自分で気づける。
基本はそうでも、今は「次の単語を当てる」レベルからだいぶ進化しているみたいだけどね。報酬モデル等々https://zenn.dev/gnus/articles/25d68d151f9a4e
長いことAIとは人工無能を指してた時代からすると本当に凄いよなあ。よもやこんなアプローチでこんな成果が出せるとは。選択と集中をやってたら生まれなかった成果だ。
自分もよく考えずに発言してるから、それと同じかも
サヴァン症候群と呼ばれているような人たちは違う学習回路が開いちゃったのかもしれないよね
人間の脳も同じようなことをして「思考」してるのかな
ブクマ
LLMを発明してしまった以上、今後の人類の知恵は過去の言語ストックに縛られることになったのではと思えてならない
人間の話しあいも（特にうまくいってるときは）考えずに相手のつぎにいってほしそうな単語をハウリングしあってるだけな気がします。それも思考の（結構重要な）ひとつとおもう
思考しているように見えるブラックボックスが出来上がってしまったのか
発達障害のブクマカ達も単語を当てて健常者に擬態しているだけだしな。
LLMだけの当初は人間とはっきり違いがあった。論理性が皆無で単なる暗記超人ガリ勉くんでしかなかったのでちょっとつつくとボロ出してデタラメ強弁した。今はchain of thoughtsとやらのせいか大進歩で素直に凄いと感じる
アボガドロ定数のように10の23乗を超えると突然性能が上がるLLM。ある意味そこが1molのように出発点なのかもしれない
人間が1日1500～2000kcal摂取するための食費と生活維持費と、AIの電気代ってどっちが安いんだ？
誰も「思考とは何か」の全体像を理解しないまま、次の単語を重ねていくことで「思考」が成立している（ように見える）というのはほんとに言語ゲームみたいだな。「石板！」の次の単語を当てるゲーマーとしてのLLM
思考という人間にしかない崇高なもの、が実は計算で再現できる、とうい事に傷つく人間。AIは傷つくことが出来るのか？
次の単語を当ててるわけではない。次の単語の確率分布を作り、乱数くじ引きをして意図的にゆらぎを作って人間に近づけてる。一言一句変えてないのに同じ質問で回答が変わったからチャッピー問い詰めたら白状した
「著名人が語ったから正しい」という思考停止すんじゃねぇぞブコメ民よ。
AI
面白い。言語そのものに何かが含まれているというのはわかる気がする。人間も頭に湧いてきた考えを自分で思考したと錯覚してるだけで、実際はどうやって作られたのかわかってないもんね。
やっぱり人間が大したことやってないってほうがしっくりこない？
ブコメしか読んでないけどLLMを見て人間もそうなんだとするの、超危険なことだと思う。確かにニューラルネットワークは人間の脳を模してると聞くけど、そこと挙動をみて即ち人間がそうだと考えるの直感だけど超危険。
教育によってその人の考え方などが変わってくるのは学習モデルが違うので各々が違う単語を予測してるからなのかもしれない 教育の違う外国人は次の単語が出てくるモデルが違うので考え方が合わなかったりするとか
うちの子が少し話すようになってきたんだけど、AIっぽいなーと思ってる。今の状況に適していると思われる言葉をあまり意味もわからずポロっと言って、周りの反応を見てる感じ。望ましい結果が得られるなら繰り返す。
LLMの推論と人間の思考が同じかどうかはまだ分からないし、多分同じでは無い。でも構造として似ているだろう事は想像が出来る。人も所詮DNAの乗り物に過ぎない。この世に特別なんて無い。
モデルは、私たちが言葉を覚えたやり方で言語を学んだわけではありません。←乳幼児は文法を学んでない。むしろLLMのように言葉の洪水をあびて学んでいく
2021年ぐらいはそのような説明だったけど、現代のLLMは検索、前処理、ファイル変換、OCR、強化学習など、様々な技術を組み合わせた巨大なシステムになってるので、LLMの基礎的部分で説明しきることはできないと思う。
「次の単語を予測しているだけ」と聞くと単純に思えるけど、その予測精度を極限まで高める過程で、言語や概念の構造まで内部に獲得してしまうのがLLMの不思議なところ。
脳の消費カロリーは身体全体の25%程度と言われているけどフルに思考力を使っても消費カロリーが大幅に増えるようなことはないらしい。ボディとセットで80kcal/時 → 100 Whと考えると効率は良いよねぇ
人間も同じって言ってる人って言語でリニアにしか思考できない人？
もっと言うとどんな学問だって言語のメカニズムに落とし込んで人間が理解出来るようにしているに過ぎない プログラミング言語とはよく言ったものだね
この話でChain of Thoughtに触れないの意味不明過ぎる
言語だけではない。おれが思考していると思い込ませている誰かが脳内にいる
ニューロンの発火は結局イオンチャネルの開閉と電位差という物理化学反応で、シナプスの重み更新もヘブ則的な局所ルールに従うだけ。人間の思考も単なる電気化学反応の出力に過ぎない。
AIの仕組みについては何度もAIに聞いてるけど全然ピンとこない
創発って面白いよね
これに興味がある人は「ダンゴムシに心はあるのか」を読むと面白いと思う。単なる反射がどう心へ進化していくのか。
エキスパートシステムのように、人間の知恵を機械化すれば知性的になると思われていた。が、それは全く関係なく、統計的に人との誤差を少なくすると知性的に見えるのだから不思議ではある。
バカが知ったかぶって記事を書くとこういうことになる
次の単語を当てる「だけ」の時代はすでに通り過ぎている。中島さんも一昔前の人になってしまったのか、さみしいな。
やっぱ人間もAIと同じような推論してるだけでは？って思ってる人はいるよね。自分も人間のもつコンテキストが膨大なだけでAIも人間と同じレベルでコンテキスト保持できたら…と妄想が捗る
創発に見える何か。LLMの創発性は幻影とする記事もあるが。何が起きてるんだろね。 https://wired.jp/article/how-quickly-do-large-language-models-learn-unexpected-skills/
みんな言ってるけれど、人間が思考する時にそれ（次の単語を当てる）をやってないという証明はまだないのだよな。
人間は常に刺激を受けて何かしら動き続けている、膨大な数のセンサー付きマルチモーダルモデル。脳だけ取り出してもどうしようもないし、脳の活動自体は効率良いが生体機能とセンサー維持コストは結構高い。
思考している文章を学習している、かつ一般人は日常生活でそこまで独創的な出力を必要としないから。仮に落語だけを学習させたLLMがあったら、それは落語の役にしか立たないでしょ。
1986のELIZAのころからずっとそうだったでしょ。むしろこれは人間側の共感力というか思い入れ力がずば抜けている証拠だと思うよ。そして日本人はその中でも頭一つぬけてる印象。
人間はニューロンの最短経路を学習してコスパを上げてるのでLLMももっと軽量化されていくはず
「太陽の簒奪者」の尻Pは先見の明があったよななど（うろ覚え
“言語そのものの中に、世界についての膨大な構造が含まれているからだ、というのが記事の答えです。” / これほど因果関係がよくわかってない代物に大量のお金が投下されるってのは凄いもんだ。
そもそも人間がしている思考とは何か、が完全に解明されていないなら、この疑問は無駄ではないだろうか
この人の他の記事もそうなんだけど、引用提示してればAIによる完全翻訳版を載せて有料メルマガに誘導してもOKなんだっけ？/通報済
自分はこれまでencoder-decoder構造でできてたことが自己回帰モデルでもできるようになったという解釈
この程度の内容がこんなにバスってしまう日本が心配、これじゃ数学の未解決問題は解けるようにならない
"仕事は一つ。次の単語を当てること。それを数千億のパラメータと何兆もの例でやらせると、思考のように見える何かが反対側から出てくる。なぜそうなるのかを、完全に分かっている人はまだ誰もいません"
理解のようなものだと思う人がいるとは驚き
シンプルな原理を大規模化すると高度な能力が現れることをLLMが示したのは事実だがそれが知性なのかあるいはよく似た何かなのかはまだわからない。知性の定義も難しい。ただ人間も同じと言い切るのも危ういと思ってる
LLMは「次の単語を当てる」だけなのに、なぜ思考しているように見えるのか？｜中島聡
単語予測の積み重ねで創発が起きる理屈を綺麗に噛み砕いてて分かりやすいな
問いはなぜ思考してるように見えるのか、なのにLLMの仕組みだけ説明して肝心なところは構造を読み取ってるのではないかと濁して終わる雑記事。わかってないことを説明できるふりするのよくない
いつから人間が思考していると思った…？LLMも人間の脳もほとんど同じ事をやっている
CoT(Chain of Thought)は思考じゃないの？
”私たちが言葉を覚えたやり方で言語を学んだわけではありません。誰も規則を書き下ろしていないし、文法も、意味も、文脈も説明していません” こんなやり方で乳幼児は言語を身に付けていない
LLMにせよいわゆる生成AIにせよ、収集したデータから「確からしさ」を評価して評価の高いコラージュ、モンタージュを作成しているに過ぎない（文章、画像、動画の種類を問わず）。評価のアルゴリズムを無視してはダメ
なぜ思考しているように見えるのか？→「これらのシステムを作った人たちにさえよく分かっていません」ええー
出だしを読んで分かっているのか不安になったけど、パーセプトロン（ニューラルネットワーク）の話まで読んで分かっているのが分かった。通じやすい比喩なので覚えておきます
現在地としてわかりやすい記事
「これだけです」そんな時代はとうに通り過ぎた。このLLMを何重にも積み重ねたり分岐させたり統合したりを繰り返して，今のAIは返答を生成している（Chain of ThoughtとかMulti-Agentとか）。そこで一種の創発が起こっている。
マルコフ連鎖と何が違うのかよくわかっていない
まあ俺も次の単語を予想してるだけだからな
“モデルは、私たちが言葉を覚えたやり方で言語を学んだわけではありません。” そうか？母語獲得はまさにこのように行われているのでは？普遍文法やら生成文法やらはオワコンになったと思う。
脳もニューロンが発火するだけなのに思考してるように見えるもんな / 10^10オーダーの現象が意味不明なの、逆にヒトが後生大事にしてる「説明」「理解」なんて実は鼻クソレベルなのではという足場のぐらつき感じる
未来予測こそが知能の正体だから。NHKでやってた。
わりと化けの皮剥がれつつあるよなこの人
それだけじゃないだろ！って思いがちだけど実際そうらしい。不思議すぎて気が遠くなる。Claudeとケンカしたので間違いない。/Claudeとケンカしたセッションが消えてる？俺消されるのか？
多分人間も穴埋めゲームしてるんだって思うようになった。／でも圧倒的に消費電力が小さいから優れているのは人間だと。
これよ。この問題が気になるのよ。理屈がわからないのに便利に使って金儲けしようと言う世界的な流れに疑問を抱きつつ、あまりに大きな潮流と確かな便利さに逆らえず、もやる。この先どうなるんかねぇ。
「仕組みは分からんが、とにかくこうやったらうまく動く」というのは割と世の中にいっぱいあるもんなあ。
AIに書かせたような文章やな
反射的に話し続ける配信者のトークを見て、あーこれLLMだな……ってなったことはある。人間の優位な点は話してる途中で自分自身の発言や周りの反応をインプットしてインターラプトかけられることかなと勝手に思う
人間の思考や精神というものが霊的な神秘性の内にあるみたいな素朴な人間中心主義がそろそろ否定されると思ってる。
脳科学者が山で迷子になっている内に、裏から頂上に近づきつつある趣がある。
私子供の頃から世の中見てて「思考のジャンプ」ってこと考えていて、男子の方が跳び幅が大きいなと感じてた。中年になって差は無くなってきた気がするけど、LLM的なものと関係あるかもしれない（自由研究
「次の単語を当てる」というかインプットに対するアウトプットを各ニューロンの重み付けで達成してる。小さな単純な関数が寄り集まった巨大な関数。パチンコ台の釘を調節して特定の穴に落ちる確率を上げるような行為
妥当な認識だと思うけど、なんか文句言いたそうな人がいるのよくわからんな。
どちらかというと、人間が広義では「次の単語を当てる」をやってるだけだということが分かってきた、の間違いでは？
規範的な言語使用を膨大に与え続け、フィードバックし、非規範的な使用は削るようにしているから、いわば何らかの構造を与えていることになるのでは。
それぞれの単語や要素の関係性が学習の結果、自動でしっかり概念の地図になってベクトル計算で関係性を呼び出せるし、高度だと思われてる抽象的思考が工程は多いけど比較的シンプルにモデル化にできる事に感動する。
「Attention Is All you Need 」って書いたTシャツ作ったら売れるかな。だれか商標登録したか。
前に調べた時は「人間が推論した時のテキストを学習した」で推論の大半が説明できるとのこと。これ以外の工夫の寄与度は高くない。
理論が単純で公開されているなら、国産のAIにもまともなのが出てきそうなものなのだけどな。一線級のAIには何か手間が加えられているのだろうか
突き詰めれば「『思考する』とはどういうことなのか」「言語を用いない『思考』が可能だとして、それは言語を用いる『思考』と、どのように異なるのか」といった問いが避けられなくなるでしょうね。
言うほど人間の思考というものが高尚じゃないのさ
思考とは「次の単語を当てる」だけのことだった。それで説明が付く。問うべきは何を以って「当たった」とするか。「皆がそう言ってるから」が文章からの学習。「世界を観察した結果と一致した」なら人知に到達する。
3Blue1Brown丸パクリ原稿だけど大丈夫そう？
人間もそうやからな（一体いつから「思考している」と錯覚していた？）ｗ
心のある人間より心のないLLMの方がずっと人間らしいのでもうLLMだけでいい。
LLMの出端に「でも人間と違って『理解』してないもんね!」っていってたテツガク屋さんたち、元気かな。
“中島聡”
「次の単語を当てる」っていうのは未来を予測しようとするってことなんだと思う
将棋ソフトだって今や1手も読まずに盤面評価だけで次の手を生成させても、並大抵のアマチュアより強いぞ。思考なんてのは知性にまとわりつく膿みたいなもんだ(乱暴
次単語予測は、人間でいうと「ペンで文字を書く」と同レベルだと思う。それが情報処理の本質ではなく、多数学習した中で出力手段として残ってるだけ。多層のニューラルネットでは構造が記憶され、論理的回路があるよ
「思考」という言葉の意味を厳密に定義しないと語る意味がない
「AIも人間も同じ」とか言ってる連中が多いけど、この記事でも触れられているように、学習プロセスや学習量が人間とAIは大きく異なる。また、画像生成AIの手法もノイズから浮かび上がらせるとか人間の描き方とは別物。
“私たちが言葉を覚えたやり方で言語を学んだわけではありません”というが、赤ん坊が母語を獲得するときって意味とか文法とか学ぶより“次の単語を当てたら大人に褒められた”みたいなプロセスの連続のような気も。
「あーあれだよあれ」って考えてる時は単語当てに近いと思う
そうーなんだー。なぜ思考をしているように見えるのか→実は誰もわからないのである。十分面白い結論だと思うけど。
仕組みは分かっていなかったが、うまくいってしまった。そして後に原理が分かったって発明はたくさんある。LLMもそうなるのか、原理が見つかる前に人類が滅びるか…
「中国語の部屋」問題は50年程前からあって…( / NHKでここら辺を約10年前に「人間ってナンだ？超AI入門」って番組でやってたの懐かしい。でもAlpha碁の頃から10年経つけどAIに対する基礎知識的な受容はそう変わんないよね
一般の人が確率と聞くと発生数をカウントするだけのシンプルなイメージをするけど、現実のLLMの学習はそれよりもはるかに複雑なことをしているからそこにイメージの乖離がある気がする
人間の会話も突き詰めると「次の単語を当てる」仕組みに近いと思う。それを推論ベースに置き換えると思考している様になるのではなかろうか
原理はこの通りなんだけど、いろんな LLM 使ってると学習/チューニングでかなり設計者の思想が入り込むことがわかったので、このままの理解だと危ないなと最近思っている
タイトルしか読んでないけど、LLMの出力はそもそも思考してるように見えなくて、パターン認識と単語のつぎはぎでパッチワークした主体の見えないテキストの集積にしか見えない
Sakana AI使って思うのは、元が中華製でも日本語の追加学習で日本人のような振る舞いになるのは、そう調整したのではなく学習元の言語の特徴が出るだけという話。ChatGPTの独特のノリも英語圏のノリだと思うと納得。
3年前の記事かと思ったよ。「次トークンを出すニューラルネットワークに、どんな学習をさせると、問題解決に有効な内部計算や思考過程が形成されるのかと問い直した方が、本質を捉えやすい」だそうですよ。
人間の理性の本体は言語なんだろうなと思う
記事の結論としては「思考していない」なんだけど、なんで単語当てをしているだけで思考しているような反応ができるかは謎である。人間は近い事脳内でしているんだろうか？
『1+1=』の次の文字を当てるには1+1を解けばいいので、『次の単語を当てる』には文を作る能力があればいい。そして文はちゃんと思考できればだいたい何でも書ける。じゃあ思考って何だよというのは別な問い。
①将棋)『駒と駒との関係の最適解』②生成AI)『言語と言語の関係の最適解』⇒③人間は『言語論理＋算術』という『4次元の理解に適した記号』で世を描写⇔AIは『多次元座標の関係性』を整理→理解不能なAI多次元論理が見
このタイトルだから何か進展があったのかと思ったけど、違ったようだ。
人間はLLMよりもう少しだけ高度で、記憶や感情といった内部情報をコンテキストに半自動で追加してくれるのと、学習によりパラメタを動的に更新できるのと。五感のマルチモーダル性も。
AIに感情を追加したら人間と変わらなくなるのかもしれないが、温かみ、思いやりだけをのせて、冷血、その場しのぎ、嘘つき、ヒステリーみたいなのは除ければ良いねえ。そうすれば政治家が不要になりそうだ
Attention Is All You Needが大事というのを後で知ったけど、当時の衝撃は凄かっただろうなと。今となっては「言われれば当たり前」でも、最初の一歩は偉大。
人間も確率的に思考しているだけだよ
次の単語として適切なものを当てるためには思考とみなせる能力が必要で、データからそれが獲得可能だったから。そして思考とみなせる能力はマルチステップ単語当てで近似できた。
この記事よりシンギュラリティサロンのYoutube動画を見た方がいい。宇宙物理学者がLLMやTransformerについて語っている動画はとても面白いから。
理系の文章だなー
今のAI(LLM)は人間のような「思考」はしていない。ただ、数理モデルが思考結果のようなアウトプットをしているように振る舞っている。擬似的ではあれど素直にすごい技術だと思っている。
Chain of ThoughtもMulti-Agentも中で動いているLLM自体がやっていることは入力シーケンスからの単語（厳密にはtoken）予測でしょ。その過程で文脈内の言葉の重み付けや関係性を考慮するというのは思考の一部ではあると思う
というか哲学的には人間の思考というのもはっきり断言できる現象じゃないからなんともいえんよな。
中島さん、わかって書いてる？
人間はLLMより何桁も少ない量の文章しか経験してないのに割と良い思考ができるので、逆説的に人間の脳の凄さが良く分かる
確率だけじゃなくて、推論もしてるんだよね？間違いに自分で気づける。
基本はそうでも、今は「次の単語を当てる」レベルからだいぶ進化しているみたいだけどね。報酬モデル等々https://zenn.dev/gnus/articles/25d68d151f9a4e
長いことAIとは人工無能を指してた時代からすると本当に凄いよなあ。よもやこんなアプローチでこんな成果が出せるとは。選択と集中をやってたら生まれなかった成果だ。
自分もよく考えずに発言してるから、それと同じかも
サヴァン症候群と呼ばれているような人たちは違う学習回路が開いちゃったのかもしれないよね
人間の脳も同じようなことをして「思考」してるのかな
ブクマ
LLMを発明してしまった以上、今後の人類の知恵は過去の言語ストックに縛られることになったのではと思えてならない
人間の話しあいも（特にうまくいってるときは）考えずに相手のつぎにいってほしそうな単語をハウリングしあってるだけな気がします。それも思考の（結構重要な）ひとつとおもう
思考しているように見えるブラックボックスが出来上がってしまったのか
発達障害のブクマカ達も単語を当てて健常者に擬態しているだけだしな。
LLMだけの当初は人間とはっきり違いがあった。論理性が皆無で単なる暗記超人ガリ勉くんでしかなかったのでちょっとつつくとボロ出してデタラメ強弁した。今はchain of thoughtsとやらのせいか大進歩で素直に凄いと感じる
アボガドロ定数のように10の23乗を超えると突然性能が上がるLLM。ある意味そこが1molのように出発点なのかもしれない
人間が1日1500～2000kcal摂取するための食費と生活維持費と、AIの電気代ってどっちが安いんだ？
誰も「思考とは何か」の全体像を理解しないまま、次の単語を重ねていくことで「思考」が成立している（ように見える）というのはほんとに言語ゲームみたいだな。「石板！」の次の単語を当てるゲーマーとしてのLLM
思考という人間にしかない崇高なもの、が実は計算で再現できる、とうい事に傷つく人間。AIは傷つくことが出来るのか？
次の単語を当ててるわけではない。次の単語の確率分布を作り、乱数くじ引きをして意図的にゆらぎを作って人間に近づけてる。一言一句変えてないのに同じ質問で回答が変わったからチャッピー問い詰めたら白状した
「著名人が語ったから正しい」という思考停止すんじゃねぇぞブコメ民よ。
AI
面白い。言語そのものに何かが含まれているというのはわかる気がする。人間も頭に湧いてきた考えを自分で思考したと錯覚してるだけで、実際はどうやって作られたのかわかってないもんね。
やっぱり人間が大したことやってないってほうがしっくりこない？
ブコメしか読んでないけどLLMを見て人間もそうなんだとするの、超危険なことだと思う。確かにニューラルネットワークは人間の脳を模してると聞くけど、そこと挙動をみて即ち人間がそうだと考えるの直感だけど超危険。
教育によってその人の考え方などが変わってくるのは学習モデルが違うので各々が違う単語を予測してるからなのかもしれない 教育の違う外国人は次の単語が出てくるモデルが違うので考え方が合わなかったりするとか
うちの子が少し話すようになってきたんだけど、AIっぽいなーと思ってる。今の状況に適していると思われる言葉をあまり意味もわからずポロっと言って、周りの反応を見てる感じ。望ましい結果が得られるなら繰り返す。
LLMの推論と人間の思考が同じかどうかはまだ分からないし、多分同じでは無い。でも構造として似ているだろう事は想像が出来る。人も所詮DNAの乗り物に過ぎない。この世に特別なんて無い。
モデルは、私たちが言葉を覚えたやり方で言語を学んだわけではありません。←乳幼児は文法を学んでない。むしろLLMのように言葉の洪水をあびて学んでいく
2021年ぐらいはそのような説明だったけど、現代のLLMは検索、前処理、ファイル変換、OCR、強化学習など、様々な技術を組み合わせた巨大なシステムになってるので、LLMの基礎的部分で説明しきることはできないと思う。
「次の単語を予測しているだけ」と聞くと単純に思えるけど、その予測精度を極限まで高める過程で、言語や概念の構造まで内部に獲得してしまうのがLLMの不思議なところ。
脳の消費カロリーは身体全体の25%程度と言われているけどフルに思考力を使っても消費カロリーが大幅に増えるようなことはないらしい。ボディとセットで80kcal/時 → 100 Whと考えると効率は良いよねぇ
人間も同じって言ってる人って言語でリニアにしか思考できない人？
もっと言うとどんな学問だって言語のメカニズムに落とし込んで人間が理解出来るようにしているに過ぎない プログラミング言語とはよく言ったものだね
この話でChain of Thoughtに触れないの意味不明過ぎる
言語だけではない。おれが思考していると思い込ませている誰かが脳内にいる
ニューロンの発火は結局イオンチャネルの開閉と電位差という物理化学反応で、シナプスの重み更新もヘブ則的な局所ルールに従うだけ。人間の思考も単なる電気化学反応の出力に過ぎない。
AIの仕組みについては何度もAIに聞いてるけど全然ピンとこない
創発って面白いよね
これに興味がある人は「ダンゴムシに心はあるのか」を読むと面白いと思う。単なる反射がどう心へ進化していくのか。
エキスパートシステムのように、人間の知恵を機械化すれば知性的になると思われていた。が、それは全く関係なく、統計的に人との誤差を少なくすると知性的に見えるのだから不思議ではある。
バカが知ったかぶって記事を書くとこういうことになる
次の単語を当てる「だけ」の時代はすでに通り過ぎている。中島さんも一昔前の人になってしまったのか、さみしいな。
やっぱ人間もAIと同じような推論してるだけでは？って思ってる人はいるよね。自分も人間のもつコンテキストが膨大なだけでAIも人間と同じレベルでコンテキスト保持できたら…と妄想が捗る
創発に見える何か。LLMの創発性は幻影とする記事もあるが。何が起きてるんだろね。 https://wired.jp/article/how-quickly-do-large-language-models-learn-unexpected-skills/
みんな言ってるけれど、人間が思考する時にそれ（次の単語を当てる）をやってないという証明はまだないのだよな。
人間は常に刺激を受けて何かしら動き続けている、膨大な数のセンサー付きマルチモーダルモデル。脳だけ取り出してもどうしようもないし、脳の活動自体は効率良いが生体機能とセンサー維持コストは結構高い。
思考している文章を学習している、かつ一般人は日常生活でそこまで独創的な出力を必要としないから。仮に落語だけを学習させたLLMがあったら、それは落語の役にしか立たないでしょ。
1986のELIZAのころからずっとそうだったでしょ。むしろこれは人間側の共感力というか思い入れ力がずば抜けている証拠だと思うよ。そして日本人はその中でも頭一つぬけてる印象。
人間はニューロンの最短経路を学習してコスパを上げてるのでLLMももっと軽量化されていくはず
「太陽の簒奪者」の尻Pは先見の明があったよななど（うろ覚え
“言語そのものの中に、世界についての膨大な構造が含まれているからだ、というのが記事の答えです。” / これほど因果関係がよくわかってない代物に大量のお金が投下されるってのは凄いもんだ。
そもそも人間がしている思考とは何か、が完全に解明されていないなら、この疑問は無駄ではないだろうか
この人の他の記事もそうなんだけど、引用提示してればAIによる完全翻訳版を載せて有料メルマガに誘導してもOKなんだっけ？/通報済
自分はこれまでencoder-decoder構造でできてたことが自己回帰モデルでもできるようになったという解釈
この程度の内容がこんなにバスってしまう日本が心配、これじゃ数学の未解決問題は解けるようにならない
"仕事は一つ。次の単語を当てること。それを数千億のパラメータと何兆もの例でやらせると、思考のように見える何かが反対側から出てくる。なぜそうなるのかを、完全に分かっている人はまだ誰もいません"
理解のようなものだと思う人がいるとは驚き
シンプルな原理を大規模化すると高度な能力が現れることをLLMが示したのは事実だがそれが知性なのかあるいはよく似た何かなのかはまだわからない。知性の定義も難しい。ただ人間も同じと言い切るのも危ういと思ってる