結局「次に来る単語の予測」っていう表現がミスリードなんだよな。もはや魔法だろ
たしかにその表現から想起される素朴なイメージとは違うけども、推論しているというのはより一層違うのでは。
「次に来る単語の予測」じゃなくて「次に何を配置すべきかを概念的、統計的に選択してそれを言語化してる」って説明した方がいいかな？
つまり、「統計的に次の単語を予測しているに過ぎない」ってことなのでは？
いや、人間は愚かなままで良い。
アホを見た／あーでも言語を分かってないと直感ですわからんのかぁ／知能とは言語による未来予測なのだよなぁ
アテンションだの含めたものを統計と言うなという主張？
よく判らないのだが。統計はスカラー値でしか取れないと思ってる？ ベクトルを対象にも統計は取れるし，高次元ベクトル空間に拡張してももちろん取れる。
結局AI丸投げぺたぺた君なのに、それでなんでこんなイキれるのか不思議。こういうのが現行レベルでも、AIがあれば100%代替可能で死んだところで社会の誰も困らない人間の典型
まあ今のChatGPTやGeminiのweb UIはLLMコール一回で終わりではなくagenticな振る舞いをするので、それはそう（本文の主張はよく分からなかったが）。そして「agenticな振る舞い」を説明できる人は極めて少ないとは思う。
小難しい理屈をふぇぇ…んすると、そうなるってだけやろ
じゃあ、次に来る単語の予測で合ってるな。（予測というより妥当さとかだろうし、次だけでなくある程度先まで考慮してるだろうけど。）/ただ言いたいのはイメージしてるような思考をしてる訳じゃないってことでしょ
増田が予測の価値を過小評価しているのでは？ 松尾豊教授は「知能の本質は予測能力」だと指摘されていたよ。
ブコメ書くときも条件反射で次に来る文字列を連想しながら書き連ねているなと我が身を振り返る様になった。プロンプト（お題）がないと文が書けない。
かつてバカが知識人を吊し上げて秩序が崩壊した国があってね。文化大革命と言うんだけど、日本もそんな感じになってきたな。
僕はヒトの思考や芸術活動も複雑化した反射に過ぎないと思ってるけど
感心するのはそこじゃなくて、万単位のパラメータでLLMやるとまるで推論やってるかのように振る舞うって事で。我々だってどうやって思考しているかは分からん。
おそらく統計的に次の単語を予測するということが知性の本質なんじゃないかな
今のAIってパラメータがめっちゃ多い統計って認識だけどなあ
素人わい「高次元ベクトル空間…かっこよ…」
次単語予測はデコーダーの事前学習の目的関数を説明しただけでは。細かいことを言えばそれ以外も最適化対象だけど基本的には次単語予測。もちろんこの話と埋め込み空間での現象は関係するけど話のレイヤーが違う
広義の意味として取るか、狭義の意味として取るかなのでは。エージェント的なLLMを組み合わせた動作は全く違うものになるけど、LLMそのものは「次の単語を予測している」ってなっちゃうよね。
Google Gemini の中の人が書いたオライリーの技術書にも「LLMは結局のところドキュメント補完エンジンに過ぎない」とあったよ
AIに思考力まで奪われたのかい
"伝わらなそう"←ここすき
俺もそう思って居るけど... function callとかしてても大体そんな感じじゃないかしら?
だからそれが「統計的に次の単語を予測している」ということなのでは…?
「統計的に次の単語を予想しているにすぎない」が、その後の結論がだいたい理論跳躍してるイメージ。「〜ので文章の内容を理解してない（閃き的な仕組みが内部的にあるし、理解とは何かを定義できてない）」とか
質問への回答に対して、正しくなさそうだから「～～って言うのは本当？」って重ねて聞くと大体「いい質問ですね、たしかに～～というのは正確ではありません」とかしれっと嘘つかれることばかりなんだよな。現状は。
高次元ベクトル空間に圧縮して予測って正に統計では？だからこそ生成AIは統計的外れ値は出力できない。
LLMのベースはニューラルネットワークという人間の脳の仕組みを簡略化して模倣したものなのだけど、単なる予測と違うのは、単語の意味を抽象化した上で文脈を理解し、推論を行えることなんじゃないかな。
参照する先が単語ではなく文章と文章の纏まった物って階層状になってるだけで統計的に予測してる事は変わらないよね
多分「人間の知性と何が違うのか」を話したいんだよね。両者とも。
同感。人間が文字を書くときは、筆記具を上下左右に動かしているだけだ、と同等の言説よね。パターン学習を元に、確率的に選択するということを、多層（高次元）でやってて、論理回路ができてるとの解釈で良いと思う
裏返せば実は「知性」ってその程度だったとも…
でもそれって予測じゃない？予測にすぎないはずなのにバカでかいデータ食わせたらまぁまぁ正しいことを言うようになったのが驚きポイントだと思ってる
「意味理解や推論までやってくれました」は正確ではなくて、「あたかも意味理解や推論までできているかのように見える振る舞いをしました」だと思う。
突き詰めていくと次に起こる事を予測して先回りして実行してくれる未来予知の能力を発現するのではないかと妄想したりする。
AIは通常、計算させても実際に計算機に通してない。この先どうなるか分からんけど。GPTはこの辺見ておけばよい。 https://youtu.be/KlZ-QmPteqM
統計的に次の単語を予測しているだけなのにこんなに会話が成立していることにびっくりしてるんやで。もしかしたら人間の知性なんてのもそんな程度のもんなのかもしれん
（単語の）統計的に次の単語を予測しているに過ぎないのではなく、（複雑な知識の）統計的に次の単語を予測しているに過ぎない。
単体ではそのままじゃなかろうか。でも、マルチエージェントとかエージェントフローとかがさくっと作れるようになっているから、もはや人間の居所としては、物理操作する部品になりつつある気がしなくもない。
作家お筆先論「努力/経験/神がかりその他的に、ヒトに次の単語が降りてくる」が受け入れられた時代も(つい少し前まで)あったのですよ…AIの生成は、そこ(語彙プールからの選択≒思考≒創作)を、暴力で相対化したよね。
AI自身に聞いてみたら、パターンを元に予測しているって帰って来たけど
確かに話の途中で「次の単語を予測して」相手の話遮っちゃう人いるよね俺ですごめんなさい
AIが意味を理解しているとは認識しないほうがいい、ってくらいな話だと思ってる。意味を理解しているくらいに見えてしまうんだけれど、それを前提として使ってると大きく間違う可能性がある。
未だにAIを「統計的に次の単語を予測しているに過ぎない」って言ってる人いる
結局「次に来る単語の予測」っていう表現がミスリードなんだよな。もはや魔法だろ
たしかにその表現から想起される素朴なイメージとは違うけども、推論しているというのはより一層違うのでは。
「次に来る単語の予測」じゃなくて「次に何を配置すべきかを概念的、統計的に選択してそれを言語化してる」って説明した方がいいかな？
つまり、「統計的に次の単語を予測しているに過ぎない」ってことなのでは？
いや、人間は愚かなままで良い。
アホを見た／あーでも言語を分かってないと直感ですわからんのかぁ／知能とは言語による未来予測なのだよなぁ
アテンションだの含めたものを統計と言うなという主張？
よく判らないのだが。統計はスカラー値でしか取れないと思ってる？ ベクトルを対象にも統計は取れるし，高次元ベクトル空間に拡張してももちろん取れる。
結局AI丸投げぺたぺた君なのに、それでなんでこんなイキれるのか不思議。こういうのが現行レベルでも、AIがあれば100%代替可能で死んだところで社会の誰も困らない人間の典型
まあ今のChatGPTやGeminiのweb UIはLLMコール一回で終わりではなくagenticな振る舞いをするので、それはそう（本文の主張はよく分からなかったが）。そして「agenticな振る舞い」を説明できる人は極めて少ないとは思う。
小難しい理屈をふぇぇ…んすると、そうなるってだけやろ
じゃあ、次に来る単語の予測で合ってるな。（予測というより妥当さとかだろうし、次だけでなくある程度先まで考慮してるだろうけど。）/ただ言いたいのはイメージしてるような思考をしてる訳じゃないってことでしょ
増田が予測の価値を過小評価しているのでは？ 松尾豊教授は「知能の本質は予測能力」だと指摘されていたよ。
ブコメ書くときも条件反射で次に来る文字列を連想しながら書き連ねているなと我が身を振り返る様になった。プロンプト（お題）がないと文が書けない。
かつてバカが知識人を吊し上げて秩序が崩壊した国があってね。文化大革命と言うんだけど、日本もそんな感じになってきたな。
僕はヒトの思考や芸術活動も複雑化した反射に過ぎないと思ってるけど
感心するのはそこじゃなくて、万単位のパラメータでLLMやるとまるで推論やってるかのように振る舞うって事で。我々だってどうやって思考しているかは分からん。
おそらく統計的に次の単語を予測するということが知性の本質なんじゃないかな
今のAIってパラメータがめっちゃ多い統計って認識だけどなあ
素人わい「高次元ベクトル空間…かっこよ…」
次単語予測はデコーダーの事前学習の目的関数を説明しただけでは。細かいことを言えばそれ以外も最適化対象だけど基本的には次単語予測。もちろんこの話と埋め込み空間での現象は関係するけど話のレイヤーが違う
広義の意味として取るか、狭義の意味として取るかなのでは。エージェント的なLLMを組み合わせた動作は全く違うものになるけど、LLMそのものは「次の単語を予測している」ってなっちゃうよね。
Google Gemini の中の人が書いたオライリーの技術書にも「LLMは結局のところドキュメント補完エンジンに過ぎない」とあったよ
AIに思考力まで奪われたのかい
"伝わらなそう"←ここすき
俺もそう思って居るけど... function callとかしてても大体そんな感じじゃないかしら?
だからそれが「統計的に次の単語を予測している」ということなのでは…?
「統計的に次の単語を予想しているにすぎない」が、その後の結論がだいたい理論跳躍してるイメージ。「〜ので文章の内容を理解してない（閃き的な仕組みが内部的にあるし、理解とは何かを定義できてない）」とか
質問への回答に対して、正しくなさそうだから「～～って言うのは本当？」って重ねて聞くと大体「いい質問ですね、たしかに～～というのは正確ではありません」とかしれっと嘘つかれることばかりなんだよな。現状は。
高次元ベクトル空間に圧縮して予測って正に統計では？だからこそ生成AIは統計的外れ値は出力できない。
LLMのベースはニューラルネットワークという人間の脳の仕組みを簡略化して模倣したものなのだけど、単なる予測と違うのは、単語の意味を抽象化した上で文脈を理解し、推論を行えることなんじゃないかな。
参照する先が単語ではなく文章と文章の纏まった物って階層状になってるだけで統計的に予測してる事は変わらないよね
多分「人間の知性と何が違うのか」を話したいんだよね。両者とも。
同感。人間が文字を書くときは、筆記具を上下左右に動かしているだけだ、と同等の言説よね。パターン学習を元に、確率的に選択するということを、多層（高次元）でやってて、論理回路ができてるとの解釈で良いと思う
裏返せば実は「知性」ってその程度だったとも…
でもそれって予測じゃない？予測にすぎないはずなのにバカでかいデータ食わせたらまぁまぁ正しいことを言うようになったのが驚きポイントだと思ってる
「意味理解や推論までやってくれました」は正確ではなくて、「あたかも意味理解や推論までできているかのように見える振る舞いをしました」だと思う。
突き詰めていくと次に起こる事を予測して先回りして実行してくれる未来予知の能力を発現するのではないかと妄想したりする。
AIは通常、計算させても実際に計算機に通してない。この先どうなるか分からんけど。GPTはこの辺見ておけばよい。 https://youtu.be/KlZ-QmPteqM
統計的に次の単語を予測しているだけなのにこんなに会話が成立していることにびっくりしてるんやで。もしかしたら人間の知性なんてのもそんな程度のもんなのかもしれん
（単語の）統計的に次の単語を予測しているに過ぎないのではなく、（複雑な知識の）統計的に次の単語を予測しているに過ぎない。
単体ではそのままじゃなかろうか。でも、マルチエージェントとかエージェントフローとかがさくっと作れるようになっているから、もはや人間の居所としては、物理操作する部品になりつつある気がしなくもない。
作家お筆先論「努力/経験/神がかりその他的に、ヒトに次の単語が降りてくる」が受け入れられた時代も(つい少し前まで)あったのですよ…AIの生成は、そこ(語彙プールからの選択≒思考≒創作)を、暴力で相対化したよね。
AI自身に聞いてみたら、パターンを元に予測しているって帰って来たけど
確かに話の途中で「次の単語を予測して」相手の話遮っちゃう人いるよね俺ですごめんなさい
AIが意味を理解しているとは認識しないほうがいい、ってくらいな話だと思ってる。意味を理解しているくらいに見えてしまうんだけれど、それを前提として使ってると大きく間違う可能性がある。