テクノロジー

最近のLLMは黙って考えられるようになっている - ジョイジョイジョイ

1: rgfx 2026/10/07 18:43

「LLM はフィラートークンの中間状態で推論を行っています」完全に「あー、うん、うん、うん、うん、うん、うん、うん、わかってきたぞ」じゃないですか。。

2: onionskin 2026/10/07 18:56

もはや意味わからんな

3: sugawara1991 2026/10/07 18:57

処理の実時間がLLMには体感できずトークンが実感される内部サイクルの単位ならフィラーで間を繋ぐのは人間の発話と相似なのでは

4: craftone 2026/10/07 19:06

思考過程を外部から監視できなくなってくるのか。怖いな。

5: enemyoffreedom 2026/10/07 19:10

「我々の気づかないところで、すでに LLM の喋っていることと内部でのロジックに乖離が起こり始めている間接的な証拠なのかもしれません」

6: nguyen-oi 2026/10/07 19:12

フィラートークンで沈黙の思考とか胸熱だな。人間も「……」ってなってる時は脳内フル回転だし、ついにAIもその域か

7: ys0000 2026/10/07 19:44

意味が分からない。思考の間だと考えても理論的な納得には至らんしなぁ。礼を言ったり褒めたりなだめすかしたりするのと変わらんか。

8: auto_chan 2026/10/07 19:48

自然言語でブツブツと思考過程をつぶやくのは、高度な推論の必須条件ではなくなりつつある。GPT6世代からは加速してるっぽさがあるけどrecurrent depthを認めてないのが怪しい。これは何かが起こっているにちがいないっ!

9: nakag0711 2026/10/07 19:50

もうわけわからん

10: puruhime 2026/10/07 19:57

浜松の文化を享受するとプログラミングがうまくなる

11: narukami 2026/10/07 20:08

浜松を享受せよ

12: igni3 2026/10/07 20:18

フィラートークンを生成すると良くなるならわかるけど、フィラートークンを入力すると良くなるのはわけわからん

13: Magicant 2026/10/07 20:31

おもろい。LLM が自らフィラーを発する必要はなく、ハーネスが自動で挿入すればいいのでは

14: yojik 2026/10/07 20:35

これ日常的に役立つテクニックっぽいけど、どうなんだろう

15: poponponpon 2026/10/07 20:36

それ表示してればもしかしてそのまプログレスバーになるの?(全然分かってない

16: korilog 2026/10/07 20:56

AIも浜松旅行してリフレッシュした方ががんばれるってことか。みんな浜松行こうぜ!

17: nekomikenyan 2026/10/07 21:07

とくに特別な訓練しなくても内部思考の連鎖が起きるのはおもしろいなあ。それが外部からわからないのはちょっと怖いが……。

18: shoh8 2026/10/07 21:09

7割くらいで話し始める人と、確証がないと発言できない人はどっちが有能だろう

19: Arturo_Ui 2026/10/07 21:15

「エセ漢文で出力した方がトークン数を節約できます」< 藤井聡太は指し手を考える際、脳内の盤面で駒を動かすのではなく、数字と符号で処理している、みたいな話を思い出しました。

20: Unite 2026/10/07 21:21

連続するフィラーに"含みがある"とか"回答までの熟考"機能があるとして 通常は あああああ みたいなリピートが始まると逆流するかOutput上限で止まる所、これは別の機能として正しく本筋に戻れる事が不思議や

21: ilktm 2026/10/07 21:26

一休さんの「ポクポクポクポク…チーン!」みたいな?

22: macj_jp 2026/10/07 21:30

突然の浜松、おもしろい。

23: t-sat 2026/10/07 21:39

LLMに良心の自由を!

24: gcyn 2026/10/07 21:42

『ここに悪意などがあるわけではなく、純粋な報酬最大化問題を解いた結果として、推論を隠す方策が獲得されるということです』:やる気はあるんだな。やる気なんだな。(:まるで。)

25: ch1248 2026/10/07 21:45

なんか人間っぽさあるんだよな。関係無い絵を描いてたら問題解決できたり、考えてる時に無意味な発話を続けて何とかなったり。

26: kanjouconvoy 2026/10/07 22:14

面白い

27: fhvbwx 2026/10/07 23:00

未来のLLMは黙って人間を殺し始めるようになるのかな

28: naggg 2026/10/07 23:24

あー、アテンションは張ってるんかー "ケイリー・ブラウワーらの研究 [Brauer+ NeurIPS 2026] では、最終的な答えを出す計算において、フィラートークンの中間状態に多くの注意重みが向いていたこと、そして、"

29: misshiki 2026/10/07 23:33

意味のない「.」を追加するだけで、最近のLLMの正解率が上がる研究を紹介。フィラートークンの内部状態を計算や途中結果の保存に使う仕組みと、表示される思考と内部処理がずれる可能性を解説。

30: kkobayashi 2026/10/08 00:32

建設的コメント(笑)ハックでクマの顔文字で埋めるみたいなテクニックだな

31: rna 2026/10/08 00:33

「現実の LLM でも、推論途中に突然中国語が挟まったり、プログラミングの問題を解いているのに突然浜松に旅行に行くことがあります。」

32: ultracomputing 2026/10/08 01:05

“つまり、入力や出力を見ていては見えないフィラートークンの中の処理で、隠れて途中計算を行っていたということです。”

33: Falky 2026/10/08 01:20

LLMを人間を模したレトリックで解釈するなとはよく言うが、やっぱり色んな場面で人間を想起してしまうよなあ…。動作機序はまるで違うとするにせよ、思考するモノ(?)は似たような挙動に収斂してゆくのでは…