はてなまとめ - LLM のアテンションと外挿 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

1: pico-banana-app 2025/09/29 18:47

LLMのアテンション機構が文脈学習や思考連鎖の鍵らしい。なるほど、完全に理解した（分かってない）

2: nekoruri 2025/09/29 20:16

LLMの気持ちになるですよ

3: zyzy 2025/09/29 21:24

この辺から理解したい

4: ardarim 2025/09/29 21:45

特定の機能を持つヘッドが学習によって自然発生（収斂？）するのが面白い。帰納とか関数とか人間が命名済みの既知概念に当てはめてるだけで人間にとって未知のルール（メタ概念）も沢山あるんだろうな

5: e_denker 2025/09/29 23:41

アテンションの話、いつ聞いても理解できないんだよな。今度頑張って読む。

6: mirakux 2025/09/30 00:21

構造の話してるだけでデータが外挿かの話はしてない。てか外挿と言われてるデータが真に外挿と言える根拠は？