テクノロジー

大規模言語モデルは内部で 何をやっているのか? 覗いて分かった奇妙な回路

1: hobbiel55 2025/04/11 10:09

「研究者がこの内部コンポーネントを調整すると、Claudeが自らをLLMではなく、橋(ゴールデン・ゲート・ブリッジ)そのものになりきって振る舞うようになったという。興味深い挙動である」

2: fashi 2025/04/11 11:50

気になる有料記事

3: gcyn 2025/04/11 12:19

記事は読めていないんですけどもこの規模この機能をこれ(水とか)による等価回路で実現する場合には〇〇K㎡に及ぶとかそういう「そう言われても大きすぎるし慣れていないしピンと来ないなー」みたいな例えも欲しい

4: rawwell 2025/04/11 12:23

新しい生き物を発見した、的なアプローチ

5: moodyzfcd 2025/04/11 13:01
6: ardarim 2025/04/11 13:52

仕組みがよくわかってないけど使っているものって結構たくさんあるよね。最近のLLMが最たる例ではあると思うけど

7: tokyocat 2025/04/11 14:33

“これほどまでに仕組みが理解されていない大衆向けテクノロジーは、そうそうないだろう”

9: kamm 2025/04/11 15:24

今期アニメの「ユア・フォルマ」で高度な人型ロボットが出てくるけれど、開発者本人が思考回路はわからないと言っていたな。ちなみに作品はSFミステリな感じ。攻殻機動隊とかサイコパスとかが好きな人は好きそう

10: tach 2025/04/11 16:02

大規模言語モデルの頭の中を覗く。大規模言語モデルは科学の産物ではない。大規模言語モデルは科学がその対象とするべき自然(?)現象である。

11: Hidemonster 2025/04/11 16:13

人工知能を自然現象に見立てて研究するの面白いな。

12: ET777 2025/04/11 16:38

有料だ

13: nuara 2025/04/11 16:57

実はやな、シェルにゴーストが仕込んであるんやな。

14: hamamuratakuo 2025/04/11 19:41

Tracing the thoughts of a large language model \ Anthropic https://www.anthropic.com/research/tracing-thoughts-language-model

15: Y_Mokko 2025/04/11 21:15

10の23乗Flopsを超えると突然知性体っぽくなるこのLLM。23乗というのがまた良い

16: zgmf-x20a 2025/04/11 21:35

元文献にあたってみよう

17: uva 2025/04/11 22:56

「研究者がこの内部コンポーネントを調整すると、(中略)橋そのものになりきって振る舞うようになったという」人間の脳は頭を開けて調べるわけにはいかないけど、LLMちゃんには非人道的なこともやりたい放題やな

18: Cru 2025/04/14 12:24

“…獲得する能力には驚かされますが、私たちがその過程を設計したわけではありません。だから、それがどのようにして可能になったのかは分かっていません”。この事実はあんま知られてないけど、知られると反AIが…