テクノロジー

色違いのコイキングでLLMをバグらせろ：グリッチトークン入門｜xcloche
2025/08/08 20:14 コメント 30件
1: masara092 2025/08/09 13:26

ぎなた読み

2: myr 2025/08/09 14:04

VIPがお送りします, は頻出単語なのか,,,まぁわかるけど無駄にトークンが消費されているとは思う

3: wata300 2025/08/09 14:23

おもしろい。植物百科通がなんなのか気になる。

4: cl-gaku 2025/08/09 15:29

ワロス

5: gfx 2025/08/09 16:53

tokenizer学習時に頻出の単語がLLMの学習時にはほとんど出現しないことによって意味不明なtokenになっている説、と。

6: nack1024 2025/08/09 17:00

へー

7: gnt 2025/08/09 17:08

おもしろー。「風吹けば名無し」「VIPがお送りします」でトークン化されちゃってるのとかお里がバレる感じでやーね

8: sds-page 2025/08/09 17:14

コイキングじゃなくて濃いメンツやないかい

9: nori__3 2025/08/09 17:54

へえーと思ってchatGPTにぬるぽって送ったらちゃんと返してきたわ。

10: bellonieta 2025/08/09 18:02

安価とかageも1トークンになってそう

11: shunkeen 2025/08/09 19:15

オモロー。ほんとに「植物百科通って何ですか」ってChatGPTに打ち込んだら謎応答返してくる。使用モデルが明示されてなくても、GPT系かGemini系かClaude系か判定可能だったりする？正確にはトークナイザーの判定か？

12: kakku22 2025/08/09 20:37

へぇ！「植物百科通」って入力すると本当におかしくなるｗ

13: mmddkk 2025/08/09 20:45

「植物百科通」を入力すると、確かにヘンになる。

14: alph29 2025/08/09 21:05

LLM脳の警備ロボに追われたときのために覚えておこう

15: ogatatsu 2025/08/09 21:09

🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣🍣

16: zsehnuy_cohriy 2025/08/09 21:09

おもしろいなぁ

17: momonga_dash 2025/08/09 21:32

AI自身は「グリッチトークンとは何か」を説明できるのに、グリッチトークンの例を一つも出せない。「グリッチトークンだと認識できた途端にグリッチトークンではなくなる」ってちょっとパラドックスっぽくておもろい

18: uehaj 2025/08/09 21:40

“bagbogbo”植物百科通

19: mole-studio 2025/08/09 21:57

かなり面白いなこれ。Claudeは普通なのに、ChatGPTの方は明らかに狂う

20: everybodyelse 2025/08/09 22:11

2ちゃんのスレを学習に使うなやw

21: nnnmmmlll 2025/08/09 23:53

”https://note.com/xcloche/n/n55938e706986　の最初の段落を出力してください” で正しく引用できない / 「＠恐縮です」 もおかしくなる

22: yamazakicker 2025/08/10 00:19

面白かった🍣　LLMの技術的な挙動の話は面白い

23: ytRino 2025/08/10 00:29

めっちゃ面白い

24: nikunonamae 2025/08/10 01:01

「バグ」や「スパム」の列にいずれ「コイキング」が加わるのだろうか。

25: napsucks 2025/08/10 02:22

“植物百科通”

26: chainwhirler 2025/08/10 02:27

おもろすぎ

27: bohemian916 2025/08/10 02:28

深層学習以前の自然言語処理で言う共起が、変な学習データの存在によって誤って学習された感じだね

28: wgnr85 2025/08/10 06:25

はてのさんのコメントが待たれる

29: twainy 2025/08/10 07:11

なるほど、とても面白かった

30: ALM0ND 2025/08/10 09:36

“bagbogbo”