テクノロジー

言語モデルの起源、シャノン論文を読んでみる - エムスリーテックブログ

1: amematarou 2025/06/26 07:04

クロウドは天才シャノンから命名してたのか。

2: Sampo 2025/06/26 07:42

姓も名も有名な情報科学者といえばハスケル・カリー先生だったけどクロード・シャノン先生もそれに加わったと

3: sayuremix 2025/06/26 07:43

シャノンといえば標本化定理などの実績もあり有名だと思うけどシャノン以前に日本の染谷氏とロシアのKotel'nikov氏も発見している。ちなみに第1回京都賞はシャノンが受賞していて選出したのは甘利俊一氏なのでお忘れなく

4: njamota 2025/06/26 09:07

N-1文字の文字列を与えてN文字目を推定する試行で、Nが無限大の時に正解まで何回要するか(あり得るケースの分布)をその言語のエントロピーとする、みたいな言語の情報量を評価する試みに関するシャノンの論文の話。

5: hryord 2025/06/26 11:06

眠るパンダが可愛くて記事の内容が頭に入ってこない

6: ardarim 2025/06/26 12:34

シャノンと言えばコンピューターサイエンス履修者なら誰でも知ってるはずの情報理論の偉い人だけど、こんなところでAIと繋がりがあるとは知らなかった