9.7兆とかもう数字がデカすぎて実感がわかねーよ。スケーリング則は不滅か
スケーリング則はまだまだ有効。知識指紋は面白いな。
“F 個の事実を格納するには最低でも F/(bits per parameter) のパラメータが必要、という強い下界が成立します。 これが「Incompressible Knowledge Probe（IKP）」というアプローチの理論的バックボーン”
直感的にそうと思うけど実際にそれを示して見せたのは見事
GPT5.5に言わせると「LLMの事実記憶容量から非公開モデルの規模を推定する研究が出たが、初期実装・データ品質・スコア処理に重大な不安があり、具体的なT単位の数字はまだ信用できない」との事。
【論文瞬読】GPT-5.5 は実質 9.7T パラメータ？──知識の「圧縮できなさ」から黒箱 LLM の規模を逆算する｜AI Nest
9.7兆とかもう数字がデカすぎて実感がわかねーよ。スケーリング則は不滅か
スケーリング則はまだまだ有効。知識指紋は面白いな。
“F 個の事実を格納するには最低でも F/(bits per parameter) のパラメータが必要、という強い下界が成立します。 これが「Incompressible Knowledge Probe（IKP）」というアプローチの理論的バックボーン”
直感的にそうと思うけど実際にそれを示して見せたのは見事
GPT5.5に言わせると「LLMの事実記憶容量から非公開モデルの規模を推定する研究が出たが、初期実装・データ品質・スコア処理に重大な不安があり、具体的なT単位の数字はまだ信用できない」との事。