読みごたえがあるなぁ part3w
DeepSeek v4.1 Flashの最適化を解説。1M context対応、FP4 KVやCED、SWA Replayまで体系化する記事。
“たとえば多様体の概念を使う理由は、「この多様体に射映されている限り、固有値の絶対値が1を超えないということが数学的に保証され”
“だからV4”
すごいな、どんどん人間の脳に近づいている。しかし業務用コードは1関数が10万行あったりするんだよね、全部読んでくれないかな＞100万トークンあれば、たいていのプログラムは丸呑みできてしまう
力作！解析と内容まとめお疲れ様でした。一般教養対応はもう現状で充分で後は用途や業務内容ごとに専用AIを開発して連携させた方がリソース効率が良いと思う。
DeepSeekの最適化からここまで内部構造を読み解くの凄まじいな
ありがとう
“DeepSeekのアーキテクチャを追いかけると、LLMの実装を読んでいるはずなのに、途中からデータベース、検索エンジン、キャッシュ戦略、GPUカーネル、分散コンピューティングの話になってくる。”
巨大なモデルを作る。が毎回全部計算・全部保存するのはやめる……資本と計算資源の土台にスケーリング則で殴ってくる米帝と、資源不足の中で創意工夫をこらして追いすがる解放軍みたいな物語性があるな！ｼﾗﾝｹﾛ
モデルの巨大化は飽きた。そんなのは米国の奴らに任せておけば良い。むしろこれからは、計算・保存・検索をどれだけサボれるようにしたかだ！！みたいな話
【徹底解説】DeepSeek v4.1 Flashの内部構造【最適化したから解ること】｜shi3z
読みごたえがあるなぁ part3w
DeepSeek v4.1 Flashの最適化を解説。1M context対応、FP4 KVやCED、SWA Replayまで体系化する記事。
“たとえば多様体の概念を使う理由は、「この多様体に射映されている限り、固有値の絶対値が1を超えないということが数学的に保証され”
“だからV4”
すごいな、どんどん人間の脳に近づいている。しかし業務用コードは1関数が10万行あったりするんだよね、全部読んでくれないかな＞100万トークンあれば、たいていのプログラムは丸呑みできてしまう
力作！解析と内容まとめお疲れ様でした。一般教養対応はもう現状で充分で後は用途や業務内容ごとに専用AIを開発して連携させた方がリソース効率が良いと思う。
DeepSeekの最適化からここまで内部構造を読み解くの凄まじいな
ありがとう
“DeepSeekのアーキテクチャを追いかけると、LLMの実装を読んでいるはずなのに、途中からデータベース、検索エンジン、キャッシュ戦略、GPUカーネル、分散コンピューティングの話になってくる。”
巨大なモデルを作る。が毎回全部計算・全部保存するのはやめる……資本と計算資源の土台にスケーリング則で殴ってくる米帝と、資源不足の中で創意工夫をこらして追いすがる解放軍みたいな物語性があるな！ｼﾗﾝｹﾛ
モデルの巨大化は飽きた。そんなのは米国の奴らに任せておけば良い。むしろこれからは、計算・保存・検索をどれだけサボれるようにしたかだ！！みたいな話