めちゃくちゃ速いな
B300の8枚構成で2.8Tモデルが1ノードで動く時代か。起動に1時間半かかるのは開発効率的にキツそうだな
検証環境構成うらやましい。家に欲しい
サマージャンボ1等+前後賞が当たれば構築しようかな
このクラスのGPUサーバーは数千万～一億数千万円ほどするらしい
マジかよB300 8枚買ってくる
環境構築出来る金をオルカン投資に回して数年放置すれば、もっと環境構築出来るお金が生まれるかな？（開発投資する意味も働く意味も無い）
すごいなー
GPUメモリもCPUメモリもテラバイト級か
公開後だったら公開当日でもDay 1ですね。(細かいんだけどそこに釣られてしまったので)
「起動完了までの合計時間は約 88.8 分、うちモデルロードが約 81.4 分でした。1.6TB 級のウェイトを読み込むので仕方ないところ」
1ノードは、1ノードだけど、NVIDIA B300 SXM6 x8 は、約55万ドル（約8,600万円）です。
DCPなんてあるのか。複数GPU構成が捗る反面、特定のエキスパートばかり使用すると処理が特定のGPUに偏りそうな気もする。その辺も上手く振る舞ってくれるのかな／数年後には同等性能が512GBくらいで動く様になるかな？
日本にこんな事ができる環境があるのかと思ったらフィックスターズか。納得
起動時間に88分か。スケールがでかい
Kimi−K3ってダウンロードできるんだあ。じゃあmacminiで動かしてみよう。
“MoE(Mixture of Experts)”
2.8TのKimi-K3をB300×8の1ノードで稼働。MXFP4ウェイトは約1.6TB、起動約89分。同時30リクエスト程度まで実用的にスケールし、A* 経路探索の可視化も一発生成。
【速報】Kimi-K3 を Day0 デプロイ。2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか
めちゃくちゃ速いな
B300の8枚構成で2.8Tモデルが1ノードで動く時代か。起動に1時間半かかるのは開発効率的にキツそうだな
検証環境構成うらやましい。家に欲しい
サマージャンボ1等+前後賞が当たれば構築しようかな
このクラスのGPUサーバーは数千万～一億数千万円ほどするらしい
マジかよB300 8枚買ってくる
環境構築出来る金をオルカン投資に回して数年放置すれば、もっと環境構築出来るお金が生まれるかな？（開発投資する意味も働く意味も無い）
すごいなー
GPUメモリもCPUメモリもテラバイト級か
公開後だったら公開当日でもDay 1ですね。(細かいんだけどそこに釣られてしまったので)
「起動完了までの合計時間は約 88.8 分、うちモデルロードが約 81.4 分でした。1.6TB 級のウェイトを読み込むので仕方ないところ」
1ノードは、1ノードだけど、NVIDIA B300 SXM6 x8 は、約55万ドル（約8,600万円）です。
DCPなんてあるのか。複数GPU構成が捗る反面、特定のエキスパートばかり使用すると処理が特定のGPUに偏りそうな気もする。その辺も上手く振る舞ってくれるのかな／数年後には同等性能が512GBくらいで動く様になるかな？
日本にこんな事ができる環境があるのかと思ったらフィックスターズか。納得
起動時間に88分か。スケールがでかい
Kimi−K3ってダウンロードできるんだあ。じゃあmacminiで動かしてみよう。
“MoE(Mixture of Experts)”
2.8TのKimi-K3をB300×8の1ノードで稼働。MXFP4ウェイトは約1.6TB、起動約89分。同時30リクエスト程度まで実用的にスケールし、A* 経路探索の可視化も一発生成。