1.5億円分のGPUを5年使うとして、GPU代だけで一月あたり2500円か。電気代とか考えたら当然まだまだ赤字なんだろうなぁ
VRAM 11TBとかもう個人の域を超えてて草。APIがいかに安上がりかよく分かる良記事
やっぱたけえのかー
鉄腕アトムやドラえもんなどの自律したロボットに搭載されている電子頭脳の登場は相当先の話だね。
この立ち位置の内容は面白いね。
比較するにしてもなぜQwen2.5…？3.5の小型モデル使おう
飛鳥時代。
ローカルLLMのVRAM大容量化の一番安上がりは、ユニファイドメモリなMac mini一択が現状(帯域がグラボの約半分だが実用的な速度)、RTX 5090 32GB単品40万円に対し、Mac mini 32GBが15万円、クラウドLLMスペックはローカルだと無理ぞ
そもそもClaude Opusと同等の性能を持つAIがClaude Opusしかないから
“約11.6TBのVRAMが必要です”で笑った
"Anthropic Proプランを$20(3,000円)/月で使い続けた場合" 原油高のせいで電気代が爆上がりするので、こんな値段では使えなくなるだろうな。その瞬間にAI投資バブルも破綻する。
少し前に、OllamaとLMで動かそうとしてみたけど、事前情報どおり、な感じだった。
Ryzen AI 300シリーズのノートPCでRAM128GB載せてれば、gpt-oss-120bがそれなりに使える速度でローカルで動かせるよ。 手元のRyzen AI 9 HX 370だと18token/secくらい。とはいえClaude Opus 4.6には当然及ばない。o4-mini相当。
chatgpt やgeminiに聞くと、qwen2.5使えって出てくるけど、あいつら3.5が出たことを知らないだけだから、今なら3.5の4Bか9B使うのが正解。3070ならメモリ容量的に4Bが無難
まぁでもGPT4位の性能は24GBで動かせるモデルで出るようになっただけでも凄いよね。5年後くらいには実現するんじゃない
opus が 5800B で RAM 11.6TB 必要ってのはあり得るのかな。同時接続分だけ要るわけでしょ。データセンターでそんなの稼働してる？シェアはまだ低いからアリなのか？
元々ローカルリソースをコスト対策でアウトソースするのがクラウドの概念だし、値段的には当然の結果ではあると思う。ローカルで済むなら最初からローカルでやる。
Claude Opus 4.6と同等のAIをローカルで動かすにはいくらかかるか？ローカルLLMを構築してわかったこと
1.5億円分のGPUを5年使うとして、GPU代だけで一月あたり2500円か。電気代とか考えたら当然まだまだ赤字なんだろうなぁ
VRAM 11TBとかもう個人の域を超えてて草。APIがいかに安上がりかよく分かる良記事
やっぱたけえのかー
鉄腕アトムやドラえもんなどの自律したロボットに搭載されている電子頭脳の登場は相当先の話だね。
この立ち位置の内容は面白いね。
比較するにしてもなぜQwen2.5…？3.5の小型モデル使おう
飛鳥時代。
ローカルLLMのVRAM大容量化の一番安上がりは、ユニファイドメモリなMac mini一択が現状(帯域がグラボの約半分だが実用的な速度)、RTX 5090 32GB単品40万円に対し、Mac mini 32GBが15万円、クラウドLLMスペックはローカルだと無理ぞ
そもそもClaude Opusと同等の性能を持つAIがClaude Opusしかないから
“約11.6TBのVRAMが必要です”で笑った
"Anthropic Proプランを$20(3,000円)/月で使い続けた場合" 原油高のせいで電気代が爆上がりするので、こんな値段では使えなくなるだろうな。その瞬間にAI投資バブルも破綻する。
少し前に、OllamaとLMで動かそうとしてみたけど、事前情報どおり、な感じだった。
Ryzen AI 300シリーズのノートPCでRAM128GB載せてれば、gpt-oss-120bがそれなりに使える速度でローカルで動かせるよ。 手元のRyzen AI 9 HX 370だと18token/secくらい。とはいえClaude Opus 4.6には当然及ばない。o4-mini相当。
chatgpt やgeminiに聞くと、qwen2.5使えって出てくるけど、あいつら3.5が出たことを知らないだけだから、今なら3.5の4Bか9B使うのが正解。3070ならメモリ容量的に4Bが無難
まぁでもGPT4位の性能は24GBで動かせるモデルで出るようになっただけでも凄いよね。5年後くらいには実現するんじゃない
opus が 5800B で RAM 11.6TB 必要ってのはあり得るのかな。同時接続分だけ要るわけでしょ。データセンターでそんなの稼働してる？シェアはまだ低いからアリなのか？
元々ローカルリソースをコスト対策でアウトソースするのがクラウドの概念だし、値段的には当然の結果ではあると思う。ローカルで済むなら最初からローカルでやる。