画像作成や動画もローカルでーならほぼそれだが、LLMだけならコストはGB10の方が良い。今そのモデル(NVFP4)なら50TPS行くし24Hエージェント立てる時の電気代がデカい
Qwen3.6-27B-FP8・2枚の RTX 3090 を導入・ VRAM は合計で 48 GB・33.2 token/s ／グラボは×2で36万円くらいかな／電気代が…。
メモリ48GB
この価格を出すならMacBook Proを買っても良さそうだが…まぁGPUがしょぼいから動くけど性能はイマイチだったりするけど。
今は、普段は16GB VRAMのRTX5060Tiに収まるQAT Q4やNVFP4モデルで、コード補完ならそもそもLSPで良くて、必要時にOpenRouterで70B級を動かすくらいが良いと思う
“GB”
モデルを作る話ではなく実行環境の話だった
動機が変。なぜそれでQwenなら良いんだか。
ノウハウ共有、ありがたい。こんな金かかるのか。
型落ちmacを買った方が安上がりに済みそうhttps://www.costco.co.jp/c/AppleMacBook-Pro-16-inch-14-core-CPU20-core-GPUApple-M4-Pro-chip48GB512GB-SSD/p/69498
いまやllama入れれば誰でも簡単にローカルで組めるのに
時代はGLM-5.2だぞ。3090があと6枚くらい足りないかな？
58万+維持費か…。庶民にはAIサブスクが精一杯やな。
どう頑張ってもfableやgpt5.6には敵わないわけで、fableを課金して、実装部隊でこれなのか？凄まじい量のコーディングを行わない限りペイしない気がする。よっぽどセキュリティ気にするかどっちかやね
mac miniにモリモリメモリして買おうかなと思ってたけど、先日の値上げで。ほならclaudeでええわとなった。
"AI は好きだが AI 企業は嫌いだ'、が導入でそのAI企業が作成したLLMモデルを使う話になるとは思わなかった。トークン代払いたくないです、じゃなくて？？／自分で学習データ用意してモデル作るなら分かる。
ローカル LLM を構築した
画像作成や動画もローカルでーならほぼそれだが、LLMだけならコストはGB10の方が良い。今そのモデル(NVFP4)なら50TPS行くし24Hエージェント立てる時の電気代がデカい
Qwen3.6-27B-FP8・2枚の RTX 3090 を導入・ VRAM は合計で 48 GB・33.2 token/s ／グラボは×2で36万円くらいかな／電気代が…。
メモリ48GB
この価格を出すならMacBook Proを買っても良さそうだが…まぁGPUがしょぼいから動くけど性能はイマイチだったりするけど。
今は、普段は16GB VRAMのRTX5060Tiに収まるQAT Q4やNVFP4モデルで、コード補完ならそもそもLSPで良くて、必要時にOpenRouterで70B級を動かすくらいが良いと思う
“GB”
モデルを作る話ではなく実行環境の話だった
動機が変。なぜそれでQwenなら良いんだか。
ノウハウ共有、ありがたい。こんな金かかるのか。
型落ちmacを買った方が安上がりに済みそうhttps://www.costco.co.jp/c/AppleMacBook-Pro-16-inch-14-core-CPU20-core-GPUApple-M4-Pro-chip48GB512GB-SSD/p/69498
いまやllama入れれば誰でも簡単にローカルで組めるのに
時代はGLM-5.2だぞ。3090があと6枚くらい足りないかな？
58万+維持費か…。庶民にはAIサブスクが精一杯やな。
どう頑張ってもfableやgpt5.6には敵わないわけで、fableを課金して、実装部隊でこれなのか？凄まじい量のコーディングを行わない限りペイしない気がする。よっぽどセキュリティ気にするかどっちかやね
mac miniにモリモリメモリして買おうかなと思ってたけど、先日の値上げで。ほならclaudeでええわとなった。
"AI は好きだが AI 企業は嫌いだ'、が導入でそのAI企業が作成したLLMモデルを使う話になるとは思わなかった。トークン代払いたくないです、じゃなくて？？／自分で学習データ用意してモデル作るなら分かる。