RTX5090が60万超えとかもう個人でLLM動かすのは富豪の趣味だな
企業向けでは？個人だと結局は趣味の範疇。ただ、ちょっと出せば数カ月前のフロンティア級が個人で動かせるのは今しか感じられないロマンかもしれない。後の人生も変わるかも知れない
真のガチローカルLLMは家庭用の電力契約と壁のコンセントでは無理で、電線からの配線も引き直す必要がある場合がある。夏季の排熱問題もあるので、まずダクトや空調設備から。GPUはその後に考えれば良い。
こう見ると4060tiがよいみたいに見えるがマザボ、電源、あと所詮二枚刺しというハードルと値段が上がることがデメリットが隠れてる
“Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円。DGX Spark互換のGX10が58万円。Mac Studioの96GBが60万円。GPUであれば、RTX 5060 Ti 16GBを2枚挿しが安く20万弱で32GBを得る”
大部分がVRAM 8~16GBで4～9Bぐらいが限界じゃないかなと。頑張ってMoEのA3B。ローカルはロマンあるけどかかるコストが富豪向けすぎる。安い時期に買ってた中古のRX7900XTXで27Bモデル使ってはいるけど。
GMKtec EVO-X2 128GBが50万円弱か1年前なら約半額だったが、昨今の半導体価格を見ていると倍で済んでいれば安い？ LLM目的ならDGX Spark 互換機が +10万円なのでそちらを選んだ方が幸せかも。どちらにしても手が届かなすぎるが。
AMDのRX9060 16GB×2枚が一番安いんだが（※ただし性能とホストの足回りは考慮しない）。↓富豪の趣味？プロ用のRTX PRO 6000 Blackwellでも軽自動車1台分だが、軽自動車は富豪の趣味か？年始にEVO-X2買っといてよかったわw
メモ
EVO-X2 が二十五万円くらいのときに買っておかなかったの人生で六番目くらいに後悔してる。 https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395 こっちのが少し安いね。
5060ti の2枚挿し…。単純に倍とはいかないだろうな。効果が出るシーンは限定されそう
ほぼアフィリエイトリンクだった
RTX 5600 Ti * 2 でも動くのか。確かに変な中古買うよりよさそう。
なんか、値段見て「結構です」としか
ロマンはあるが、コストが高い。もっと安くならないかなと思うが、最近はむしろ高くなっているか。
RX Pro9700上げるなら同じコアのRX9070XTのDualの方がRTX5600Tiより速くて安そう。問題は消費電力とGPU二枚刺しは一般向けはママ板選べばGPU間のPCIeレーン数が８でメインメモリ並みの帯域でアクセスはできなくはないが遅い。
クラウドとの比較だと何年くらいでローカルの方が上回るんだろ……。ここまでしてローカルでやりたいか？という話になるよなあ。
ええ今GX10普通に買えるのかぁ、年末買えず他社の4TBを66万で買ってしまった。うぐぐ。
ローカルでAIならSpark系統が俺はおすすめ。最新のモデルも大体載る上にスケールしやすい、且つ、値上がり幅が緩いので損した感が少ない。とはいえ、最オシはKimiとかDeepseekPro課金でいいのでは？20tok/s無いとストレス
個人で手を出せる値段じゃないなぁ
RTX5090買うくらいなら先にDGXSparkだよなぁ ドスパラの在庫復活したのか、GW前は在庫切れてたと持ったんだが、これもいつまでこの値段なのかね、他と比べて安すぎる
15万円台で買った32GBのMac miniで、20bとか26bｰA4bとかまで走らせたけど、オレ的には目論んでた書類作成とかのタスクにはマトモに使えなかったので残念w
一番後悔してるのはキオクシア株を買ってなかったこと
cudaなしでまともに使えるか？
ローカルLLM用ハードウェア整理。推論目的ならCPU+NPU+GPUのSoC系マシンが現実的で、EVO-X2 128GBは48万円、GX10は58万円、Mac Studio 96GBは60万円。GPUはコーディングエージェント用途なら32GB基準で検討。
ほっといてもそのうちうちのPCにも乗るくらいに強くなるだろうから、サブスクLLMで行くわ。
VRAM32GB程度じゃ実用に届かないので普通のGPUは選択肢に入らない
5080+5060tiで32GBだけど5KM以上ならもうちょい盛りたいところ、電源も買い換えかなあ
100万しないのは安い
リスクありの中古で考えるなら4060Ti 16GB+3060 12GBの28GB構成で11万という手も／Qwen3.6 35B-A3Bが60t/s・100k contextで動作(MTPで80~90t/s)／よりリスキーに生きたいなら100万をインデックスに入れて利回りでサブスクを使うとか
RTX 4070 Tiで画像生成したり、中古のMacBook Pro（M1 Max・64GB）で31BくらいのローカルLLMを動かしたりしてる。
ローカルLLMを動かすハードウェア - きしだのHatena
RTX5090が60万超えとかもう個人でLLM動かすのは富豪の趣味だな
企業向けでは？個人だと結局は趣味の範疇。ただ、ちょっと出せば数カ月前のフロンティア級が個人で動かせるのは今しか感じられないロマンかもしれない。後の人生も変わるかも知れない
真のガチローカルLLMは家庭用の電力契約と壁のコンセントでは無理で、電線からの配線も引き直す必要がある場合がある。夏季の排熱問題もあるので、まずダクトや空調設備から。GPUはその後に考えれば良い。
こう見ると4060tiがよいみたいに見えるがマザボ、電源、あと所詮二枚刺しというハードルと値段が上がることがデメリットが隠れてる
“Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円。DGX Spark互換のGX10が58万円。Mac Studioの96GBが60万円。GPUであれば、RTX 5060 Ti 16GBを2枚挿しが安く20万弱で32GBを得る”
大部分がVRAM 8~16GBで4～9Bぐらいが限界じゃないかなと。頑張ってMoEのA3B。ローカルはロマンあるけどかかるコストが富豪向けすぎる。安い時期に買ってた中古のRX7900XTXで27Bモデル使ってはいるけど。
GMKtec EVO-X2 128GBが50万円弱か1年前なら約半額だったが、昨今の半導体価格を見ていると倍で済んでいれば安い？ LLM目的ならDGX Spark 互換機が +10万円なのでそちらを選んだ方が幸せかも。どちらにしても手が届かなすぎるが。
AMDのRX9060 16GB×2枚が一番安いんだが（※ただし性能とホストの足回りは考慮しない）。↓富豪の趣味？プロ用のRTX PRO 6000 Blackwellでも軽自動車1台分だが、軽自動車は富豪の趣味か？年始にEVO-X2買っといてよかったわw
メモ
EVO-X2 が二十五万円くらいのときに買っておかなかったの人生で六番目くらいに後悔してる。 https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395 こっちのが少し安いね。
5060ti の2枚挿し…。単純に倍とはいかないだろうな。効果が出るシーンは限定されそう
ほぼアフィリエイトリンクだった
RTX 5600 Ti * 2 でも動くのか。確かに変な中古買うよりよさそう。
なんか、値段見て「結構です」としか
ロマンはあるが、コストが高い。もっと安くならないかなと思うが、最近はむしろ高くなっているか。
RX Pro9700上げるなら同じコアのRX9070XTのDualの方がRTX5600Tiより速くて安そう。問題は消費電力とGPU二枚刺しは一般向けはママ板選べばGPU間のPCIeレーン数が８でメインメモリ並みの帯域でアクセスはできなくはないが遅い。
クラウドとの比較だと何年くらいでローカルの方が上回るんだろ……。ここまでしてローカルでやりたいか？という話になるよなあ。
ええ今GX10普通に買えるのかぁ、年末買えず他社の4TBを66万で買ってしまった。うぐぐ。
ローカルでAIならSpark系統が俺はおすすめ。最新のモデルも大体載る上にスケールしやすい、且つ、値上がり幅が緩いので損した感が少ない。とはいえ、最オシはKimiとかDeepseekPro課金でいいのでは？20tok/s無いとストレス
個人で手を出せる値段じゃないなぁ
RTX5090買うくらいなら先にDGXSparkだよなぁ ドスパラの在庫復活したのか、GW前は在庫切れてたと持ったんだが、これもいつまでこの値段なのかね、他と比べて安すぎる
15万円台で買った32GBのMac miniで、20bとか26bｰA4bとかまで走らせたけど、オレ的には目論んでた書類作成とかのタスクにはマトモに使えなかったので残念w
一番後悔してるのはキオクシア株を買ってなかったこと
cudaなしでまともに使えるか？
ローカルLLM用ハードウェア整理。推論目的ならCPU+NPU+GPUのSoC系マシンが現実的で、EVO-X2 128GBは48万円、GX10は58万円、Mac Studio 96GBは60万円。GPUはコーディングエージェント用途なら32GB基準で検討。
ほっといてもそのうちうちのPCにも乗るくらいに強くなるだろうから、サブスクLLMで行くわ。
VRAM32GB程度じゃ実用に届かないので普通のGPUは選択肢に入らない
5080+5060tiで32GBだけど5KM以上ならもうちょい盛りたいところ、電源も買い換えかなあ
100万しないのは安い
リスクありの中古で考えるなら4060Ti 16GB+3060 12GBの28GB構成で11万という手も／Qwen3.6 35B-A3Bが60t/s・100k contextで動作(MTPで80~90t/s)／よりリスキーに生きたいなら100万をインデックスに入れて利回りでサブスクを使うとか
RTX 4070 Tiで画像生成したり、中古のMacBook Pro（M1 Max・64GB）で31BくらいのローカルLLMを動かしたりしてる。