ローカルLLMを型落ちグラボで動かす試みは夢がある。Strata優秀だな
予備機そこそこのスペックじゃーん
「ESPという、拒否方向を射影して「断り」を減らす実験機能がある(つまり無検閲に近いもの)。有効にすると速度はほぼ変わらなかったが、コードの質は下がってしまった」 / これはこれでRAMの調達が厳しいよ
ゲーミングPCで64GBを積むという発想が以前の俺にはなかったし、価格的な意味で今後10年の俺にとっても無理かも。というかRTX3060機に64GBって……結構尖った組み合わせじゃ？マルチプレイのサーバーにでもしてた？
“Core i9-12900/64GB(DDR4)/1TB/GeForce RTX 3060(12GB)” というスペックのPCを予備機として眠らせておける人には有用な記事
そんなスペック死蔵してるやつに使いこなせるようなもんじゃない
自作趣味でゲーミングPCだったら、ギリギリ余ったパーツ使えば、DDR4で64 GB組める…のか？
西川さんの言う古ゲーミングなんてそれくらいだと思ってましたよええ！（今現役で使ってるマシンが余裕で負けてる
“Qwen3.8-Flash-Nextの125Bは、IQ2_XSに量子化しても40GB弱。モデルをすべてVRAMに乗せるなら、GeForce RTX 5090の32GBでさえどうにもならない。GPU/RAM/SSDの3層に役割を分けてモデルを置くStrataなら34～44tok/sで実用範囲”
うーむ
1080Tiはダメかー
192.168.29.40 Strata作者が標準とする「VRAM 12GB+メモリ64GB」の、ほぼ最低ラインの構成／筆者が手元で測ったDGX Spark(vLLM、本体FP8ベース)の文章生成/日本語と、ほぼ同等の水準／ただしコードでは、DGX Sparkの約6割
”というか、DGX Sparkも含め筆者がこれまで手元で見たQwen3.8-Flash-Nextの中では最速だ。”
1年前に1万円で32GBを64GBにしておけば…とほほ
【西川和久の不定期コラム】 ちょい古ゲーミングPCで「Qwen3.8-Flash-Next」を動せる「Strata」を試してみた！
ローカルLLMを型落ちグラボで動かす試みは夢がある。Strata優秀だな
予備機そこそこのスペックじゃーん
「ESPという、拒否方向を射影して「断り」を減らす実験機能がある(つまり無検閲に近いもの)。有効にすると速度はほぼ変わらなかったが、コードの質は下がってしまった」 / これはこれでRAMの調達が厳しいよ
ゲーミングPCで64GBを積むという発想が以前の俺にはなかったし、価格的な意味で今後10年の俺にとっても無理かも。というかRTX3060機に64GBって……結構尖った組み合わせじゃ？マルチプレイのサーバーにでもしてた？
“Core i9-12900/64GB(DDR4)/1TB/GeForce RTX 3060(12GB)” というスペックのPCを予備機として眠らせておける人には有用な記事
そんなスペック死蔵してるやつに使いこなせるようなもんじゃない
自作趣味でゲーミングPCだったら、ギリギリ余ったパーツ使えば、DDR4で64 GB組める…のか？
西川さんの言う古ゲーミングなんてそれくらいだと思ってましたよええ！（今現役で使ってるマシンが余裕で負けてる
“Qwen3.8-Flash-Nextの125Bは、IQ2_XSに量子化しても40GB弱。モデルをすべてVRAMに乗せるなら、GeForce RTX 5090の32GBでさえどうにもならない。GPU/RAM/SSDの3層に役割を分けてモデルを置くStrataなら34～44tok/sで実用範囲”
うーむ
1080Tiはダメかー
192.168.29.40 Strata作者が標準とする「VRAM 12GB+メモリ64GB」の、ほぼ最低ラインの構成／筆者が手元で測ったDGX Spark(vLLM、本体FP8ベース)の文章生成/日本語と、ほぼ同等の水準／ただしコードでは、DGX Sparkの約6割
”というか、DGX Sparkも含め筆者がこれまで手元で見たQwen3.8-Flash-Nextの中では最速だ。”
1年前に1万円で32GBを64GBにしておけば…とほほ