高価なクラウドLLMと併用してる。単純作業をこっちにやらせるよう命令しておけば、作業計画以外の9割はtokenを減らせる、らしい。実際どうなんだろう。
MoEの特性を活かしてSSDとRAMにうまく逃がすの賢い、RTX4090の延命が捗るな
1年前に1万円で32GBを足しておけば64GBになってstrataを普通に使えたのに（今はDDR4の32GBが4万円台）
640KBの 壁を越えるためのEMSメモリみたいなものか？（老人会）
あぁ、例の。というか、Qwen3.8-Flash-Nextが凄すぎてどうにかしてチープな環境で動かせないかとみんな四苦八苦してる感。2026年の民生用No.1モデルみたいな印象。
ハードが余ってるならあり（´－｀）メインマシンで動かしたら他のことできなくなるし
意味もなくStrix Haloちゃんの上でStrata動かしてる。モニタリングに別窓開かんでも良いのは楽だな。
StrataでGPU・RAM・SSDにモデルを分散。RTX 4090＋RAM64GBでQwenを約80トークン/秒で実行。検索・画像生成にも拡張。RAM32GBの社内10人利用では10分超待ちも発生し、実用性はメモリ容量と処理待ちが課題。
GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」 (1/5)
高価なクラウドLLMと併用してる。単純作業をこっちにやらせるよう命令しておけば、作業計画以外の9割はtokenを減らせる、らしい。実際どうなんだろう。
MoEの特性を活かしてSSDとRAMにうまく逃がすの賢い、RTX4090の延命が捗るな
1年前に1万円で32GBを足しておけば64GBになってstrataを普通に使えたのに（今はDDR4の32GBが4万円台）
640KBの 壁を越えるためのEMSメモリみたいなものか？（老人会）
あぁ、例の。というか、Qwen3.8-Flash-Nextが凄すぎてどうにかしてチープな環境で動かせないかとみんな四苦八苦してる感。2026年の民生用No.1モデルみたいな印象。
ハードが余ってるならあり（´－｀）メインマシンで動かしたら他のことできなくなるし
意味もなくStrix Haloちゃんの上でStrata動かしてる。モニタリングに別窓開かんでも良いのは楽だな。
StrataでGPU・RAM・SSDにモデルを分散。RTX 4090＋RAM64GBでQwenを約80トークン/秒で実行。検索・画像生成にも拡張。RAM32GBの社内10人利用では10分超待ちも発生し、実用性はメモリ容量と処理待ちが課題。