ddr4だけどram96GBだから今度試してみよう
なんにしたってメモリが足りない...
RAM64GB必要なことを除けば完璧っすねえ
Qwen3.8-Flash-Next。Qwen3.8-27Bより賢い。
まるで魔法のような
RAMはDDR4ならどうにかなるのだけど、GPUはAmpareとかPascalだからなぁ……
マシだけどメモリ64GBはまだきついなぁ
FreeTokenのQwen3.8Flash最適化、ですな。Qwen4Flashが本命だろうけど、これのために５０万くらい突っ込む価値あるかもね、ローカルで検閲緩いLLM使いたい人は
昔、Strata Studioって、３Dツールあったなあと思いだすなど。
一般的にコンテキストのQ8未満、モデルのQ4未満は回答一発目では調子がいいが、ツールコール文法が保てなくなるなど支離滅裂になって使い物にならないと言われてる。それでも良いならどうぞという類。
LM Studio で 27B 動かすより早く 125B が動くのはほんとに驚いた。 PC のリソースほとんど食っちゃっててほかのこと何もできなそうだったけど。
一日に数回のリリースがされてる。開発の勢いが凄い。 https://github.com/Niko1221/Strata/releases
AppleのAFM 3 Core Advancedみたいなものかな？これでメモリ依存しなくなるのはいいけどモデルがデカいのでストレージを圧迫する問題が…
ひと世代前のRyzenと4070TiとDDR5 64GBだからギリギリ試せそうかなー。試してみるかー。
巨大モデルがローカルで動く時代が来てるの凄いわ
12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka
ddr4だけどram96GBだから今度試してみよう
なんにしたってメモリが足りない...
RAM64GB必要なことを除けば完璧っすねえ
Qwen3.8-Flash-Next。Qwen3.8-27Bより賢い。
まるで魔法のような
RAMはDDR4ならどうにかなるのだけど、GPUはAmpareとかPascalだからなぁ……
マシだけどメモリ64GBはまだきついなぁ
FreeTokenのQwen3.8Flash最適化、ですな。Qwen4Flashが本命だろうけど、これのために５０万くらい突っ込む価値あるかもね、ローカルで検閲緩いLLM使いたい人は
昔、Strata Studioって、３Dツールあったなあと思いだすなど。
一般的にコンテキストのQ8未満、モデルのQ4未満は回答一発目では調子がいいが、ツールコール文法が保てなくなるなど支離滅裂になって使い物にならないと言われてる。それでも良いならどうぞという類。
LM Studio で 27B 動かすより早く 125B が動くのはほんとに驚いた。 PC のリソースほとんど食っちゃっててほかのこと何もできなそうだったけど。
一日に数回のリリースがされてる。開発の勢いが凄い。 https://github.com/Niko1221/Strata/releases
AppleのAFM 3 Core Advancedみたいなものかな？これでメモリ依存しなくなるのはいいけどモデルがデカいのでストレージを圧迫する問題が…
ひと世代前のRyzenと4070TiとDDR5 64GBだからギリギリ試せそうかなー。試してみるかー。
巨大モデルがローカルで動く時代が来てるの凄いわ