小型のUD-1bit量子化モデルも作成しており、MTPなしの「UD-IQ1_S」の容量はわずか6.2GBだ。上位1%の精度を約72%維持。一般知識は保持されるため、ごく短い事実確認の質問であれば利用できる／チャットにしか使えないのか
https://huggingface.co/collections/unsloth/unsloth-dynamic-30-quants
27バイトが6.2ギガバイトに膨れ上がったのかと思った
Unslothが量子化技術Dynamic v3.0を公開。Qwen3.8-27Bを1bitで6.2GB、元モデル比89%削減。上位1%精度は約72%維持する一方、エージェント用途やツール呼び出しには不向き。
“UD-Q2_K_XL”
Qwen3.8-27Bを2bit以下まで量子化するくらいなら、Qwen3.5 9Bを8bit量子化とかで使った方がマシなのでは。どうせ最新情報は検索するしかないわけで。
このギガはメモリ？
もう一回試すか。
2bitの方ならエージェント用途にも使えそうかな？ / とはいえ 27B Dense はきつい
そう言えば、まだ試してないけど、qwen3.8:27bは動画をよみ込めるとか…
基本的にQ4(4bit)は実質ロスレス、Q3より下は使い物にならないとされる。動くだけ。Qwen 27Bはdenseモデルだから、分散処理に向くMoEの35B-A3Bと比べてGPU1枚に収まらない場合の性能低下もキツい。なお3.8の35Bは現状出ていない。
“AIモデルを小型化するために使われる量子化技術の開発も着々と進んでいる。”
そろそろゲルバナしてシュタインズゲート開くかなネタ
shi3z氏がシンギュラリティ来たかもと言い始めた。27Bは16gbのMacでも動くとか。
2bit量子化は技術的には面白いけど、精度に劣る。4bit量子化で12GBくらいのモデルが欲しいところ。Qwenは3.8-14B出さないんだろうか。
ちゃんこに入れて煮込んだ野菜みたいなものでしょうか
10GBにおさまる2bit量子化はいいね
Qwen3.8 27Bが驚異の6.2GBに!? Unslothが新量子化技術で実現
小型のUD-1bit量子化モデルも作成しており、MTPなしの「UD-IQ1_S」の容量はわずか6.2GBだ。上位1%の精度を約72%維持。一般知識は保持されるため、ごく短い事実確認の質問であれば利用できる／チャットにしか使えないのか
https://huggingface.co/collections/unsloth/unsloth-dynamic-30-quants
27バイトが6.2ギガバイトに膨れ上がったのかと思った
Unslothが量子化技術Dynamic v3.0を公開。Qwen3.8-27Bを1bitで6.2GB、元モデル比89%削減。上位1%精度は約72%維持する一方、エージェント用途やツール呼び出しには不向き。
“UD-Q2_K_XL”
Qwen3.8-27Bを2bit以下まで量子化するくらいなら、Qwen3.5 9Bを8bit量子化とかで使った方がマシなのでは。どうせ最新情報は検索するしかないわけで。
このギガはメモリ？
もう一回試すか。
2bitの方ならエージェント用途にも使えそうかな？ / とはいえ 27B Dense はきつい
そう言えば、まだ試してないけど、qwen3.8:27bは動画をよみ込めるとか…
基本的にQ4(4bit)は実質ロスレス、Q3より下は使い物にならないとされる。動くだけ。Qwen 27Bはdenseモデルだから、分散処理に向くMoEの35B-A3Bと比べてGPU1枚に収まらない場合の性能低下もキツい。なお3.8の35Bは現状出ていない。
“AIモデルを小型化するために使われる量子化技術の開発も着々と進んでいる。”
そろそろゲルバナしてシュタインズゲート開くかなネタ
shi3z氏がシンギュラリティ来たかもと言い始めた。27Bは16gbのMacでも動くとか。
2bit量子化は技術的には面白いけど、精度に劣る。4bit量子化で12GBくらいのモデルが欲しいところ。Qwenは3.8-14B出さないんだろうか。
ちゃんこに入れて煮込んだ野菜みたいなものでしょうか
10GBにおさまる2bit量子化はいいね