昨日M1 MBPでためしてだめだったんだけど、公式のLMStudioじゃ動かないのね
適当なこと言うし頭悪い印象
量子化なしだとしても、まだ8Bはまともじゃないよ。2Tパラメータとかのでっかいネイティブ1 bit LLM（学習とか全部1 bit 前提のやつ）の登場が楽しみ。
なんか微妙な評判が多いけどそのうち試してみたいな、VRAM消費あたりの性能は結局どうなんだろう
8Bのq1を何に使うんだよ。前のAIブームの時は「i7・HDD・GT710のマシーンを揃えたんだがAIが重くて動かないからどのXeonを買えばいいか教えろ」みたいなアホが山ほどいたよな。
デモ既定が三値版という点が要点。BitNet b1.58が示した-1/0/+1で品質差が縮む知見の延長で、純1bitとの住み分けはこの系譜で読むと分かりやすい
CPUとメモリだけで動かせる点は野心的。性能は人工無脳なみ。VRAM8GBあればQwen3.5 9BQ4が普通に動かせるので並のゲーミングノート持ってればQwen3.5がおすすめ。
少しずつではあるが軽量で性能が良いLLMが登場している。いずれインディレベルのゲームに組み込めるモデルが登場することを期待。
いまなら27Bの方を試すべきでは。1bit版なら3.9 GB。1.58bit版でも5.9 GB。
1-bit LLM「Bonsai」活用ガイド — 1.15GB で動く 8B モデルをローカルで使い倒す
昨日M1 MBPでためしてだめだったんだけど、公式のLMStudioじゃ動かないのね
適当なこと言うし頭悪い印象
量子化なしだとしても、まだ8Bはまともじゃないよ。2Tパラメータとかのでっかいネイティブ1 bit LLM（学習とか全部1 bit 前提のやつ）の登場が楽しみ。
なんか微妙な評判が多いけどそのうち試してみたいな、VRAM消費あたりの性能は結局どうなんだろう
8Bのq1を何に使うんだよ。前のAIブームの時は「i7・HDD・GT710のマシーンを揃えたんだがAIが重くて動かないからどのXeonを買えばいいか教えろ」みたいなアホが山ほどいたよな。
デモ既定が三値版という点が要点。BitNet b1.58が示した-1/0/+1で品質差が縮む知見の延長で、純1bitとの住み分けはこの系譜で読むと分かりやすい
CPUとメモリだけで動かせる点は野心的。性能は人工無脳なみ。VRAM8GBあればQwen3.5 9BQ4が普通に動かせるので並のゲーミングノート持ってればQwen3.5がおすすめ。
少しずつではあるが軽量で性能が良いLLMが登場している。いずれインディレベルのゲームに組み込めるモデルが登場することを期待。
いまなら27Bの方を試すべきでは。1bit版なら3.9 GB。1.58bit版でも5.9 GB。