1bit化で8GBが延命されるの草。結局MacBook Neoでもメモリ増設不可なのは変わらんしな
理屈は分からないが 凄い進化だと理解した。📱で試してみたい。“8.2Bモデルが1.1GB。8GB MacBookで余裕で動く。Llama 3.1 8B（FP16で16GB）を超えるベンチスコア。「8GBでは3Bモデルが限界」と思い込んでいた壁が一気に崩れました"
現時点での結論は品質重視：Tool Callingが必要なら、Bonsai 8B／速度重視：シンプルな会話ならSwiftLM + Qwen 2.5 3B。Tool Callingが不要な用途では、1.32倍速いSwiftLMが快適です。
へー試してみよ
おー。これは期待か？
「いや24ギガだ。8ギガと8ギガと8ギガで24ギガだ」（※ユニファイドメモリ24GBは12GBメモリと12GBメモリの組み合わせらしいです）「・・・マウスもくれ」
試すけどまだ先のお話だなぁ
ちょっとなにいってるのわかんない
そこは「分かってくださいよ」だ（のちに実際は「任してくださいよ」だったことが判明し衝撃を受けたので記念に追記）
メモリがギガ？メモリの単位はメガに決まってるだろ！と思ってしまう程度に酔ってるのでもう寝ます
小型のモデルはやはり汎用性では大型のモデルに敵わないので、早晩、何がタスクをさるには特化したモデルを組み合わせて使うようになると思う、そうするとやはり8ギガでは足りなくなる。
モデルの肥大化による性能向上に限界と予算が見えてきたんで、小さなモデルで同等の性能をってフェーズですかね。どうにもマネタイズ出来ないって未来が見えるけど、無いと困る程度には普及してるしどうしよう。
被せに行ってはいるものの微妙に違ってる Blade Runner の謎セリフが刺さる。
two-two, four! 2匹で十分ですよ、なので16G要るってか。（何の話だ）
MacBook Neo、驚くべきことに Xcodeバリバリ動く。でも、やっぱM4 Proと比べたら動きは断然ノロい。可か不可かで言えば可だが、十分とは言えない。
見た目がかわいい
普通にタイトルに「驚き」って言葉が入ってくることに清々しさを感じる
きちんとしたAIを今動かすなら安価な中華APIの方が絶対的にいいよ。10万でも他の機能と一緒に使えないなら余りローカルの意味がない。会話程度ならフリークラウドで良いわけだし。
ラズパイ5の8GBで
例えばcore i7でメモリ8GBとcore i5でメモリ16GBでは後者の方がサクサク動くからね。ゲームをやらせると軽いものなら前者の方が良いけど作業する分にはメモリの大きい方が強い。
ブ※「モデルの肥大化による性能向上に限界と予算が見えてきた」でも次期 claude の mythos は 24Tパラメータ、GPT5系の10倍くらいあるっちう噂やで
なんか今検索したら「まかせてくださいよ」らしい。
ここ、はてブで1bit LLMはレーダーのなんちゃらだから絶対に来るみたいなコメントを見て以来注目してる。たった8Bではなく1000Bくらいのを作ってみてほしい。
No four. Two, two, four.（いや4ギガだ。2ギガの2枚刺しで4ギガ）
最近は「AIならMac（M4チップ）」という意識が徐々に忍び寄り、飛躍して「Win使ってるやつはダメ」に変わりつつあるように思う。
いや32GBだ。16と16で32。それと、グラフィックボードもくれ。
こういう技術の方が本来は歓迎されるべきだとは思う。必要メモリが多い方が有用とかより。
8Gで十分という人の使い方を知りたいな、アプリケーションを3つ以上立ち上げているだけで10Gを消費している現実があるから、そんなの言葉は響かない
EPYCの3D V-cache版だとモデルが全部L3に乗るのでは（笑
使ってみたけど爆速という感想はよく分かる。1,446 tokens 8.4s 172.69 t/s 。インクジェットプリンターとレーザープリンターの違いみたいな速度だった。
LM Studioで動いたら試す。コマンド叩いて入れると入れたことを忘れてそのままになりそうなので
1ビットLLM「Bonsai 8B」が1.1GBで8.2Bパラメータ。8GB Macで約2.5GB使用で動作。Tool callingも正常、平均21 tok/s。従来3B限界の8GB環境で8B品質を実用化。
「メモリは8ギガで十分ですよ。勘弁してくださいよ」時代の到来。1ビットLLM「Bonsai 8B」を8GBのMacBook Neoで動かしてみたら爆速だった。1.1GBに8Bパラメータが入る驚き（CloseBox） | テクノエッジ TechnoEdge
1bit化で8GBが延命されるの草。結局MacBook Neoでもメモリ増設不可なのは変わらんしな
理屈は分からないが 凄い進化だと理解した。📱で試してみたい。“8.2Bモデルが1.1GB。8GB MacBookで余裕で動く。Llama 3.1 8B（FP16で16GB）を超えるベンチスコア。「8GBでは3Bモデルが限界」と思い込んでいた壁が一気に崩れました"
現時点での結論は品質重視：Tool Callingが必要なら、Bonsai 8B／速度重視：シンプルな会話ならSwiftLM + Qwen 2.5 3B。Tool Callingが不要な用途では、1.32倍速いSwiftLMが快適です。
へー試してみよ
おー。これは期待か？
「いや24ギガだ。8ギガと8ギガと8ギガで24ギガだ」（※ユニファイドメモリ24GBは12GBメモリと12GBメモリの組み合わせらしいです）「・・・マウスもくれ」
試すけどまだ先のお話だなぁ
ちょっとなにいってるのわかんない
そこは「分かってくださいよ」だ（のちに実際は「任してくださいよ」だったことが判明し衝撃を受けたので記念に追記）
メモリがギガ？メモリの単位はメガに決まってるだろ！と思ってしまう程度に酔ってるのでもう寝ます
小型のモデルはやはり汎用性では大型のモデルに敵わないので、早晩、何がタスクをさるには特化したモデルを組み合わせて使うようになると思う、そうするとやはり8ギガでは足りなくなる。
モデルの肥大化による性能向上に限界と予算が見えてきたんで、小さなモデルで同等の性能をってフェーズですかね。どうにもマネタイズ出来ないって未来が見えるけど、無いと困る程度には普及してるしどうしよう。
被せに行ってはいるものの微妙に違ってる Blade Runner の謎セリフが刺さる。
two-two, four! 2匹で十分ですよ、なので16G要るってか。（何の話だ）
MacBook Neo、驚くべきことに Xcodeバリバリ動く。でも、やっぱM4 Proと比べたら動きは断然ノロい。可か不可かで言えば可だが、十分とは言えない。
見た目がかわいい
普通にタイトルに「驚き」って言葉が入ってくることに清々しさを感じる
きちんとしたAIを今動かすなら安価な中華APIの方が絶対的にいいよ。10万でも他の機能と一緒に使えないなら余りローカルの意味がない。会話程度ならフリークラウドで良いわけだし。
ラズパイ5の8GBで
例えばcore i7でメモリ8GBとcore i5でメモリ16GBでは後者の方がサクサク動くからね。ゲームをやらせると軽いものなら前者の方が良いけど作業する分にはメモリの大きい方が強い。
ブ※「モデルの肥大化による性能向上に限界と予算が見えてきた」でも次期 claude の mythos は 24Tパラメータ、GPT5系の10倍くらいあるっちう噂やで
なんか今検索したら「まかせてくださいよ」らしい。
ここ、はてブで1bit LLMはレーダーのなんちゃらだから絶対に来るみたいなコメントを見て以来注目してる。たった8Bではなく1000Bくらいのを作ってみてほしい。
No four. Two, two, four.（いや4ギガだ。2ギガの2枚刺しで4ギガ）
最近は「AIならMac（M4チップ）」という意識が徐々に忍び寄り、飛躍して「Win使ってるやつはダメ」に変わりつつあるように思う。
いや32GBだ。16と16で32。それと、グラフィックボードもくれ。
こういう技術の方が本来は歓迎されるべきだとは思う。必要メモリが多い方が有用とかより。
8Gで十分という人の使い方を知りたいな、アプリケーションを3つ以上立ち上げているだけで10Gを消費している現実があるから、そんなの言葉は響かない
EPYCの3D V-cache版だとモデルが全部L3に乗るのでは（笑
使ってみたけど爆速という感想はよく分かる。1,446 tokens 8.4s 172.69 t/s 。インクジェットプリンターとレーザープリンターの違いみたいな速度だった。
LM Studioで動いたら試す。コマンド叩いて入れると入れたことを忘れてそのままになりそうなので
1ビットLLM「Bonsai 8B」が1.1GBで8.2Bパラメータ。8GB Macで約2.5GB使用で動作。Tool callingも正常、平均21 tok/s。従来3B限界の8GB環境で8B品質を実用化。