手元にあるAIの最新の最適解。
1.58ビットとかいう中途半端な数字に草。でも0を追加するだけで賢くなるのは面白いな。8GB制限が産んだ執念の最適化感ある
「Ternary BonsaiはMLX形式のみ。つまりApple Siliconネイティブです。PrismMLのMLXフォークをソースビルドする必要もなく、pip で入る標準の `mlx-lm` パッケージで動きます。Xcodeも不要」
なぜ人は、サブスクにびた一文払いたくないのに、ローカルで動くものに大枚叩くのか？日割計算すればクラウドで動いてるAIのがコスパいいし、あなたのローカル端末はクラウドよりセキュアなのか？マジで言ってるの？
デモ使ってみたら相性が悪かったのか初手で幻覚を見始めてしまった……
クラウドに渡せない/センシティブな情報を扱う/収益化の可否/生成したコンテンツの権利(著作権)など、コスパは悪くてもローカルで動かす意味はあると思う。特に松尾さんの場合は。
こんな風にローカルで AI を動かすノウハウを貯めてると、将来に実用に耐えうるローカルAI が出てきたときに上手く扱えるんだろうなあ。
サブスクにびた一文払いたいくないなんて話してるか? ハルシネーション?
要はバランス
3値といえばTCAM。TCAM使って演算できないかな
1.58bitそういうのもあるのか。モデルの実用的な小型化が進むのはありがたい。”やらねばの娘”??イパネマの娘ってこと？
Cyberpunk 2077 で喋る自販機が出てくるけど、もう実現しそう。
我が家の最速マシン（iPad M2）で試してみる
GGUFまだかなー
Macいいなあ。AI試すならMacがいいらしい
3進法か
、
1.58になってたのか…
Ternary BonsaiのネーミングがあまりにもSF小説。
2604170823 1ビットBonsaiはウェイトが -1 か +1 の2値、 Ternary(三値)は {-1, 0, +1} の3値 log₂(3) ≈ 1.585 で1ウェイトあたり1.58ビットの情報量。「0(何もしない)」選択肢が加わり表現力向上。
2つで十分ですよ
“やらねばの娘” で吹いた（ｗ 例え3値の1.58bitになっても乗算抜きの加算のみで演算解決するからいいよね。今のBonsaiはQwen3がBaseだけどこれがQwen3.5とかBaseになるのが楽しみですね。
オイラーは数学者 ヤクザな数学者
“mazzaineoの”
「Ternary（三値）Bonsaiでは、{-1, 0, +1} の3値になります。log₂(3) ≈ 1.585 で、つまり1ウェイトあたり1.58ビットの情報量。」
bonsai使ってみたけどまともに会話すらできなかった。聞いてることが違うよ。こういう意味だよとか言っても全然理解しない
AppleはAIブームに乗り遅れたと思ったらローカルでアップルシリコン注目度上げたな
Bonsaiは強いちゃんと育てたい
MacBook Air M4で試してみたらめちゃくちゃ速くてしかもあまり変なレスポンスでもなかったのでびっくりした。
ゲームもテクスチャ品質落としまくって 解像度下げまくれば起動しますよ みたいなもんか そうじゃないんだよなぁ
iPhoneアプリで手軽に試してみたけど、2-3回会話するとバグってくる印象で1問1答程度にしか使えないなとは思った。でも1.8GBでこんだけ滑らかに話せるのはすごい。飛行機とかネットが使えないところで暇つぶしできるかも
bonsaiから山岡士郎の声が聞こえてきたが気のせいかもしれない
MLX以外のリリースはcoming soonとのこと。早く試してみたい
Raspberry Piで試したい。
“脳のシナプスが「つながっている/つながっていない」だけでなく「つながっているけど使わない」も選べるようになった、みたいな話です。”
フルスペックのAIと比べたらかなり厳しいよなあ。
PrismMLのTernary Bonsaiを8GB Macで試した記事。1.75GBで動き、ベンチ平均は1-bit Bonsai 8Bの70.5→75.5に向上。日本語応答や複数ステップ推論、Tool Calling時の文脈保持が改善し、ローカルAIの実用性が増したとする。
13bで1bitにするのと8bで1.58bitにするのと、どっちがいいんだろうか。容量が同じときに、できるだけ性能がでる組み合わせが知りたい。
Bonsaiという、LLMについて
Tri-state とか Open-drain とかのワードが浮かぶハードウェア脳
バイナリ乗算がXNORに置き換え可能な理由 https://qiita.com/yaju/items/58f8bb9bef9af99db77e
「1.58ビットに進化したから8GBで十分ですよ。任せてくださいよ」とBonsaiが言うのでMacBook Neoに組み込んでその性能差を体感。iPhoneでも楽々動くしで、ローカルAIが超進化中（CloseBox） | テクノエッジ TechnoEdge
手元にあるAIの最新の最適解。
1.58ビットとかいう中途半端な数字に草。でも0を追加するだけで賢くなるのは面白いな。8GB制限が産んだ執念の最適化感ある
「Ternary BonsaiはMLX形式のみ。つまりApple Siliconネイティブです。PrismMLのMLXフォークをソースビルドする必要もなく、pip で入る標準の `mlx-lm` パッケージで動きます。Xcodeも不要」
なぜ人は、サブスクにびた一文払いたくないのに、ローカルで動くものに大枚叩くのか？日割計算すればクラウドで動いてるAIのがコスパいいし、あなたのローカル端末はクラウドよりセキュアなのか？マジで言ってるの？
デモ使ってみたら相性が悪かったのか初手で幻覚を見始めてしまった……
クラウドに渡せない/センシティブな情報を扱う/収益化の可否/生成したコンテンツの権利(著作権)など、コスパは悪くてもローカルで動かす意味はあると思う。特に松尾さんの場合は。
こんな風にローカルで AI を動かすノウハウを貯めてると、将来に実用に耐えうるローカルAI が出てきたときに上手く扱えるんだろうなあ。
サブスクにびた一文払いたいくないなんて話してるか? ハルシネーション?
要はバランス
3値といえばTCAM。TCAM使って演算できないかな
1.58bitそういうのもあるのか。モデルの実用的な小型化が進むのはありがたい。”やらねばの娘”??イパネマの娘ってこと？
Cyberpunk 2077 で喋る自販機が出てくるけど、もう実現しそう。
我が家の最速マシン（iPad M2）で試してみる
GGUFまだかなー
Macいいなあ。AI試すならMacがいいらしい
3進法か
、
1.58になってたのか…
Ternary BonsaiのネーミングがあまりにもSF小説。
2604170823 1ビットBonsaiはウェイトが -1 か +1 の2値、 Ternary(三値)は {-1, 0, +1} の3値 log₂(3) ≈ 1.585 で1ウェイトあたり1.58ビットの情報量。「0(何もしない)」選択肢が加わり表現力向上。
2つで十分ですよ
“やらねばの娘” で吹いた（ｗ 例え3値の1.58bitになっても乗算抜きの加算のみで演算解決するからいいよね。今のBonsaiはQwen3がBaseだけどこれがQwen3.5とかBaseになるのが楽しみですね。
オイラーは数学者 ヤクザな数学者
“mazzaineoの”
「Ternary（三値）Bonsaiでは、{-1, 0, +1} の3値になります。log₂(3) ≈ 1.585 で、つまり1ウェイトあたり1.58ビットの情報量。」
bonsai使ってみたけどまともに会話すらできなかった。聞いてることが違うよ。こういう意味だよとか言っても全然理解しない
AppleはAIブームに乗り遅れたと思ったらローカルでアップルシリコン注目度上げたな
Bonsaiは強いちゃんと育てたい
MacBook Air M4で試してみたらめちゃくちゃ速くてしかもあまり変なレスポンスでもなかったのでびっくりした。
ゲームもテクスチャ品質落としまくって 解像度下げまくれば起動しますよ みたいなもんか そうじゃないんだよなぁ
iPhoneアプリで手軽に試してみたけど、2-3回会話するとバグってくる印象で1問1答程度にしか使えないなとは思った。でも1.8GBでこんだけ滑らかに話せるのはすごい。飛行機とかネットが使えないところで暇つぶしできるかも
bonsaiから山岡士郎の声が聞こえてきたが気のせいかもしれない
MLX以外のリリースはcoming soonとのこと。早く試してみたい
Raspberry Piで試したい。
“脳のシナプスが「つながっている/つながっていない」だけでなく「つながっているけど使わない」も選べるようになった、みたいな話です。”
フルスペックのAIと比べたらかなり厳しいよなあ。
PrismMLのTernary Bonsaiを8GB Macで試した記事。1.75GBで動き、ベンチ平均は1-bit Bonsai 8Bの70.5→75.5に向上。日本語応答や複数ステップ推論、Tool Calling時の文脈保持が改善し、ローカルAIの実用性が増したとする。
13bで1bitにするのと8bで1.58bitにするのと、どっちがいいんだろうか。容量が同じときに、できるだけ性能がでる組み合わせが知りたい。
Bonsaiという、LLMについて
Tri-state とか Open-drain とかのワードが浮かぶハードウェア脳
バイナリ乗算がXNORに置き換え可能な理由 https://qiita.com/yaju/items/58f8bb9bef9af99db77e