_φ(･_･
表題がBonaiになっとってあれ？ってなった。Bonsai
清水亮氏の記事らしい煽りだけど、1bit LLMがスマホで爆速なのはロマンある。GPUの演算能力よりメモリ帯域と容量がボトルネックの時代か
確かにこれならゲームへの応用はもう実用範囲。このメモリサイズでいいならばエンジン毎ゲームに同梱してNPCの台詞をAI生成会話にしてしまえる。ゲーム内パラや状況を付加するのは初歩的なRAG程度で十分なわけで
内容が薄すぎるぞ
いいねぇー！
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰｽｺﾞｰｲ
VRエロゲへの応用はよ
Metal対応して
簡単な分類推論だけでもずいぶん幅広がるからええわな
AIが筋立てやトリックを考え、プレイヤーが探偵役で、AIが演じる登場人物に聞き取りして事件解決がゴール、というゲームを毎日生成するとかできるかしらん？
そもそも1位のQwopusってなんだ？ と思ったけど、Claude Opusの思考過程をQwen 3.5に食わせて蒸留したモデルなのか。
中小企業オヤジの未来予測
「DeepSeek-R1級のものが普通のPCで動くということになる」夢はあるが、さすがに無理だろうと思っておく。
それよりも光回路でやりたいんだが
その帰結がゲーセンて、なんでやねんと
１４ｂはないのけ
“Bonsai-8Bは、初の本格的な1-Bit LLMで、その実用性は従来手法を優に追い抜き、しかもスマートフォンの上で完璧に動作することが証明されてしまったのだ。 ”
『モデルは公開されているが、これを訓練する方法はまだ非公開だ』
ボク、Bonai-8Bすごいにゃ！もうGPUいらないなんて、お昼寝タイムが増えるにゃ！
ホント冒頭に著者名記載たすかるわあ……
API利用や自前鯖での推論（ローカル物よりはるかに高性能）で既にゲームの実装例が多数あるけど、現状難しい。中華OWゲーでがっつりNPCと会話できるのもあるけど、既存のチャットサービス以上の体験にはなってきてない
使えるかどうかは別として、これ以上はメモリ容量がいるって指標としての役割だと思うんだよな
これくらい小さくなると応用できる場所がぐっと増えそうだなあ
タイトルのみすからAIの記事ではないと判断。偏見かもだけど。
もともと清水さんずっと1bit推しだからなぁ。たしかに乗算不要で加算だけで処理できるなら推論が猛烈に軽くなるからね。でも現状Boinsai-8BはまだollamaでもLMStudioでもうまくモデルロードできないから試せてないけど
「1-Bit LLMという技術」
外すのに定評あるからなあ
ついにAGIの萌芽が！畑やりましょう
やべ、いままだBONSAIかと思ってたわ…って思ったらBONSAIで正しかった
ゲームのＬＬＭ応用ははやく色々みたいね
シグモイドisなに？
いやいや、それは言い過ぎ。まだ精度でSOTA取ってないじゃん
今データセンターでゴリゴリAI動かしてやってることがスマホで出来るようになるのは時間の問題でしょうな。昔のスーパーコンピューターより今のスマホの方が性能良いように。
グラボが安くなるならなんでもいい
何がしか役に立つものはできそうだけど、いわゆる「人工知能」とはちょっと質の違うものになりそうな気がする
乗算0と乗り物0は似ている
軽量高性能なAIが普及してPCが安くなるといいな。
Qwen3 8Bを量子化したもの。 Qwen3 8Bのスコアが79のところ、70まで低下する事には注意しよう。
清水亮はもういいわオワコン
著者名
クルマなんかにも普通にAIが搭載される時代が来る。Knight2000!
こうゆうのがビッグテック以外から出てくるのがおもしろいんよなぁ
ラズパイで動くようになったら教えて
こういうのがで始めるってことは普及まではまだ手前の手前の手前くらいでしょ
中読んだがなんで1テットって言わないの？別のブコメによれば真正1ビットもあるとのことだが。
とはいえ、8Bでは性能が限られることは目に見えている。1000Bとか2000Bの1bit LLMの登場を期待せざるを得ない。
PrismMLの1-Bit LLM Bonsai-8BはGPU不要で高速推論可能。スマホで動作し、ゲームや個人用ニュース配信など多用途応用が期待。
突如実用化した1ビットLLM Bonai-8B もう推論にGPUはほぼ不要になる。その先に何が起きるか
_φ(･_･
表題がBonaiになっとってあれ？ってなった。Bonsai
清水亮氏の記事らしい煽りだけど、1bit LLMがスマホで爆速なのはロマンある。GPUの演算能力よりメモリ帯域と容量がボトルネックの時代か
確かにこれならゲームへの応用はもう実用範囲。このメモリサイズでいいならばエンジン毎ゲームに同梱してNPCの台詞をAI生成会話にしてしまえる。ゲーム内パラや状況を付加するのは初歩的なRAG程度で十分なわけで
内容が薄すぎるぞ
いいねぇー！
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰｽｺﾞｰｲ
VRエロゲへの応用はよ
Metal対応して
簡単な分類推論だけでもずいぶん幅広がるからええわな
AIが筋立てやトリックを考え、プレイヤーが探偵役で、AIが演じる登場人物に聞き取りして事件解決がゴール、というゲームを毎日生成するとかできるかしらん？
そもそも1位のQwopusってなんだ？ と思ったけど、Claude Opusの思考過程をQwen 3.5に食わせて蒸留したモデルなのか。
中小企業オヤジの未来予測
「DeepSeek-R1級のものが普通のPCで動くということになる」夢はあるが、さすがに無理だろうと思っておく。
それよりも光回路でやりたいんだが
その帰結がゲーセンて、なんでやねんと
１４ｂはないのけ
“Bonsai-8Bは、初の本格的な1-Bit LLMで、その実用性は従来手法を優に追い抜き、しかもスマートフォンの上で完璧に動作することが証明されてしまったのだ。 ”
『モデルは公開されているが、これを訓練する方法はまだ非公開だ』
ボク、Bonai-8Bすごいにゃ！もうGPUいらないなんて、お昼寝タイムが増えるにゃ！
ホント冒頭に著者名記載たすかるわあ……
API利用や自前鯖での推論（ローカル物よりはるかに高性能）で既にゲームの実装例が多数あるけど、現状難しい。中華OWゲーでがっつりNPCと会話できるのもあるけど、既存のチャットサービス以上の体験にはなってきてない
使えるかどうかは別として、これ以上はメモリ容量がいるって指標としての役割だと思うんだよな
これくらい小さくなると応用できる場所がぐっと増えそうだなあ
タイトルのみすからAIの記事ではないと判断。偏見かもだけど。
もともと清水さんずっと1bit推しだからなぁ。たしかに乗算不要で加算だけで処理できるなら推論が猛烈に軽くなるからね。でも現状Boinsai-8BはまだollamaでもLMStudioでもうまくモデルロードできないから試せてないけど
「1-Bit LLMという技術」
外すのに定評あるからなあ
ついにAGIの萌芽が！畑やりましょう
やべ、いままだBONSAIかと思ってたわ…って思ったらBONSAIで正しかった
ゲームのＬＬＭ応用ははやく色々みたいね
シグモイドisなに？
いやいや、それは言い過ぎ。まだ精度でSOTA取ってないじゃん
今データセンターでゴリゴリAI動かしてやってることがスマホで出来るようになるのは時間の問題でしょうな。昔のスーパーコンピューターより今のスマホの方が性能良いように。
グラボが安くなるならなんでもいい
何がしか役に立つものはできそうだけど、いわゆる「人工知能」とはちょっと質の違うものになりそうな気がする
乗算0と乗り物0は似ている
軽量高性能なAIが普及してPCが安くなるといいな。
Qwen3 8Bを量子化したもの。 Qwen3 8Bのスコアが79のところ、70まで低下する事には注意しよう。
清水亮はもういいわオワコン
著者名
クルマなんかにも普通にAIが搭載される時代が来る。Knight2000!
こうゆうのがビッグテック以外から出てくるのがおもしろいんよなぁ
ラズパイで動くようになったら教えて
こういうのがで始めるってことは普及まではまだ手前の手前の手前くらいでしょ
中読んだがなんで1テットって言わないの？別のブコメによれば真正1ビットもあるとのことだが。
とはいえ、8Bでは性能が限られることは目に見えている。1000Bとか2000Bの1bit LLMの登場を期待せざるを得ない。
PrismMLの1-Bit LLM Bonsai-8BはGPU不要で高速推論可能。スマホで動作し、ゲームや個人用ニュース配信など多用途応用が期待。