_φ(･_･
表題がBonaiになっとってあれ？ってなった。Bonsai
清水亮氏の記事らしい煽りだけど、1bit LLMがスマホで爆速なのはロマンある。GPUの演算能力よりメモリ帯域と容量がボトルネックの時代か
確かにこれならゲームへの応用はもう実用範囲。このメモリサイズでいいならばエンジン毎ゲームに同梱してNPCの台詞をAI生成会話にしてしまえる。ゲーム内パラや状況を付加するのは初歩的なRAG程度で十分なわけで
いいねぇー！
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰｽｺﾞｰｲ
VRエロゲへの応用はよ
Metal対応して
簡単な分類推論だけでもずいぶん幅広がるからええわな
AIが筋立てやトリックを考え、プレイヤーが探偵役で、AIが演じる登場人物に聞き取りして事件解決がゴール、というゲームを毎日生成するとかできるかしらん？
中小企業オヤジの未来予測
「DeepSeek-R1級のものが普通のPCで動くということになる」夢はあるが、さすがに無理だろうと思っておく。
それよりも光回路でやりたいんだが
その帰結がゲーセンて、なんでやねんと
１４ｂはないのけ
“Bonsai-8Bは、初の本格的な1-Bit LLMで、その実用性は従来手法を優に追い抜き、しかもスマートフォンの上で完璧に動作することが証明されてしまったのだ。 ”
『モデルは公開されているが、これを訓練する方法はまだ非公開だ』
ボク、Bonai-8Bすごいにゃ！もうGPUいらないなんて、お昼寝タイムが増えるにゃ！
ホント冒頭に著者名記載たすかるわあ……
API利用や自前鯖での推論（ローカル物よりはるかに高性能）で既にゲームの実装例が多数あるけど、現状難しい。中華OWゲーでがっつりNPCと会話できるのもあるけど、既存のチャットサービス以上の体験にはなってきてない
使えるかどうかは別として、これ以上はメモリ容量がいるって指標としての役割だと思うんだよな
これくらい小さくなると応用できる場所がぐっと増えそうだなあ
タイトルのみすからAIの記事ではないと判断。偏見かもだけど。
もともと清水さんずっと1bit押しだからなぁ。たしかに乗算不要で加算だけで処理できるなら推論が猛烈に軽くなるからね。でも現状Boinsai-8BはまだollamaでもLMStudioでもうまくモデルロードできないから試せてないけど
「1-Bit LLMという技術」
突如実用化した1ビットLLM Bonai-8B もう推論にGPUはほぼ不要になる。その先に何が起きるか
_φ(･_･
表題がBonaiになっとってあれ？ってなった。Bonsai
清水亮氏の記事らしい煽りだけど、1bit LLMがスマホで爆速なのはロマンある。GPUの演算能力よりメモリ帯域と容量がボトルネックの時代か
確かにこれならゲームへの応用はもう実用範囲。このメモリサイズでいいならばエンジン毎ゲームに同梱してNPCの台詞をAI生成会話にしてしまえる。ゲーム内パラや状況を付加するのは初歩的なRAG程度で十分なわけで
いいねぇー！
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰｽｺﾞｰｲ
VRエロゲへの応用はよ
Metal対応して
簡単な分類推論だけでもずいぶん幅広がるからええわな
AIが筋立てやトリックを考え、プレイヤーが探偵役で、AIが演じる登場人物に聞き取りして事件解決がゴール、というゲームを毎日生成するとかできるかしらん？
中小企業オヤジの未来予測
「DeepSeek-R1級のものが普通のPCで動くということになる」夢はあるが、さすがに無理だろうと思っておく。
それよりも光回路でやりたいんだが
その帰結がゲーセンて、なんでやねんと
１４ｂはないのけ
“Bonsai-8Bは、初の本格的な1-Bit LLMで、その実用性は従来手法を優に追い抜き、しかもスマートフォンの上で完璧に動作することが証明されてしまったのだ。 ”
『モデルは公開されているが、これを訓練する方法はまだ非公開だ』
ボク、Bonai-8Bすごいにゃ！もうGPUいらないなんて、お昼寝タイムが増えるにゃ！
ホント冒頭に著者名記載たすかるわあ……
API利用や自前鯖での推論（ローカル物よりはるかに高性能）で既にゲームの実装例が多数あるけど、現状難しい。中華OWゲーでがっつりNPCと会話できるのもあるけど、既存のチャットサービス以上の体験にはなってきてない
使えるかどうかは別として、これ以上はメモリ容量がいるって指標としての役割だと思うんだよな
これくらい小さくなると応用できる場所がぐっと増えそうだなあ
タイトルのみすからAIの記事ではないと判断。偏見かもだけど。
もともと清水さんずっと1bit押しだからなぁ。たしかに乗算不要で加算だけで処理できるなら推論が猛烈に軽くなるからね。でも現状Boinsai-8BはまだollamaでもLMStudioでもうまくモデルロードできないから試せてないけど
「1-Bit LLMという技術」