手元にあるAIの最新の最適解。
1.58ビットとかいう中途半端な数字に草。でも0を追加するだけで賢くなるのは面白いな。8GB制限が産んだ執念の最適化感ある
「Ternary BonsaiはMLX形式のみ。つまりApple Siliconネイティブです。PrismMLのMLXフォークをソースビルドする必要もなく、pip で入る標準の `mlx-lm` パッケージで動きます。Xcodeも不要」
なぜ人は、サブスクにはびた一文払いたくないのに、ローカルで動くものに大枚を叩くのか?日割り計算すればクラウドで動いてるAIのほうがコスパいいだろ、理解不能
デモ使ってみたら相性が悪かったのか初手で幻覚を見始めてしまった……
クラウドに渡せない/センシティブな情報を扱う/収益化の可否/生成したコンテンツの権利(著作権)など、コスパは悪くてもローカルで動かす意味はあると思う。特に松尾さんの場合は。
こんな風にローカルで AI を動かすノウハウを貯めてると、将来に実用に耐えうるローカルAI が出てきたときに上手く扱えるんだろうなあ。
サブスクにびた一文払いたいくないなんて話してるか? ハルシネーション?
3値といえばTCAM。TCAM使って演算できないかな
1.58bitそういうのもあるのか。モデルの実用的な小型化が進むのはありがたい。”やらねばの娘”??イパネマの娘ってこと?
Cyberpunk 2077 で喋る自販機が出てくるけど、もう実現しそう。
我が家の最速マシン(iPad M2)で試してみる
GGUFまだかなー
3進法か
、
Ternary BonsaiのネーミングがあまりにもSF小説。
2604170823 1ビットBonsaiはすべてのウェイトが -1 か +1 の2値。Ternary(三値)Bonsaiでは、{-1, 0, +1} の3値。log₂(3) ≈ 1.585 で1ウェイトあたり1.58ビットの情報量。0.58ビット増えた
「1.58ビットに進化したから8GBで十分ですよ。任せてくださいよ」とBonsaiが言うのでMacBook Neoに組み込んでその性能差を体感。iPhoneでも楽々動くしで、ローカルAIが超進化中(CloseBox) | テクノエッジ TechnoEdge
手元にあるAIの最新の最適解。
1.58ビットとかいう中途半端な数字に草。でも0を追加するだけで賢くなるのは面白いな。8GB制限が産んだ執念の最適化感ある
「Ternary BonsaiはMLX形式のみ。つまりApple Siliconネイティブです。PrismMLのMLXフォークをソースビルドする必要もなく、pip で入る標準の `mlx-lm` パッケージで動きます。Xcodeも不要」
なぜ人は、サブスクにはびた一文払いたくないのに、ローカルで動くものに大枚を叩くのか?日割り計算すればクラウドで動いてるAIのほうがコスパいいだろ、理解不能
デモ使ってみたら相性が悪かったのか初手で幻覚を見始めてしまった……
クラウドに渡せない/センシティブな情報を扱う/収益化の可否/生成したコンテンツの権利(著作権)など、コスパは悪くてもローカルで動かす意味はあると思う。特に松尾さんの場合は。
こんな風にローカルで AI を動かすノウハウを貯めてると、将来に実用に耐えうるローカルAI が出てきたときに上手く扱えるんだろうなあ。
サブスクにびた一文払いたいくないなんて話してるか? ハルシネーション?
3値といえばTCAM。TCAM使って演算できないかな
1.58bitそういうのもあるのか。モデルの実用的な小型化が進むのはありがたい。”やらねばの娘”??イパネマの娘ってこと?
Cyberpunk 2077 で喋る自販機が出てくるけど、もう実現しそう。
我が家の最速マシン(iPad M2)で試してみる
GGUFまだかなー
3進法か
、
Ternary BonsaiのネーミングがあまりにもSF小説。
2604170823 1ビットBonsaiはすべてのウェイトが -1 か +1 の2値。Ternary(三値)Bonsaiでは、{-1, 0, +1} の3値。log₂(3) ≈ 1.585 で1ウェイトあたり1.58ビットの情報量。0.58ビット増えた