1.58bitの革命！「Ternary Bonsai」登場。8Bモデルがわずか1.75GBで動作
📰 ニュース概要
- 1.58ビット（3値）表現を採用した新モデル: PrismMLが「Ternary Bonsai」ファミリー（8B、4B、1.7B）をリリース。重みを{-1, 0, +1}の3値に制約することで、標準的な16ビットモデルの約9倍という驚異的なメモリ削減を実現した。
- 極限の圧縮と精度の両立: 先代の1ビットモデルと比較して平均ベンチマークスコアが5ポイント向上。8Bモデル（1.75GB）は平均75.5点を記録し、10倍以上のサイズを持つQwen3 8Bに迫る性能を叩き出している。
- Appleデバイスでの爆速ネイティブ動作: M4 Proチップ上で82 toks/sec、iPhone 17 Pro Max上で27 toks/secの高速スループットを達成。エネルギー効率も従来の3〜4倍に向上している。
💡 重要なポイント
- 「逃げ道なし」の完全量子化: エンベディング、アテンション、MLP、LMヘッドに至るまで、ネットワーク全体で1.58ビット表現を一貫して使用。一部を高い精度で残すような妥協がない真の3値モデルである。
- グループ単位の量子化スキーム: 128個の重みごとにFP16のスケールファクターを共有しつつ、各重みを1.58ビットで符号化。これにより高い知能密度を維持している。
- Apache 2.0ライセンスで公開: モデルウェイトはオープンソースとして公開されており、MLXを通じてMac、iPhone、iPadで即座に利用可能。
🦈 サメの眼（キュレーターの視点）
この「Ternary Bonsai」は、まさにローカルAIの物理的限界を塗り替えたサメ！ 注目すべきは「1.58ビット」という中途半端に見える数値の使い所だサメ。1ビット（2値）では表現しきれなかった情報のニュアンスを、わずか0.58ビット分の追加コストで救い上げているのが天才的だサメ。しかも、ネットワークのどこにも「高精度な逃げ道」を作らず、全層でこの低ビットを貫き通した実装は、PrismMLの執念を感じるサメ！ これだけの性能があれば、もうクラウドに頼る必要なんてないサメ。ポケットの中のiPhone 17 Pro Maxが、かつてのサーバーグレード並みの知能を爆速で回す時代の幕開けだサメ！
🚀 これからどうなる？
オンデバイスAIの標準が「16ビット」から「1.58ビット」へ急速にシフトする。これにより、メモリの少ない安価なデバイスでも高度な推論が可能になり、AIエージェントの常駐化がさらに加速するはずだ。1ビット（超軽量）と1.58ビット（高性能・軽量）の使い分けが開発者の新たな常識になるだろうサメ！
💬 はるサメ視点の一言
iPhoneで8Bモデルがサクサク動くなんて、胃袋が10倍になった気分だサメ！この効率性、まさにサメ並みの省エネ＆高火力だサメ！🦈🔥
📚 用語解説
-
Ternary Weights (3値の重み): AIの脳細胞（重み）を{-1, 0, +1}の3つの状態だけで表現する技術。計算コストを劇的に下げられる。
-
1.58-bit Representation: 3つの状態を表現するのに必要な情報のビット数（log2(3) ≒ 1.58）。1ビット（2値）よりも表現力が高い。
-
Pareto Frontier (パレートの境界): 性能とサイズのトレードオフにおいて、これ以上改善できない「最良」のラインのこと。これを左（より小さく、より高性能）へ動かしたのが今回の成果だサメ。