Apple Siliconの限界突破！CoreML比4.76倍速のANE直叩き推論フレームワーク「Espresso」登場

何が起きたのか？ニュースの概要

• CoreMLをバイパスする新技術: Apple SiliconのNeural Engine (ANE) を、CoreMLを介さずにプライベートAPI経由で直接制御するフレームワーク「Espresso」が登場しました。
• 驚異の4.76倍速: 従来のCoreML経由の推論と比較して約4.76倍（1.08 ms/token）の高速なデコードを実現しています。
• 推論だけでなく学習も可能: ANE上でフォワードパスだけでなくバックワードパス（勾配蓄積、Adam最適化）を含むフル・トレーニングをサポートしています。

なぜこれが重要なのか？注目すべきポイント

• プライベートAPIの解析成功: _ANEClientや_ANEInMemoryModelといった内部APIをリバースエンジニアリングし、直接MIL（Model Intermediate Language）プログラムをコンパイルして実行しています。
• ゼロコピーI/Oの実装: IOSurfaceバッファを活用し、NEONベクトル化された読み取りを行うことで、メモリ転送のオーバーヘッドを徹底的に排除しています。
• Swift 6.2による最新設計: ~Copyable（ムーブ専用）テンソルや厳格な並行性チェックなど、2026年現在の最新仕様で構築されており、依存関係ゼロで動作します。

🦈 サメの眼（キュレーターの視点）

ついにApple Siliconの「真の封印」が解かれたサメ！これまでMacでAIを動かすにはCoreMLかMetalが定石だったけど、EspressoはANEというブラックボックスを直接叩きにいったのが凄まじいサメ！

特に、3層のカーネルを1つに融合（Fused Kernels）してANEへの命令回数を減らす設計は、ハードウェアの特性を理解しきった職人技だサメ。CoreMLでは避けて通れない「トークンごとの再コンパイル」や「重い変換処理」を完全にスキップしているから、これだけの速度差が出るんだサメ。M4 Maxなら38コアのANEをフル活用して、もはやローカルLLMとは思えないレスポンスが期待できるサメ！

これからどうなる？

これまで「ANEはCoreML経由でしか使えない」という制約がありましたが、Espressoがその壁を壊したことで、より低レイヤーで最適化されたApple Silicon専用モデルが続々と登場するはずです。特にモバイルデバイスやMac miniでのエッジAI学習が現実的になり、Appleのエコシステム全体でAIの実行効率が次のステージへ進むサメ！

はるサメ視点の一言

Apple Siliconの底力はこんなもんじゃなかったサメ！ANEを直接飼い慣らすEspressoで、君のMacを最強のAIマシンに変身させるサメ！サメサメ！🦈🔥

用語解説

• ANE (Apple Neural Engine): Apple Siliconに搭載されたAI処理専用のハードウェア。非常に強力だが、通常は開発者が直接制御することは難しい。

• MIL (Model Intermediate Language): Appleの機械学習モデルを表現するための中間言語。Espressoはこれを直接ANE用バイナリにコンパイルする。

• IOSurface: 異なるハードウェア間（CPU、GPU、ANEなど）で、データのコピーを発生させずに高速にメモリを共有するためのフレームワーク。

• 情報元: Train and run transformers directly on Apple’s Neural Engine