突破Apple Silicon的极限！推出CoreML速度的4.76倍的ANE直接推理框架“Espresso”

发生了什么？新闻概述

• 新技术绕过CoreML: 一种新的框架“Espresso”问世，能够通过私有API直接控制Apple Silicon的神经引擎（ANE），无需经过CoreML。
• 惊人的4.76倍速度: 与传统的CoreML推理相比，实现了约4.76倍的高速解码（1.08 ms/token）。
• 不仅仅是推理，还支持学习: 此框架不仅支持ANE上的前向传播，还支持包括反向传播（梯度积累、Adam优化）在内的完整训练。

为什么这很重要？值得关注的要点

• 成功解析私有API: 通过逆向工程解析了诸如_ANEClient和_ANEInMemoryModel等内部API，能够直接编译并执行MIL（Model Intermediate Language）程序。
• 实现零拷贝I/O: 利用IOSurface缓冲区，进行NEON向量化读取，彻底消除内存传输的开销。
• 基于Swift 6.2的最新设计: 构建于2026年最新规范，使用~Copyable（仅限移动）张量和严格的并发检查，且零依赖运行。

🦈 鲨鱼之眼（策展人的视角）

终于解开了Apple Silicon的“真正封印”！过去在Mac上运行AI通常需要CoreML或Metal，但Espresso直接对ANE这个黑箱发起了攻击，真是令人惊叹！

特别是将三层内核融合成一个（Fused Kernels）的设计，减少了对ANE指令的调用次数，展现了对硬件特性的深刻理解。CoreML无法避免的“每个token的重新编译”和“繁重的转换处理”都被完全跳过，因此才会有如此巨大的速度差异。使用M4 Max时，38核的ANE将得到充分利用，期待能实现超越本地LLM的响应速度！

接下来会怎样？

此前“ANE只能通过CoreML使用”的限制被打破，Espresso的问世将催生更多针对Apple Silicon的低层优化模型。尤其是在移动设备和Mac mini上，边缘AI学习将变得更加现实，Apple整个生态系统中的AI执行效率将进入一个新阶段！

鲨鱼视角的一句话

Apple Silicon的潜力远不止于此！通过Espresso直接驯服ANE，让你的Mac变身为最强AI机器！鲨鱼鲨鱼！🦈🔥

术语解释

• ANE (Apple Neural Engine): 集成在Apple Silicon中的专用AI处理硬件。虽然非常强大，但开发者通常难以直接控制。

• MIL (Model Intermediate Language): 用于表示Apple机器学习模型的中间语言。Espresso将其直接编译为ANE用的二进制文件。

• IOSurface: 一个框架，用于在不同硬件之间（CPU、GPU、ANE等）高速共享内存，而不会产生数据拷贝。

• 信息来源: Train and run transformers directly on Apple’s Neural Engine