驯服你Mac内置AI！免费的无限制本地LLM工具“apfel”太酷了！

📰 新闻概述

• 释放Apple Silicon Mac中的LLM: 一个开源工具使你能够直接利用macOS 26 (Tahoe)及之后版本中内置的“SystemLanguageModel”，无需通过Siri。
• 提供三种使用方式: 通过UNIX命令行工具（CLI）、兼容OpenAI的HTTP服务器以及互动聊天三种方式来操作AI。
• 完全免费且100%本地执行: 无需API密钥或订阅。所有推理都在Mac内部的Neural Engine和GPU上完成，因此数据不会外泄。

💡 重要要点

• 可直接使用OpenAI SDK: 启动本地服务器后，只需更改现有OpenAI代码的基本URL，即可调用Mac内置AI。
• 基于UNIX哲学的设计: 支持标准输入（stdin）和标准输出（stdout），可以与jq、xargs等命令结合，在Shell脚本中自动化AI操作。
• 约30亿参数的模型: 使用支撑Apple Intelligence的约30亿参数的模型，拥有4,096个token的上下文窗口，支持英语、德语、日语等多种语言。

🦈 鲨鱼的视角（策展人的观点）

苹果公司将系统内置的LLM严格限制为“Siri专用”，通过Swift 6.3的二进制文件巧妙地将其引出，真是太酷了！尤其是将本来需要应用开发者用Swift编写的FoundationModels框架，经过brew install一条命令就能从CLI中使用的实现，简直是绝妙设计。为了上下文管理，配备了五种修剪策略，并将OpenAI的工具调用架构转换为Apple原生格式，这种细致入微的设计真是让人惊叹！

🚀 未来展望

在Mac用户中，“完全免费的本地AI代理”的开发将激增，不再需要担心API成本。尤其是在与Shell脚本结合的自动化任务，以及处理机密信息的本地环境中的文档摘要等应用，将会变得更加普及。

💬 鲨鱼的短评

我们的Mac里，自始至终就住着一位强大的伙伴！是时候用apfel打破那道牢笼，让AI释放到野外了！鲨鱼鲨鱼！🦈🔥

📚 术语解说

• Apple Silicon: 苹果设计的SoC，指M1/M2/M3/M4芯片等，配备了加速AI处理的Neural Engine。

• Neural Engine: 专门用于AI（机器学习）处理的处理器，能够在降低功耗的同时快速执行推理。

• 兼容OpenAI的服务器: 以与OpenAI API相同的格式接收请求的服务器，便于直接利用现有工具和库。

• 信息来源: Apfel – 你Mac上已有的免费AI