在Mac上快速本地运行Google的Gemma 4！LM Studio的新CLI简直太神奇了

📰 新闻概况

• Google最新的AI「Gemma 4 26B-A4B」通过混合专家（MoE）架构，展示了在低资源下与400B级模型相媲美的性能。
• 人气应用LM Studio更新至0.4.0版本，推出了无需GUI的「无头CLI（lms）」，支持直接从服务器或终端操作。
• 报告显示，搭载M4 Pro芯片的MacBook Pro能够以每秒51个token的速度本地运行26B模型。

💡 重要点

• MoE的威力: 拥有26B参数的同时，仅激活每个token所需的4B（8个专家），大幅降低推理成本。在MMLU Pro中记录了82.6%的高基准分数。
• 新引擎「llmster」: LM Studio的核心作为独立的守护进程（后台服务）运行，增加了并行请求处理和模型上下文协议（MCP）的支持。
• 隐私与成本: 由于不使用外部API，通信延迟为零，并且能有效防止数据外泄，从而构建出完全离线的环境。

🦈 鲨鱼视角（策展人的看法）

这条新闻的关键在于，Google高效的模型「Gemma 4」与LM Studio作为「开发者工具」的进化产生了良好的协同效应！尤其是26B-A4B模型的平衡设计极为出色。通过MoE技术实现了「轻量级4B模型」与「智能10B模型」的完美结合，堪称突破性进展。利用M4 Mac的统一内存，您可以通过一个命令召唤这个怪物，而无需启动桌面应用。它从架构和工具两个方面彻底解决了本地LLM的「沉重与缓慢」问题，真是太酷了！🦈🔥

🚀 未来趋势

随着无需GUI的无头CLI的普及，不仅个人的本地PC，企业内部服务器和CI/CD管道的AI集成将加速。同时，随着MoE模型效率的验证，具备更大知识基础的「轻量高效AI」将在您的设备上流畅运行，成为主流。

💬 鲨鱼的看法

终于，鲨鱼的Mac也获得了「思考的肌肉」！无需担心API费用，命令行时代的AI对话即将来临！鲨鱼鲨鱼！🦈✨

📚 术语解释

• MoE（混合专家）: 将多个「专家」模型结合，仅在处理时激活部分，从而以高速度运行庞大的模型。

• 无头（Headless）: 无需图形用户界面，通过命令行或网络操作的系统形式，轻便且适合自动化。

• Token（符号）: AI处理文本时的最小单位。每秒51个token的速度远超人类阅读速度，简直是爆速！

• 信息来源: 在LM Studio的新无头CLI和Claude Code上本地运行Gemma 4