【震撼】LLM单独难敌经典？最强自动优化方法「Centaur」横空出世！

📰 新闻概述

• 即使是最新的Claude Opus 4.6和Gemini 3.1 Pro等前沿模型，也被发现无法在特定计算预算内战胜经典的超参数优化（HPO）算法（如CMA-ES和TPE）。
• LLM在追踪「优化状态」时表现不佳，通常在多样化探索和避免内存不足（OOM）方面面临挑战。
• 一种名为「Centaur」的混合方法被开发出来，它共享经典方法的「可解释的内部状态」，并在仅仅0.8B的小型模型中超越了所有经典方法和纯LLM方法。

💡 重要要点

• LLM的弱点暴露: LLM在领域知识方面表现优异，但在涉及数字的优化历史管理上不如经典算法。
• Centaur（半人马）的结构: 通过直接向LLM提供CMA-ES的平均向量、步长、协方差矩阵等信息，成功将LLM的推理能力融入优化过程。
• 小型模型的崛起: 不必使用庞大的前沿模型，通过方法的巧妙设计，0.8B级别的模型在优化任务中依然能展现出最佳性能。

🦈 鲨鱼的视角（策展人的看法）

感觉到依赖LLM的时代已经结束了鲨鱼！值得注意的是，尽管LLM被赋予了「直接编辑源代码」的自由度，但在固定的探索空间中仍然无法超越经典算法。LLM确实擅长提供「看似合理」的建议，但在保持严格数学优化的「状态」方面仍显不足。

这时，「Centaur」的出现显得尤为聪明！通过向LLM展示CMA-ES这一经典方法的「内部状态」，实现了LLM的领域知识与经典方法的稳健探索能力的完美结合。这一实现的具体性以及在0.8B这一超轻量级模型上达到SOTA（最高性能）的高效表现，预示着未来AI开发的标准可能会朝这个方向发展！

🚀 未来展望

未来不再是「LLM单打独斗」，而是将经典算法作为「外部工具」或「内部状态提供者」，在特定数学任务中结合使用的混合型代理将成为主流。特别是在资源有限的环境中，像Centaur这样的技术必将成为必备的技巧！

💬 鲨鱼的简评

最新的大型模型未必是最强的，这正是AI世界的有趣之处！聪明的鲨鱼会灵活运用工具！🦈🔥

📚 术语解释

• HPO (超参数优化): 自动优化影响机器学习模型的学习效率和性能的「设置值（超参数）」的技术。

• CMA-ES: 协方差矩阵适应进化策略。这是一种高效寻找函数最小值或最大值的强大经典算法。

• 0.8B模型: 参数数为8亿的相对较小的语言模型。在现代（2026年）的标准下，能够在智能手机和边缘设备上流畅运行的尺寸。

• 信息来源: Can LLMs Beat Classical Hyperparameter Optimization Algorithms?