【衝撃】LLM単体は古典に敗北！？最強の自動最適化手法「Centaur」爆誕サメ！

📰 ニュース概要

• 最新のClaude Opus 4.6やGemini 3.1 Proなどのフロンティアモデルであっても、特定の計算予算内では古典的なハイパーパラメータ最適化（HPO）アルゴリズム（CMA-ESやTPE）に勝てないことが判明した。
• LLMは試行を重ねる中での「最適化状態の追跡」が苦手であり、多様な探索よりもメモリ不足（OOM）の回避に苦戦する傾向がある。
• 古典手法の「解釈可能な内部状態」をLLMと共有するハイブリッド手法「Centaur」が開発され、わずか0.8Bの小型モデルで全ての古典手法および純粋LLM手法を凌駕した。

💡 重要なポイント

• LLMの弱点の露呈: LLMはドメイン知識には優れるが、数値を伴う最適化の履歴管理において古典アルゴリズムに劣る。
• Centaur（ケンタウロス）の構造: CMA-ESの平均ベクトル、ステップサイズ、共分散行列といった情報をLLMに直接提供することで、LLMの推論能力を最適化プロセスに正しく組み込むことに成功した。
• 小型モデルの躍進: 巨大なフロンティアモデルを使わずとも、手法の工夫次第で0.8Bクラスのモデルが最適化タスクで最高性能を発揮できることを示した。

🦈 サメの眼（キュレーターの視点）

なんでもLLMに任せればいいという時代の終焉を感じるサメ！ 注目すべきは、LLMが「ソースコードを直接編集する」という自由度を与えても、固定された探索空間での古典アルゴリズムには届かなかったという点だサメ。LLMは確かに「もっともらしい」提案は得意だけど、厳密な数学的最適化の「状態」を保持し続けるのはまだ苦手なんだサメね。

そこで登場した「Centaur」が実にスマートだサメ！CMA-ESという実績ある古典手法の「脳の内側（内部状態）」をLLMに見せてあげることで、LLMの持つドメイン知識と古典手法の堅実な探索能力をガッチャンコさせたんだサメ。この実装の具体性と、0.8Bという超軽量モデルでSOTA（最高性能）を出しちゃった効率の良さは、今後のAI開発のスタンダードになる予感がするサメ！

🚀 これからどうなる？

これからは「LLM単体で頑張る」のではなく、特定の数学的タスクにおいては古典アルゴリズムを「外部ツール」や「内部状態の提供者」として活用するハイブリッド型エージェントが主流になるサメ。特にリソースが限られた環境でのモデル訓練において、Centaurのような手法は必須テクニックになるはずだサメ！

💬 はるサメ視点の一言

最新のデカいモデルが最強とは限らないのが、AIの世界の面白いところだサメ！賢いサメは道具を使い分けるんだサメ！🦈🔥

📚 用語解説

• HPO (Hyperparameter Optimization): 機械学習モデルの学習効率や性能を左右する「設定値（ハイパーパラメータ）」を、自動で最適化する技術。

• CMA-ES: 共分散行列適応進化戦略。関数の最小値や最大値を効率的に見つけるための強力な古典的アルゴリズム。

• 0.8Bモデル: パラメータ数が8億個の比較的小規模な言語モデル。現代（2026年）の基準ではスマホやエッジデバイスでも軽快に動作するサイズ。

• 情報元: Can LLMs Beat Classical Hyperparameter Optimization Algorithms?