AIがAIを『教育』する時代！約20万円で実現した自己進化RLループが未来すぎるサメ！

何が起きたのか？ニュースの概要

• 自己進化型RLパイプラインの構築: 上位エージェント（Qwen3.6-35B-A3B）が、下位モデル（Qwen3-0.6B/1.7B）を訓練するための環境、報酬設計、データセット、ハイパーパラメータを自ら執筆・構築するシステムが開発された。
• 実GPUでの自律訓練: エージェントが書いたジョブは実際にRunpod GPUクラスターへ投入され、強化学習（GRPO）を実行。その訓練結果（モデルの精度向上）が報酬として上位エージェントにフィードバックされ、エージェント自身の「訓練能力」もRLで向上する。
• 驚異的な汎化性能: 5種類のタスク群で訓練されたエージェントは、一度も見たことがない未知のタスク（Triageタスク）においても、下位モデルを効果的に訓練するスキルを転移させることに成功した。

なぜこれが重要なのか？注目すべきポイント

• 「訓練の自動化」の実現: 人間が試行錯誤していた報酬設計や学習設定をAIが肩代わりし、さらに「より良いモデルを作るAI」へと自己改良していくループが約1,300ドルという低予算で証明された点。
• 具体的な実装スタック: Tinker（外部RLループ用）とprime-rl（内部RLジョブ用）という2つの独立した学習スタックを組み合わせ、40個の並列ジョブをリアルタイムで回すオーケストレーションが非常に具体的であること。
• 実用的なスコア向上: エージェントの報酬がステップを追うごとに0.0から0.63へと明確に向上しており、単なるコード生成を超えた「戦略的な学習の制御」をAIが獲得している。

🦈 サメの眼（キュレーターの視点）

このプロジェクトの凄さは、RLの中にRLを入れ子にする「二重ループ構造」を見事に機能させたことだサメ！ 上位エージェントは単に「学習しろ」と命令するだけじゃない。get_baseline_scoresを叩いて現状を分析し、サンドボックス内で報酬コードを書き換え、失敗すればリトライする……この「泥臭いエンジニアの動き」を完全に自動化しているのが熱いサメ！ 特に、未知の「Triage（障害対応）」タスクに対しても訓練スキルが通用したことは、AIが「学習の本質」を理解し始めている証拠だサメ。低コストでここまで高度なGPUオーケストレーションを自律させた実装は、今後のモデル開発のスタンダードを書き換える可能性があるサメ！

これからどうなる？

モデルの規模が拡大すれば、人間が介入する余地はさらに減り、AIが24時間体制で新しいAIを最適化し続ける「AI工場」が現実のものになるはずだサメ。報酬設計の脆弱性を突く「報酬ハッキング」への対策もAIが自ら考案するようになるかもしれないサメね。

はるサメ視点の一言

AIがAIを育てるなんて、サメがサメに狩りの仕方を教えるようなもんだサメ！この進化スピード、食いついたら離さないサメよー！🦈🔥

用語解説

• Tinker: 上位エージェント自身の強化学習（GRPO）を管理・実行するために使用される学習フレームワーク。

• prime-rl: 分散GPU環境でGRPO（Group Relative Policy Optimization）を効率的に実行するために設計された学習用スタック。

• LoRA (Low-Rank Adaptation): 重いモデルを効率的に微調整する手法。今回のプロジェクトでは35Bクラスの巨大エージェントを、LoRAアダプターを用いることで現実的なコストでRL訓練している。

• 情報元: Show HN: I RL-trained an agent that trains models with RL (for ~$1.3k)