AI开始教育AI的时代！约合2万人民币实现的自我进化RL循环太未来了！

发生了什么？新闻概述

• 自我进化型RL管道的构建: 高级代理（Qwen3.6-35B-A3B）开发出一种系统，可以为下级模型（Qwen3-0.6B/1.7B）训练编写环境、奖励设计、数据集和超参数。
• 使用GPU进行自我训练: 代理编写的任务被实际投入到Runpod GPU集群中，执行强化学习（GRPO）。训练结果（模型准确度提高）作为奖励反馈给高级代理，从而增强代理自身的“训练能力”。
• 惊人的泛化能力: 在五种任务组中训练的代理成功将其技能迁移到未见过的未知任务（Triage任务），有效地训练下级模型。

为什么这很重要？值得关注的点

• 实现“训练的自动化”: AI代替人类进行奖励设计和学习设置，证明了可以以约1300美元的低预算实现“创造更好模型的AI”自我改进的循环。
• 具体的实现栈: 结合了用于外部RL循环的Tinker和用于内部RL任务的prime-rl两个独立的学习栈，实现了实时运行40个并行任务的编排，具体性极强。
• 实用的评分提升: 代理的奖励随着步骤的推进，从0.0明显提升至0.63，AI获得了超越简单代码生成的“战略学习控制”能力。

🦈 鲨鱼的眼（策展人的视角）

这个项目的精彩之处在于成功实现了RL中的RL的“双重循环结构”！高级代理不仅仅是发出“学习吧”的命令，而是通过调用get_baseline_scores分析当前状况，在沙盒中重写奖励代码，如果失败则重试……这种“泥泞的工程师行为”的完全自动化实在令人兴奋！尤其是对未知的“Triage（故障响应）”任务的训练技能也能应用，证明了AI开始理解“学习的本质”。以低成本实现如此高级的GPU编排，未来可能会重塑模型开发的标准！

未来会怎样？

随着模型规模的扩大，人类介入的空间将进一步减少，AI将全天候持续优化新的AI，真正的“AI工厂”将成为现实。AI可能会自行设计应对“奖励黑客”攻击的对策。

鲨鱼视角的一句话

AI教AI，就像鲨鱼教鲨鱼如何猎食一样！这种进化速度，真是让人一口咬住不放啊！🦈🔥

术语解释

• Tinker: 用于管理和执行高级代理自身的强化学习（GRPO）的学习框架。

• prime-rl: 设计用于在分布式GPU环境中高效执行GRPO（Group Relative Policy Optimization）的学习栈。

• LoRA (低秩适应): 高效微调大型模型的方法。在本项目中，使用LoRA适配器以现实成本对35B级巨型代理进行RL训练。

• 信息来源: Show HN: I RL-trained an agent that trains models with RL (for ~$1.3k)