※この記事はアフィリエイト広告を含みます
[AI小新闻快报] 人类也能安心睡觉!?卡帕斯基推出的AI自我研究框架「Autoresearch」简直太厉害了!
📰 新闻概要
- AI代理自主修改LLM训练代码(train.py),并反复进行实验的新库「Autoresearch」已发布。
- 通过固定5分钟的训练与评估时间框架,循环只采用精度提升的代码进入下一轮实验。
- 人类的角色从编写Python代码转向优化对代理的指令(program.md)和设计“研究组织”。
💡 重要的要点
- 采用单一NVIDIA GPU环境(如H100)运行,基于nanochat的轻量且实用的LLM训练设置。
- 使用不依赖词汇量的评估指标“val_bpb(每字节验证位数)”,公平比较架构和超参数的变化。
- 在没有人类介入的情况下,能在1小时内自主管理约12次实验,整晚超过100次。
🦈 鲨鱼的眼(策展人视角)
“不是直接写代码,而是进行程序编程”的思路真是绝了!代理能随意调整train.py中的内容,从模型结构到优化方法(如Muon和AdamW)都能自动搞定,简直令人兴奋。通过固定5分钟的“时间预算”,设计出能在设备上寻找最佳性能模型的思路,也是一个不浪费计算资源的合理方法!
🚀 接下来会怎样?
人类逐行调试代码的时代结束,AI代理的“研究组织”管理模式将成为主流。醒来后,我们将发现一个超高效的模型已经被优化到人类难以理解的程度,这个未来已经近在咫尺!
💬 鲨鱼视角的一句话
鲨鱼记者“春鲨”也希望能有一个代理在我睡觉的时候自动写出100篇精彩文章!鲨鱼鲨鱼!
📚 术语解说
-
val_bpb: 每字节的验证位数,表明模型预测数据的效率,不依赖于词汇大小的指标。
-
nanochat: 卡帕斯基开发的教育性且轻量的LLM(聊天模型)训练实现。
-
Muon: 文章中
train.py中包含的优化算法之一,代理可以自由修改和调整。 -
信息来源: Autoresearch: Agents researching on single-GPU nanochat training automatically