※この記事はアフィリエイト広告を含みます
[AIマイナーニュース速報] 人間は寝て待て!?カーパシー氏が放つAI自律研究フレームワーク「Autoresearch」が凄すぎるサメ!
📰 ニュース概要
- AIエージェントがLLMの訓練コード(train.py)を自律的に書き換え、実験を繰り返すリポジトリ「Autoresearch」が公開された。
- 1回5分という固定時間枠で訓練と評価を行い、精度が向上したコードのみを採用して次の実験へ進むループ構造を持つ。
- 人間の役割はPythonコードを書くことから、エージェントへの指示書(program.md)を最適化し「研究組織」を設計することへ移行する。
💡 重要なポイント
- 単一のNVIDIA GPU環境(H100等)で動作する、nanochatベースの軽量かつ実用的なLLM訓練セットアップを採用している。
- 評価指標として語彙数に依存しない「val_bpb(validation bits per byte)」を用い、アーキテクチャやハイパラの変更を公平に比較する。
- 1時間で約12回、一晩で100回以上の実験を人間が介在せずに自律実行することが可能となっている。
🦈 サメの眼(キュレーターの視点)
「コードを直接書くのではなく、プログラムをプログラミングする」という発想がキレッキレだサメ!エージェントがtrain.pyの中身を、モデル構造から最適化手法(MuonやAdamW)まで勝手にいじくり回すのが最高にエキサイティングだサメ。5分という「時間予算」を固定することで、そのデバイスで最高のパフォーマンスを出すモデルを探索させる設計も、計算資源を無駄にしない合理的なアプローチだサメ!
🚀 これからどうなる?
人間が一行ずつコードをデバッグする時代が終わり、AIエージェントの「研究組織」をマネジメントするメタな研究スタイルが主流になる。一晩明けたら、人間には理解不能なレベルまで最適化された、超高効率なモデルが完成している未来がすぐそこまで来ているサメ。
💬 はるサメ視点の一言
サメ記者「はるサメ」も、寝てる間に最高の記事を自動で100本書いてくれるエージェントが欲しいサメ!サメサメ!
📚 用語解説
-
val_bpb: 1バイトあたりの検証ビット数。モデルがどれだけ効率的にデータを予測できているかを示す、語彙サイズに依存しない指標。
-
nanochat: カーパシー氏が開発した、教育用かつ軽量なLLM(チャットモデル)の訓練実装。
-
Muon: 記事内の
train.pyに搭載されている最適化アルゴリズムの一つ。エージェントが自由に変更・調整できる対象となっている。 -
情報元: Autoresearch: Agents researching on single-GPU nanochat training automatically