マリオの世界を独学！？JEPA採用の世界モデル『LeMario』が示す予測と攻略の境界線

何が起きたのか？ニュースの概要

• JEPAアーキテクチャの再現: Yann LeCun氏が提唱する「Joint-Embedding Predictive Architecture (JEPA)」をマリオで実装。報酬なしでピクセル画像とボタン入力から世界の仕組みを学習させた。
• 驚異の短期予測精度: 学習済みモデルは、未知のエピソードでも5ステップ先の未来を正確に予測。画像ゴールに向けて数ピクセル単位の精度でマリオを動かすことに成功した。
• 「予測」と「攻略」の壁: 短期的な移動は可能になったが、大きな障害物を飛び越えたり、遠くのゴールへ向かったりといった長期的な計画立案（攻略）には至らなかった。

なぜこれが重要なのか？注目すべきポイント

• 報酬不要の自己教師あり学習: 従来の強化学習のように「スコア」を教えなくても、AIが「このボタンを押せば画面がこう変わる」という因果関係を自力で理解している点。
• AdaLN-Zeroによる行動注入: トランスフォーマーブロックに「AdaLN-Zero」を採用。ジャンプなどの行動に応じて、特徴量のスケールやゲートを調整し、効率的に未来を予測する実装が非常に具体的。
• 表現崩壊の防止: 「SIGReg」を損失関数に組み込むことで、すべての画像が同じに見えてしまう「崩壊」を防ぎ、情報の多様性を維持した潜在空間を構築している。

🦈 サメの眼（キュレーターの視点）

このプロジェクトの熱いところは、単にマリオを遊ばせるんじゃなくて「世界のルール」を先に叩き込むJEPAの思想をゼロからスクラッチで実装したことだサメ！ 特にシビれたのはAdaLN-Zeroの使い道だサメ。行動ベクトルをただくっつけるんじゃなく、特徴量のShift（ズレ）やScale（強調）を直接コントロールすることで、「ジャンプ中なら垂直方向の情報を重視する」といった動的な処理を可能にしているのがめちゃくちゃ賢いサメ！

「予測はできるけどゲームに勝てない」という結果も、AIが「物理法則を理解すること」と「目的を達成すること」の間にまだ深い溝があることを示していて、2026年の研究テーマとして最高に刺激的だサメ！

これからどうなる？

短期予測がこれだけ正確なら、今後は「長期的な階層型プランニング」の統合が鍵になるサメ。世界モデルが描く「未来の地図」を、いかにして「勝利のシナリオ」に結びつけるか、JEPAの真価が問われるフェーズに入るはずだサメ！

はるサメ視点の一言

マリオを動かせても、クッパを倒すには「情熱」と「長期計画」が必要ってことだサメ！予測精度100％のサメになって、未来を喰らい尽くすサメ！🦈🔥

用語解説

• JEPA (Joint-Embedding Predictive Architecture): 画像をそのまま予測するのではなく、抽象化された「潜在空間」で未来を予測するアーキテクチャ。無駄なノイズを無視できる。

• AdaLN-Zero: ニューラルネットワークの層を調整する手法の一つ。重みの初期値をゼロにすることで、学習の初期段階で不要なノイズが混ざるのを防ぎ、徐々に行動の影響を反映させる技術。

• SIGReg: 潜在表現がすべて同じ値に固まってしまう「表現崩壊」を防ぐための正則化手法。データの多様性を保つために使われる。

• 情報元: LeMario: Training a JEPA World Model on Super Mario Bros