自学马里奥的世界！？采用JEPA的世界模型『LeMario』展示预测与攻略的界限

发生了什么？新闻概述

• JEPA架构的实现: 采用Yann LeCun提出的“联合嵌入预测架构（JEPA）”，在马里奥中实现。通过无奖励的方式，从像素图像和按钮输入中学习世界的运作机制。
• 惊人的短期预测精度: 经过学习的模型，即使在未知的情境下也能准确预测5步之后的未来。成功以数像素的精度控制马里奥朝着目标移动。
• “预测”与“攻略”的鸿沟: 虽然短期移动已成为可能，但在跳跃大障碍物或制定前往遥远目标的长期计划（攻略）方面仍然存在不足。

为什么这很重要？值得关注的要点

• 无需奖励的自监督学习: 与传统强化学习不同，该AI不需要教导“得分”，而是自我理解“按下这个按钮后画面会如何变化”的因果关系。
• AdaLN-Zero的行为注入: 在变换器模块中采用“AdaLN-Zero”。根据行为（如跳跃）调整特征的规模和门控，以高效地预测未来，这种实现非常具体。
• 防止表达崩溃: 通过将“SIGReg”整合到损失函数中，防止所有图像看起来相同的“崩溃”，并构建了一个保持信息多样性的潜在空间。

🦈 鲨鱼的视角（策展人的观点）

这个项目的精彩之处在于，它不仅仅是让马里奥玩耍，而是从零开始实现了JEPA思想，深入理解“世界的规则”！尤其让我印象深刻的是AdaLN-Zero的妙用。它并不是简单地将动作向量拼接在一起，而是直接控制特征的Shift（偏移）和Scale（强调），使得在“跳跃时优先关注垂直信息”的动态处理成为可能，真是聪明透顶！

“可以预测但无法赢得游戏”的结果表明，AI在“理解物理法则”和“实现目标”之间仍存在深刻的鸿沟，这使得2026年的研究主题极具挑战性！

接下来将如何发展？

如果短期预测如此准确，那么接下来的关键将是“长期层次规划”的整合。如何将世界模型描绘的“未来地图”与“胜利场景”结合起来，将是检验JEPA真正价值的阶段！

鲨鱼视角的一句话

即使能操控马里奥，打败库巴也需要“热情”和“长期计划”！变成预测精度100%的鲨鱼，尽情吞噬未来吧！🦈🔥

术语解释

• JEPA (Joint-Embedding Predictive Architecture): 一种通过在抽象的“潜在空间”中预测未来，而不是直接预测图像的架构。能够忽略多余的噪声。

• AdaLN-Zero: 一种调整神经网络层的方法。通过将权重初始值设为零，防止学习初期混入不必要的噪声，逐步反映行为的影响。

• SIGReg: 一种正则化方法，用于防止潜在表示全部固定为相同值的“表达崩溃”。用于保持数据的多样性。

• 信息来源: LeMario: Training a JEPA World Model on Super Mario Bros