PAN 2开放用于动作模拟的世界模型,但可复现性存在重要限制

English

由MBZUAI设立的基础模型研究所(IFM)发布PAN 2,以视频形式模拟文本所述动作的后果。公开代码与权重扩大了访问范围,但该仓库未包含部分训练阶段,而且一个看似合理的模拟结果并不等同于经过验证的物理预测。

AI生成的概念插图:厨房中某个动作的可能结果,让人联想到世界模型模拟。

在智能体采取行动之前,它需要某种方式来比较接下来可能发生什么。生成的视频可以让拟议动作更容易被检查,但其视觉上的自信也可能掩盖错误的预测。这种张力正是开放世界模型实用价值的核心。

由阿联酋穆罕默德·本·扎耶德人工智能大学设立的基础模型研究所(Institute of Foundation Models,IFM)发布了PAN 2,以视频形式模拟动作结果。IFM自己的新闻稿日期为11月10日,地点为加利福尼亚州桑尼维尔;该大学于11月11日发布了公告。这是本周早些时候的一次发布,而非11月13日的新发布。[P1][P2]

公开仓库描述了可选的图像与文本观测,以及由文本描述的动作生成最长20秒的视频。其架构将一个随时间描述事件的语言模型与一个约290亿参数的扩散主干相结合,后者负责渲染所预测的变化。目标是让智能体通过模拟比较候选动作。[P3]

对研究人员而言,这构成了一个具体的检验:借助模拟器选择动作,是否会比不借助它选择带来更好的真实结果?该检验需要可测量的后果和基线。一段引人注目的厨房任务视频,不能证明不熟悉的机器人、表面或物体会以相同方式表现。

此次发布依据Apache 2.0提供PAN 2代码和权重,第三方组件适用单独条款。公告中关于广泛开放的表述有一个重要限定:该仓库称其训练代码涵盖预训练和监督微调,而奖励学习以及用于生成已发布权重的模型汤(model-soup)流程则在技术报告中描述,并未包含在该代码中。[P1][P3]

这些代表着不同层级的可复现性。使用已发布权重测试一个提示词是一回事;从完整训练流程重建最终发布的模型则是另一回事。评估此次发布的读者应清楚保留这一区别,而不是把开放仓库视为每个阶段都能重新运行的证明。

MBZUAI承认,在长时间内保持世界一致性仍是一项未解决的挑战。其性能比较是开发者报告的结果;AIYXL尚未运行该模型,也未独立复现这些评估。已确认的进展是公开研究发布及其有文档记录的范围,而不是对生产就绪的自主控制的演示。[P2][P3]

因此,PAN 2的意义在于为研究动作模拟提供了更广泛的机会。有用的后续工作将记录模拟结果在何处与观测结果出现偏差、误差是否会跨步骤累积,以及规划器应在何时拒绝信任某项预测。开放模型可以让这些问题更容易研究,但并不会预先解决它们。

来源:

  1. [P1] IFM新闻稿 | 2026年11月10日

  2. [P2] MBZUAI公告 | 2026年11月11日

  3. [P3] IFM PAN2公开仓库 | 检查于2026年11月13日