AI生成的概念插图:厨房中某个动作的可能结果,让人联想到世界模型模拟。
在智能体采取行动之前,它需要某种方式来比较接下来可能发生什么。生成的视频可以让拟议动作更容易被检查,但其视觉上的自信也可能掩盖错误的预测。这种张力正是开放世界模型实用价值的核心。
由阿联酋穆罕默德·本·扎耶德人工智能大学设立的基础模型研究所(Institute of Foundation Models,IFM)发布了PAN 2,以视频形式模拟动作结果。IFM自己的新闻稿日期为11月10日,地点为加利福尼亚州桑尼维尔;该大学于11月11日发布了公告。这是本周早些时候的一次发布,而非11月13日的新发布。[P1][P2]
公开仓库描述了可选的图像与文本观测,以及由文本描述的动作生成最长20秒的视频。其架构将一个随时间描述事件的语言模型与一个约290亿参数的扩散主干相结合,后者负责渲染所预测的变化。目标是让智能体通过模拟比较候选动作。[P3]
对研究人员而言,这构成了一个具体的检验:借助模拟器选择动作,是否会比不借助它选择带来更好的真实结果?该检验需要可测量的后果和基线。一段引人注目的厨房任务视频,不能证明不熟悉的机器人、表面或物体会以相同方式表现。
此次发布依据Apache 2.0提供PAN 2代码和权重,第三方组件适用单独条款。公告中关于广泛开放的表述有一个重要限定:该仓库称其训练代码涵盖预训练和监督微调,而奖励学习以及用于生成已发布权重的模型汤(model-soup)流程则在技术报告中描述,并未包含在该代码中。[P1][P3]
这些代表着不同层级的可复现性。使用已发布权重测试一个提示词是一回事;从完整训练流程重建最终发布的模型则是另一回事。评估此次发布的读者应清楚保留这一区别,而不是把开放仓库视为每个阶段都能重新运行的证明。
MBZUAI承认,在长时间内保持世界一致性仍是一项未解决的挑战。其性能比较是开发者报告的结果;AIYXL尚未运行该模型,也未独立复现这些评估。已确认的进展是公开研究发布及其有文档记录的范围,而不是对生产就绪的自主控制的演示。[P2][P3]
因此,PAN 2的意义在于为研究动作模拟提供了更广泛的机会。有用的后续工作将记录模拟结果在何处与观测结果出现偏差、误差是否会跨步骤累积,以及规划器应在何时拒绝信任某项预测。开放模型可以让这些问题更容易研究,但并不会预先解决它们。
来源:
