在人工智能领域，一个能够实时生成并维持一个持久、逼真3D世界的模型，长久以来被视为通往通用人工智能和下一代人机交互的关键一步。当地时间10月16日，由“AI教母”李飞飞领衔的World Labs团队宣布推出其最新成果——RTFM（Real-Time Frame Model），这一突破性技术成功地将这一愿景拉近了现实。
RTFM的核心成就在于其惊人的效率与能力。该模型能够在单个NVIDIA H100 GPU上实现交互式帧率的实时推理，这意味着复杂的3D世界生成不再需要庞大的计算集群，而是可以在相对普及的硬件上流畅运行。这一技术里程碑，为该技术的广泛应用铺平了道路。
与传统的3D生成模型不同，RTFM并非通过构建显式的3D几何结构（如点云或网格）来工作。相反，它采用了一种端到端的学习方式，直接从大规模视频数据中学习，并能够仅凭一张或多张2D图像作为输入，实时生成该场景在任意新视角下的逼真2D图像流，从而创造出沉浸式的3D体验。这种设计使其能够自然地捕捉并渲染出反射、阴影、镜面高光和光晕等复杂的物理光学效果，其逼真度堪比现代游戏引擎。
RTFM的另一大革命性突破是其“持久性”（Persistence）。模型引入了空间记忆机制，确保了生成的虚拟世界具备长期连续性。用户可以在其中进行无限时长的交互和探索，无论视角如何变化或进行何种操作，场景中的几何结构、物体位置和外观都能保持高度一致，不会出现闪烁、漂移或消失的现象，真正实现了“可持续存在”的AI世界。
业内专家普遍认为，RTFM的问世标志着AI“世界模型”（World Model）的发展迈出了关键一步。它将实时性、3D一致性和持久性三大核心原则融为一体，不仅为虚拟现实（VR）、增强现实（AR）和下一代游戏引擎提供了强大的新基础设施，也为机器人领域的具身智能（Embodied AI）研究开辟了新路径——机器人可以在这样的AI世界中进行无限次、高保真的模拟训练。
目前，该模型已推出beta预览版本，通过World Labs全新推出的Marble平台，可以立即体验和构建3D世界。
RTFM的发布不仅是李飞飞团队的一次技术展示，更是整个AI行业向构建可交互、可持久、高保真数字世界迈出的坚实一步。随着这项技术的成熟与普及，我们与数字世界的交互方式或将迎来根本性的变革。
参考链接：
https://www.worldlabs.ai/blog/bigger-better-worlds
https://marble.worldlabs.ai/world/eaea4512-4a78-4468-b818-1097c0778c77