近日，字节跳动旗下PICO-MR团队宣布正式开源EX-4D框架，这一突破性技术能够将普通单目(单一视角)视频转换为高质量的多视角4D视频序列(3D空间+时间维度)，为视频生成领域树立了新的技术标杆。这一创新不仅大幅降低了多视角内容创作的门槛，更为构建"世界模型"和沉浸式3D体验提供了关键技术支持，被认为是通向真实世界数字模拟的重要一步。
技术突破：从单一视角到全方位自由探索
传统多视角视频生成技术长期面临两大核心难题：一方面依赖昂贵且复杂的多摄像头阵列和专门数据集进行训练；另一方面在处理遮挡区域时表现不佳，导致生成视频在极端视角下出现物体穿透、细节失真等违和现象。EX-4D通过两项关键技术突破成功攻克了这些行业痛点：
深度密闭网格(DW-Mesh)表示法 作为EX-4D的核心创新，彻底改变了场景表示方式。不同于传统点云技术，DW-Mesh构建了一个全封闭的网格结构，能够同时记录场景中的可见表面和隐藏表面，无需多视角监督即可完整处理复杂场景拓扑关系。系统利用先进的预训练深度预测模型，将单帧视频中的像素精确投影到3D空间形成网格顶点，再基于几何关系智能标记遮挡区域。这种创新表示法确保了即使在大角度极端视角(如±90°)下，生成的视频仍能保持物理合理性和细节完整性。
双模拟掩码生成策略 则创造性解决了多视角训练数据匮乏的问题。EX-4D提出了"渲染掩码"和"跟踪掩码"两种策略：前者通过DW-Mesh模拟视角移动时的物体遮挡关系；后者则利用Cotracker3模型跟踪关键点，确保帧间可见区域的一致性。这两种策略使系统仅凭单目视频就能"想象"出全视角数据，大幅降低了数据采集成本，为世界模型的训练破解了数据困局。
性能表现：全方位领先行业标准
在包含150个网络视频的标准测试集上，EX-4D在FID(弗雷谢特起始距离)、FVD(弗雷谢特视频距离)和VBench等关键指标上全面超越了现有开源方法。特别值得注意的是，随着视角变化幅度的增大(特别是接近90°的极端视角)，EX-4D的性能优势更加显著，生成的视频展现出更真实的细节处理和遮挡逻辑。
在50名志愿者参与的主观评测中，70.7%的参与者认为EX-4D在极端视角下的物理一致性表现"断层领先"于其他方法。当传统方法在剧烈视角变化中出现物体穿帮、遮挡错乱等问题时，EX-4D仍能精准保持物体细节的高度一致性，展现出强大的场景理解与重建能力。
技术架构与开源生态
EX-4D基于预训练的WAN-2.1模型，采用LoRA-based Adapter的轻量级架构设计，在保持计算效率的同时，巧妙融入了DW-Mesh提供的几何先验信息，确保了生成视频的几何一致性和帧间连贯性。这种设计使得EX-4D即使在计算资源有限的环境下也能高效运行，适用于广泛的开发场景。
字节跳动已全面开源EX-4D框架，相关代码、模型权重和技术文档均已发布在GitHub平台，向全球开发者免费开放。这一举措不仅体现了字节跳动对开源社区的贡献，也为沉浸式3D电影、虚拟现实(VR)、增强现实(AR)等领域的创新应用奠定了基础。
应用前景与行业影响
EX-4D的发布被视为构建"世界模型"进程中的重要突破。与传统单向视频生成模型不同，EX-4D赋予用户自由探索视频内容的能力，犹如在"平行宇宙"中切换观察视角。这一特性为以下领域带来了革命性可能：
1. 影视娱乐行业：低成本将传统2D影视内容转化为沉浸式3D体验，观众可自由选择观看角度
2. 虚拟现实应用：大幅简化VR内容制作流程，提升场景真实感和交互自由度
3. 数字孪生领域：为物理世界构建高保真数字副本，支持多角度分析与模拟
4. 自动驾驶训练：生成多视角街景视频，丰富自动驾驶系统的训练数据
业内专家指出，EX-4D代表了相机可控视频生成技术的最新进展，使视频生成模型从单向的"世界模拟器"进化为可自由探索的"平行宇宙"，为下一代沉浸式体验奠定了关键技术基础。随着技术的进一步优化和生态的完善，EX-4D有望开启视频内容创作与消费的新纪元。
链接：
https://github.com/tau-yihouxiang/EX-4D