Nvidia 发布了 Cosmos-Transfer1，这是一种创新的 AI 模型，使开发人员能够为训练机器人和自动驾驶汽车创建高度逼真的模拟。该模型现已在 Hugging Face 上推出，解决了物理 AI 开发中的一个持续挑战：弥合模拟训练环境和真实世界应用程序之间的差距。
“我们引入了 Cosmos-Transfer1，这是一种有条件的世界生成模型，可以根据各种模式（如分割、深度和边缘）的多个空间控制输入生成世界模拟，”Nvidia 研究人员在与发布一起发表的一篇论文中表示。“这实现了高度可控的世界生成，并可用于各种世界到世界的传输用例，包括 Sim2Real。”
与以前的仿真模型不同，Cosmos-Transfer1 引入了自适应多模态控制系统，允许开发人员在场景的不同部分以不同的方式加权不同的视觉输入，例如深度信息或对象边界。这一突破实现了对生成环境的更细致的控制，显著提高了它们的真实感和实用性。
自适应多模态控制如何改变 AI 仿真技术
训练物理 AI 系统的传统方法要么涉及收集大量真实世界的数据（这是一个昂贵且耗时的过程），要么使用通常缺乏现实世界复杂性和可变性的模拟环境。
Cosmos-Transfer1 通过允许开发人员使用多模态输入（如模糊视觉效果、边缘检测、深度图和分割）来生成逼真的模拟，从而在添加自然变化的同时保留原始场景的关键方面，从而解决了这一难题。
“在设计中，空间条件方案是自适应和可定制的，”研究人员解释说。“它允许在不同的空间位置对不同的条件输入进行不同的加权。”
事实证明，此功能在机器人技术中特别有价值，因为开发人员可能希望保持对机械臂外观和移动方式的精确控制，同时在生成不同的背景环境时允许更多的创作自由。对于自动驾驶汽车，它可以在改变天气条件、照明或城市环境的同时保留道路布局和交通模式。
可以改变机器人技术和自动驾驶的物理 AI 应用程序
该项目的核心贡献者之一 Ming-Yu Liu 博士解释了为什么这项技术对行业应用很重要。
“策略模型指导物理 AI 系统的行为，确保系统安全运行并符合其目标，”Liu 和他的同事在论文中指出。“Cosmos-Transfer1 可以后训练到策略模型中以生成作，从而节省手动策略训练的成本、时间和数据需求。”
该技术已经在机器人仿真测试中证明了其价值。在使用 Cosmos-Transfer1 增强模拟机器人数据时，Nvidia 研究人员发现，该模型通过“添加更多场景细节、复杂的阴影和自然照明”，同时保留机器人运动的物理动力学，显著提高了照片级真实感。
对于自动驾驶汽车开发，该模型使开发人员能够“最大限度地利用现实世界的边缘案例”，帮助车辆学习处理罕见但危急的情况，而无需在实际道路上遇到它们。
了解 Nvidia 面向物理世界应用的战略 AI 生态系统
Cosmos-Transfer1 只是 Nvidia 更广泛的 Cosmos 平台的一个组件，该平台是一套专为物理 AI 开发而设计的世界基础模型 （WFM）。该平台包括用于通用世界生成的 Cosmos-Predict1 和用于物理常识推理的 Cosmos-Reason1。
“Nvidia Cosmos 是一个开发人员优先的世界基础模型平台，旨在帮助物理 AI 开发人员更好、更快地构建他们的物理 AI 系统，”该公司在其 GitHub 存储库中表示。该平台包括 Nvidia Open Model License 下的预训练模型和 Apache 2 License 下的训练脚本。
这使 Nvidia 能够利用不断增长的 AI 工具市场，以加速自动驾驶系统的开发，尤其是在从制造到运输的行业都在机器人和自动驾驶技术方面投入大量资金的情况下。
实时生成：Nvidia 的硬件如何为下一代 AI 模拟提供支持
Nvidia 还演示了 Cosmos-Transfer1 在其最新硬件上实时运行。“我们进一步展示了一种推理扩展策略，以使用 Nvidia GB200 NVL72 机架实现实时世界生成，”研究人员指出。
该团队在从 1 个 GPU 扩展到 64 个 GPU 时实现了大约 40 倍的加速，从而能够在 4.2 秒内生成 5 秒的高质量视频，从而有效地实现实时吞吐量。
这种大规模性能解决了另一个关键的行业挑战：仿真速度。快速、逼真的仿真可实现更快速的测试和迭代周期，从而加速自主系统的开发。
开源创新：为全球开发人员普及高级 AI
Nvidia 决定在 GitHub 上发布 Cosmos-Transfer1 模型及其底层代码，这为全球开发者扫清了障碍。此公开版本为较小的团队和独立研究人员提供了以前需要大量资源的仿真技术。
此举符合 Nvidia 围绕其硬件和软件产品建立强大的开发者社区的更广泛战略。通过将这些工具交到更多人手中，该公司扩大了其影响力，同时有可能加快物理 AI 开发的进度。
对于机器人和自动驾驶汽车工程师来说，这些新可用的工具可以通过更高效的训练环境来缩短开发周期。实际影响可能首先在测试阶段感受到，开发人员可以在实际部署之前将系统暴露于更广泛的场景中。
虽然开源使该技术可用，但有效利用它仍然需要专业知识和计算资源——这提醒我们，在 AI 开发中，代码本身只是故事的开始。