source preview
source preview 查看原始材料 ↗
Source figure
来自一手来源:model_card 查看原始材料 ↗
Source figure
来自一手来源:model_card 查看原始材料 ↗

先看证据

16B 可训练参数量关键事实
4 个核心开放权重检查点关键事实
最高支持 11 路同步相机视角关键事实
Sim-Bimanual 推理延迟 166 毫秒关键事实
OpenMDW1.1 开源协议关键事实
单视角 480p 视频生成分辨率关键事实

四个检查点,各有分工

NVIDIA 在 Hugging Face 发布了四个基于 Cosmos 3 Nano 后训练得到的开放权重检查点,每个模型有 16B 可训练参数,采用允许商业和非商业使用的 OpenMDW1.1 许可证。它们面向不同的仿真任务:Transfer-Auto 生成自动驾驶多传感器离线数据;Sim-Auto 根据驾驶控制流式生成观测;Sim-Transfer 将仿真器的控制转成画面;Sim-Bimanual 根据机器人动作或相机运动预测后续视频。

Transfer-Auto 和 Sim-Auto 衔接成一条路径:前者生成数据,也可适配新的传感器配置;后者以 Transfer-Auto 为基础,经因果训练和少步蒸馏后用于流式生成。Transfer-Auto 支持最多 11 路同步相机视角,包括鱼眼,并可联合生成与相机对齐的 LiDAR。逐相机 World Scenario Map(WSM)控制场景结构和交通运动,文本提示引导画面外观。Sim-Transfer 和 Sim-Bimanual 则分别面向仿真画面生成和机器人操作预测。四个检查点共用 Cosmos 3 Nano 基座,但针对不同输入和观测任务做了后训练。

从完整片段到流式生成

NVIDIA 描述的后训练流程分为四个阶段。第一阶段用完整录制片段做双向适配,让模型学习控制与视频之间的关系;第二阶段采用 teacher forcing,根据较早的观测和可用控制预测后续片段,同时屏蔽干净答案和未来目标;第三阶段通过一致性蒸馏,让学生模型在四步去噪内生成片段;第四阶段是 self-forcing,让模型在自己生成的历史上继续训练。最后一步针对的是误差累积:一处预测偏差可能成为后续生成的上下文。训练中由冻结的教师模型和辅助评分模型提供分布匹配信号。

Sim-Auto 是 Transfer-Auto 经因果训练和蒸馏后的流式版本。它每次生成一小段同步相机视频和 LiDAR,并将生成历史与更新后的驾驶控制用于下一轮预测。与离线生成不同,闭环交互只能依据已有历史和当前控制生成后续观测。要让驾驶输入持续更新,仍需仿真运行时和 WSM 渲染器;这些组件不由 Sim-Auto 取代。NVIDIA 给出的适配路径是先用自有数据调整 Transfer-Auto,再将其蒸馏为 Sim-Auto。

生成观测,不负责物理状态

Sim-Transfer 使用仿真器提供的空间控制和文本提示生成 RGB 画面。物体运动、接触和物理状态仍由仿真器计算,模型负责生成策略可使用的视觉观测。Sim-Auto 的闭环运行也需要外部仿真运行时和 WSM 渲染器来更新控制。Sim-Bimanual 则根据机器人或相机动作直接预测下一段观测。三者的输入和任务不同,不能把它们都理解成独立运行的物理模拟器。

这一区分决定了 Cosmos 3 Nano 在仿真管线中的位置:它生成视觉结果,不能替代提供物理状态的模拟器。NVIDIA 表示,衡量这些模型能否忠实支持策略学习和评估、并了解它们的局限,仍是后续工作。因此,生成画面是否与仿真器状态一致,以及在连续生成中表现如何,都需要在具体任务中评估;现有发布信息没有给出这些问题的通用结论。

公布的吞吐数据与控制约定

Cosmos Lab 页面公布了三种模型的运行数据:Sim-Bimanual 为 48.1 FPS、166 毫秒延迟,配置为单张 GB300;Sim-Transfer 为 15.85 FPS、240 毫秒延迟,配置为单张 GB200;Sim-Auto 为 16.7 FPS,生成 7 路 480p RGB 视角,配置为 16 张 GB200。这些数字描述的是页面列出的配置,不应被当作所有部署场景的最低硬件要求。

Sim-Bimanual 的控制输入也有明确的数据约定。示例中的混合动作序列含 59 个控制值,训练时补齐至 64;格式定义坐标系、旋转、夹爪标定、有效性掩码和控制域。模型支持 YAM 和 AgiBot 双臂平台,输入应遵循相应约定。时间维度也必须对齐:T 次状态转移需要 T+1 个观测。发布的推理动作已经归一化,而训练数据需要先转换成模型使用的动作表示。

开放权重提供起点,评估仍要自己做

OpenMDW1.1 允许商业和非商业使用,具体使用须遵守许可证条款。NVIDIA 同时发布了后训练配方,供团队从 Cosmos 3 Nano 或兼容基座权重出发,使用自有数据适配模型。不同检查点的配方各有侧重:Transfer-Auto 面向驾驶数据和传感器配置;Sim-Auto 从适配后的 Transfer-Auto 继续做因果训练与蒸馏;Sim-Transfer 和 Sim-Bimanual 则分别按各自的环境或机器人本体进行后训练。

这些检查点和配方是可供适配的起点,并不免除团队准备数据、场景控制和仿真环境的工作。NVIDIA 建议先做环境检查、验证样本,并测试训练与重启流程,再启动较长训练;留出的片段可用于评估生成质量。短时间运行成功只说明流程跑通,不代表模型已经收敛。最终仍需检验生成观测能否支持目标策略的学习和评估,以及模型在哪些场景中会失效。