NVIDIA 在 CoRL 开源 GR00T 2 世界动作模型并发布 Isaac Lab 3.0

前言

机器人学习社区近年把重心从行走、翻滚等运动技能,逐步转向对齐齿轮、插接线缆、组装小件等精细操作。2026 年 11 月 9 日,在美国得克萨斯州奥斯汀举行的机器人学习大会(Conference on Robot Learning,CoRL)上,NVIDIA 对外介绍了面向这一阶段的开放技术栈:前沿世界动作模型 GR00T 2、仿真框架 Isaac Lab 3.0、工业向基准 DexBench 与 VABAR,以及若干智能体工作流。

与只做单点模型发布不同,这批组件覆盖从预训练、仿真后训练到规模化评测的完整链路。官方 blog 称,目标是把实验室演示推进到可重复的工业部署。同期还有 GRAIL、RoboTTT 两篇 NVIDIA 论文入围 CoRL 最佳论文六项终选名单。

CoRL 当天发布了什么

NVIDIA 在 CoRL 宣布的开源与预览内容包括:

  1. GR00T 2:基于 NVIDIA Cosmos 的前沿世界动作模型,面向灵巧操作。
  2. Isaac Lab 3.0:开源机器人学习框架的新版本,强化与 Newton 物理引擎的集成及后训练能力。
  3. DexBench:由 RLWRLD 与 NVIDIA 合作,基于 Isaac Lab-Arena 的灵巧性评测基准。
  4. VABAR(Variational Automation Benchmark for Agentic Robotics):UC Berkeley 与 NVIDIA 提出的工业任务评测基准。
  5. Isaac Lab-Arena 0.4 开发者预览:面向大规模、可重复的策略评估。
  6. 数据与工具:Video to Data 工作流、EgoHand 开放模型等。

合作方名单在官方稿件中包括 Ambi Robotics、Bosch Research、西门子、富士康(Foxconn)、Skild AI、UC Berkeley、华盛顿大学等十余家机构与企业。

GR00T 2:世界动作模型能做什么

世界动作模型要求机器人感知环境、预判动作对环境的改变,并串行完成多步精细任务。GR00T 2 在 NVIDIA 描述中具备以下经过公开数字支撑的能力要点:

  • 开箱表现:在 50 项评测任务中,有 40 项至少在一次运行中完成,且无需任务专用示范。
  • 技能迁移:可从人类示范学习,并在无机器人示范的情况下在不同机体之间迁移。
  • 少样本泛化:50 项任务上,每任务仅 1 条示范时平均成功率 71%;增至 5 条示范时为 95%。
  • 智能体控制:外部 AI 智能体可通过 GR00T 2 的 API 及配套工具串联技能并在出错后恢复。

训练数据侧,模型使用了多样的机器人与人类数据,其中包括 10 万小时 NVIDIA 开源的第一视角人类数据。

在公开排行榜上,官方称 GR00T 2 在 RoboCasa365、RoboLab、RoboDojo、MolmoSpaces 等基准的 vision-language-action 与世界动作模型类别中,整体位列前三,并有多次榜首。落地验证方面:Nexuni 测试洗衣搬运场景;富士康用于服务器制造的工厂自动化;西门子评估工业用例。MicroAGI 在 YAM 机械臂上做以太网线缆更换,策略经强化学习后训练,仿真环境由智能体配合 Isaac Lab 3.0 与 Newton 自动创建与标定,该流程在 CoRL 现场演示。

Isaac Lab 3.0 与 Newton:仿真侧的变化

预训练模型提供技能底座,仿真负责在真机部署前做规模化训练、打磨与评估。Isaac Lab 3.0 的主要增量包括:

  • 用智能体快速搭建带仿真就绪资产的训练环境;
  • 在 NVIDIA PhysX 与开源 Newton 求解器之间切换;
  • 为基于感知的训练选择渲染器;
  • 对 GR00T 等基础模型应用新的强化学习后训练库。

Newton 集成后,Isaac Lab 可模拟线缆、布料等可变形物体,以及多关节灵巧手等复杂机构。官方给出的对比是:在某视觉灵巧操作基准上,Isaac Lab 3.0 搭配 Newton 的训练吞吐最高可达 Isaac Lab 2.3 搭配 PhysX 的 2.5 倍,并支持数千台仿真机器人并行。

生态上,Skild AI 在 CoRL 发布基于 Newton 的刚体求解器 STEEL,用于加速 Isaac Lab 训练;Flexion、FieldAI、Dyna Robotics、Walden Robotics、Dexmate 等也在稿件中披露了与 Isaac Lab、Isaac Sim 或 Newton 的结合方式。华盛顿大学与 NVIDIA 的 Success-Guided Sampling(SGS)方法则用于把训练聚焦在约半数成功率的任务上,官方称配合该方法可将训练扩展到百万级并行环境。

DexBench、VABAR 与 Arena 0.4

技能学得会,还要在条件变化下测得稳。Isaac Lab-Arena 是面向规模化策略评估的开源框架:组合多样、可重复的评测,并行跑数千种变体,并用失败分析指向下一轮训练。其 0.4 开发者预览在 CoRL 亮相。

DexBench 把灵巧性评测从桌面实验推向更接近产线的工作流:15 项任务、四个场景(零售、物流、制造、酒店),覆盖物体、空间与物理变体上的泛化。Genesis AI、mimic robotics 等通过早期接入参与评测;也可经 Bifrost 的 Manifold 平台免配置运行,并含失败分析与初期免费额度。

VABAR 面向智能体机器人,在六项工业任务上评测,每项配有标准化变体、难度档位与成功指标。官方演示包括仿真环境下的工具分拣任务。

智能体工作流与数据工具

多步任务需要把单项技能编排成可审查的程序。UC Berkeley 的 Graph-as-Policy(GaP)框架用智能体在 NVIDIA Isaac 开放仿真栈中连接技能、按失败迭代,Ambi Robotics、Bosch Research、西门子正在探索其在工业场景中的应用。Ken Goldberg(UC Berkeley,VABAR 与 GaP 负责人之一)在官方稿件中评价 agentic robotics,此为人物原话,不作延伸解读。

数据侧,Video to Data 工作流将人类视频转为仿真中的机器人示范,并设有挑战赛;EgoHand 开放模型重建 3D 手部运动,CoRL 现场演示,官方称上线两周内 Hugging Face 下载量超过 4 万次,训练数据含 Noitom Robotics 贡献。

对技术路线与生态的影响

从已公开信息看,NVIDIA 把「前沿世界动作模型 + 可切换物理的仿真栈 + 工业向基准 + 智能体编排」放在同一批 CoRL 发布里,且 GR00T 2、Isaac Lab、Newton、Arena 均以开源或开发者预览形式放出。对研究者,这意味着可在同一套工具链里完成从 Cosmos 系预训练、Newton/PhysX 后训练到 DexBench/VABAR 打分的闭环;对企业伙伴,富士康、西门子等的试点方向直指制造与工业自动化,而非仅竞赛榜单。

物理引擎与吞吐(Newton、STEEL、2.5 倍对比)被反复强调,说明精细操作赛道正在把「仿真可信度」和「并行规模」当作与模型容量同量级的变量。Benchmark 设计也从学术 tabletop 延伸到四行业场景的 DexBench 与六项工业任务的 VABAR,评测竞争者很可能围绕同一 Isaac 栈对齐指标。

若后续社区在开源权重、API 与 Arena 0.4 上保持与 blog 一致的开放节奏,人形与工业机械臂路线会更多在共享基准与共享仿真资产上分化算法,而不是各自封闭的小环境。反之,任何一项组件授权或部署约束收紧,都会削弱这次「打包开源」的协同效应。上述判断仅基于 2026-11-09 官方 blog 已披露事实,不含未证实的部署规模或商业条款。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye