前言¶
機器人學習社區近年把重心從行走、翻滾等運動技能,逐步轉向對齊齒輪、插接線纜、組裝小件等精細操作。2026 年 11 月 9 日,在美國得克薩斯州奧斯汀舉行的機器人學習大會(Conference on Robot Learning,CoRL)上,NVIDIA 對外介紹了面向這一階段的開放技術棧:前沿世界動作模型 GR00T 2、仿真框架 Isaac Lab 3.0、工業向基準 DexBench 與 VABAR,以及若干智能體工作流。
與只做單點模型發佈不同,這批組件覆蓋從預訓練、仿真後訓練到規模化評測的完整鏈路。官方 blog 稱,目標是把實驗室演示推進到可重複的工業部署。同期還有 GRAIL、RoboTTT 兩篇 NVIDIA 論文入圍 CoRL 最佳論文六項終選名單。
CoRL 當天發佈了什麼¶
NVIDIA 在 CoRL 宣佈的開源與預覽內容包括:
- GR00T 2:基於 NVIDIA Cosmos 的前沿世界動作模型,面向靈巧操作。
- Isaac Lab 3.0:開源機器人學習框架的新版本,強化與 Newton 物理引擎的集成及後訓練能力。
- DexBench:由 RLWRLD 與 NVIDIA 合作,基於 Isaac Lab-Arena 的靈巧性評測基準。
- VABAR(Variational Automation Benchmark for Agentic Robotics):UC Berkeley 與 NVIDIA 提出的工業任務評測基準。
- Isaac Lab-Arena 0.4 開發者預覽:面向大規模、可重複的策略評估。
- 數據與工具:Video to Data 工作流、EgoHand 開放模型等。
合作方名單在官方稿件中包括 Ambi Robotics、Bosch Research、西門子、富士康(Foxconn)、Skild AI、UC Berkeley、華盛頓大學等十餘家機構與企業。
GR00T 2:世界動作模型能做什麼¶
世界動作模型要求機器人感知環境、預判動作對環境的改變,並串行完成多步精細任務。GR00T 2 在 NVIDIA 描述中具備以下經過公開數字支撐的能力要點:
- 開箱表現:在 50 項評測任務中,有 40 項至少在一次運行中完成,且無需任務專用示範。
- 技能遷移:可從人類示範學習,並在無機器人示範的情況下在不同機體之間遷移。
- 少樣本泛化:50 項任務上,每任務僅 1 條示範時平均成功率 71%;增至 5 條示範時爲 95%。
- 智能體控制:外部 AI 智能體可通過 GR00T 2 的 API 及配套工具串聯技能並在出錯後恢復。
訓練數據側,模型使用了多樣的機器人與人類數據,其中包括 10 萬小時 NVIDIA 開源的第一視角人類數據。
在公開排行榜上,官方稱 GR00T 2 在 RoboCasa365、RoboLab、RoboDojo、MolmoSpaces 等基準的 vision-language-action 與世界動作模型類別中,整體位列前三,並有多次榜首。落地驗證方面:Nexuni 測試洗衣搬運場景;富士康用於服務器製造的工廠自動化;西門子評估工業用例。MicroAGI 在 YAM 機械臂上做以太網線纜更換,策略經強化學習後訓練,仿真環境由智能體配合 Isaac Lab 3.0 與 Newton 自動創建與標定,該流程在 CoRL 現場演示。
Isaac Lab 3.0 與 Newton:仿真側的變化¶
預訓練模型提供技能底座,仿真負責在真機部署前做規模化訓練、打磨與評估。Isaac Lab 3.0 的主要增量包括:
- 用智能體快速搭建帶仿真就緒資產的訓練環境;
- 在 NVIDIA PhysX 與開源 Newton 求解器之間切換;
- 爲基於感知的訓練選擇渲染器;
- 對 GR00T 等基礎模型應用新的強化學習後訓練庫。
Newton 集成後,Isaac Lab 可模擬線纜、布料等可變形物體,以及多關節靈巧手等複雜機構。官方給出的對比是:在某視覺靈巧操作基準上,Isaac Lab 3.0 搭配 Newton 的訓練吞吐最高可達 Isaac Lab 2.3 搭配 PhysX 的 2.5 倍,並支持數千臺仿真機器人並行。
生態上,Skild AI 在 CoRL 發佈基於 Newton 的剛體求解器 STEEL,用於加速 Isaac Lab 訓練;Flexion、FieldAI、Dyna Robotics、Walden Robotics、Dexmate 等也在稿件中披露了與 Isaac Lab、Isaac Sim 或 Newton 的結合方式。華盛頓大學與 NVIDIA 的 Success-Guided Sampling(SGS)方法則用於把訓練聚焦在約半數成功率的任務上,官方稱配合該方法可將訓練擴展到百萬級並行環境。
DexBench、VABAR 與 Arena 0.4¶
技能學得會,還要在條件變化下測得穩。Isaac Lab-Arena 是面向規模化策略評估的開源框架:組合多樣、可重複的評測,並行跑數千種變體,並用失敗分析指向下一輪訓練。其 0.4 開發者預覽在 CoRL 亮相。
DexBench 把靈巧性評測從桌面實驗推向更接近產線的工作流:15 項任務、四個場景(零售、物流、製造、酒店),覆蓋物體、空間與物理變體上的泛化。Genesis AI、mimic robotics 等通過早期接入參與評測;也可經 Bifrost 的 Manifold 平臺免配置運行,並含失敗分析與初期免費額度。
VABAR 面向智能體機器人,在六項工業任務上評測,每項配有標準化變體、難度檔位與成功指標。官方演示包括仿真環境下的工具分揀任務。
智能體工作流與數據工具¶
多步任務需要把單項技能編排成可審查的程序。UC Berkeley 的 Graph-as-Policy(GaP)框架用智能體在 NVIDIA Isaac 開放仿真棧中連接技能、按失敗迭代,Ambi Robotics、Bosch Research、西門子正在探索其在工業場景中的應用。Ken Goldberg(UC Berkeley,VABAR 與 GaP 負責人之一)在官方稿件中評價 agentic robotics,此爲人物原話,不作延伸解讀。
數據側,Video to Data 工作流將人類視頻轉爲仿真中的機器人示範,並設有挑戰賽;EgoHand 開放模型重建 3D 手部運動,CoRL 現場演示,官方稱上線兩週內 Hugging Face 下載量超過 4 萬次,訓練數據含 Noitom Robotics 貢獻。
對技術路線與生態的影響¶
從已公開信息看,NVIDIA 把「前沿世界動作模型 + 可切換物理的仿真棧 + 工業向基準 + 智能體編排」放在同一批 CoRL 發佈裏,且 GR00T 2、Isaac Lab、Newton、Arena 均以開源或開發者預覽形式放出。對研究者,這意味着可在同一套工具鏈裏完成從 Cosmos 系預訓練、Newton/PhysX 後訓練到 DexBench/VABAR 打分的閉環;對企業夥伴,富士康、西門子等的試點方向直指製造與工業自動化,而非僅競賽榜單。
物理引擎與吞吐(Newton、STEEL、2.5 倍對比)被反覆強調,說明精細操作賽道正在把「仿真可信度」和「並行規模」當作與模型容量同量級的變量。Benchmark 設計也從學術 tabletop 延伸到四行業場景的 DexBench 與六項工業任務的 VABAR,評測競爭者很可能圍繞同一 Isaac 棧對齊指標。
若後續社區在開源權重、API 與 Arena 0.4 上保持與 blog 一致的開放節奏,人形與工業機械臂路線會更多在共享基準與共享仿真資產上分化算法,而不是各自封閉的小環境。反之,任何一項組件授權或部署約束收緊,都會削弱這次「打包開源」的協同效應。上述判斷僅基於 2026-11-09 官方 blog 已披露事實,不含未證實的部署規模或商業條款。