跳到正文
量子位· henry·· 8 天前精选AI 评分80

英伟达发布机器人基础模型 GR00T 2 并开源模型数据与仿真工具链

英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天

AI 导读

英伟达在 CoRL 大会上发布世界动作模型 GR00T 2,并称其模型、数据、仿真环境和采集硬件将陆续开源,首批开放 10 万小时人类第一视角视频。

AI 深度导读基于原文整理的分节解读
背景
距离英伟达上一代机器人基础模型发布已过去一年半,新一代在此背景下推出。在今年奥斯汀举行的CoRL大会上,英伟达GEAR负责人朱玉可与Jim Fan发布了新一代世界动作模型GR00T 2。该模型要解决的问题是机器人基础模型的泛化、灵巧性与适应能力扩展,即让同一项技能不必在每种机器人上重新示范采集数据。
做法
GR00T 2同时预测未来画面与机器人动作,训练时把"世界将如何变化"与"机器人应当如何行动"放在一起学习,接收语言指令、多视角相机画面和机器人状态,通过同一个扩散Transformer联合预测未来视频与动作序列。预训练混合三类数据:402,730小时人类第一视角视频、10,184小时手持UMI演示(覆盖2,897项任务)、23,500小时机器人遥操作数据。跨本体适配(X-Adapt)展示三条路径:人类动捕示范迁移到双五指手Dexter;手持UMI夹爪示范迁移到YAM机械臂;DexUMI手部外骨骼示范迁移到机器人灵巧手。迁移中目标机器人仍提供与具体任务无关的数据以熟悉自身身体结构与控制空间。为验证人类视频作用,团队用不含人类视频、1%、10%和全部人类视频的数据分别训练,在72项Dexter任务上评估。
结论
动捕示范放置、润湿滤纸后,Dexter在20次试验中成功率65%,全程未采集该任务的机器人遥操作示范。UMI示范组装玩具自卸卡车后,YAM机械臂端到端完成最长约四分钟组装任务,成功率60%;同一路径还用于传送带分拣与抛掷、操作板拆解。早餐任务中,DexUMI数据微调后机器人接手制作香蕉酸奶、舀取麦片。Dexter-50评测中零样本平均成功率40%,每项任务一次示范后升至71%,五次示范后达95%,五次示范合计不足三分钟,随后在单张RTX 5090上约30分钟LoRA微调即可适配。人类视频规模实验中,真实机器人平均任务进度从50%提高到70%。
意义
GR00T 2被定位为反应快、可本地运行的System 1物理技能模型,并开放WAM API,使上层推理模型可拆解任务、检查执行进度,再把具体物理技能交给它执行。配套工具链覆盖采集(UMI、DexUMI)、数据(Human-1M与Flora,前者首批10万小时子集已开放)、仿真(SimFoundry)、执行(ASPIRE、Turbo、SONIC),开发者可沿此链路采集数据、适配任务、仿真验证并部署到真机。据朱玉可透露,模型、数据、仿真环境和数据采集硬件也将陆续开源。
局限
跨本体迁移并不意味着完全不需要机器人数据:在人类动捕和UMI路径中,目标机器人仍需提供与具体任务无关的数据,让模型熟悉自身身体结构、运动方式和控制空间,新任务示范才可来自人类操作。
下一步
英伟达此次开放的已不只是机器人模型,而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。Jim Fan在CoRL现场演讲中称"这不是寒冬,这是机器人的夏天";文中同时提到,Anthropic公布的RoboDojo Sim仿真双臂测试中,采用相同运行框架、各模型最高可用推理强度,Fable 5.2得分64.9%,GPT-6 Astra为29.8%。
推荐理由

英伟达公开 GR00T 2 的模型、数据与工具链,并给出人类示范跨本体迁移的成功率,可用于评估机器人基础模型的复用门槛。

来源:量子位 · qbitai.com