为了让机器人学会新任务，人类通常必须在训练期间费力地对其进行遥操作。Nvidia 的新 AI 模型 GR00T 2 旨在通过将视频中的人类动作迁移到机械臂上来减少这种投入。
为了训练机器人完成新任务，工程师通常要花数小时远程操控机器。这种所谓的遥操作成本高、速度慢，而且每个机器人模型都需要自己的数据。在一份新的关于 GR00T 2 的研究报告中，Nvidia 推出了一款旨在缩短这一过程的新 AI 基础模型。
与以往的方法（包括其前代 GR00T 1）不同，GR00T 2 不会把摄像头图像和语言指令直接转换为电机动作。Nvidia 表示，该软件以公司所称的世界-动作模型方式工作。它同时计算下一个动作和近期未来的短视频。例如，系统会预测当机械臂拿起物体时摄像头图像应如何变化。
这种视频预测应能让模型在不同机器人形态之间迁移动作序列。Nvidia 在一个拥有超过一千块 GB300 芯片的集群上训练该系统，其中包括约 40 万小时的视频素材，展示人们佩戴头戴式摄像头执行各种任务。
研究人员表示，要教会机器人一项新任务，一个人使用数据手套、专用手部抓取器或手指外骨骼演示步骤就足够了。当这些录像在训练中与目标机器人的通用运动数据结合时，AI 会在其视频预测中生成机械臂而非人类手臂，并据此推导出匹配的控制指令。
在实验室测试中，一台拥有五指手的机器人以这种方式点燃火柴、切香蕉或将包裹抛到传送带上，而无需针对这些特定任务进行遥操作。
成功率因任务不同在 10% 到 80% 之间波动。仅凭一段人手动作的视频，系统还通过计算机模拟学会了钉钉子。在 50 个经过少量示例后模型就已表现良好的选定任务中，不到 3 分钟的常规训练就足以将成功率从 40% 提升到 95%。
更高层级的语言模型有助于处理错误，但会拖慢机器人的速度
对于更长的装配工作，Nvidia 将该系统与更高层级的 AI 语言模型（如 OpenAI 的 GPT-6 Astra）配对使用。GR00T 2 负责抓取动作，语言模型则将任务拆解为各个步骤，在相机图像中为抓取点标注颜色，并在零件掉落时启动辅助例程。
当研究人员将玩具模型的散装零件无序地放在桌上时，组合系统在至少 97% 的试验中完成了组装。在没有纠正性语言模型和额外微调的情况下，玩具汽车的组装在 100 次尝试中仅成功了 23 次。该团队还通过在真实设备上反复试错，训练了插接网线或充电器等精密任务。
针对双足机器人，Nvidia 开发了精简版 GR00T 2 Turbo，它处理的图像细节更少。它直接运行在人形机器人的 Jetson Thor 板载计算机上。在测试中，该机器能够舀爆米花、清理桌面，并用脚下的毛巾擦除液体。不过最后一项任务在全部尝试中仅成功了不到一半。
研究团队指出，在该系统能够可靠地投入实际使用之前，仍存在重大障碍。该模型尚未处理用于触觉的直接传感器数据，有时会漏掉诸如螺丝只转了一半之类的细微错误。更高层级的语言模型也会显著拖慢速度。在垃圾分类过程中，机器人约有三分之一的总时间处于空闲状态，因为它平均需要等待超过 7 秒才能等到规划模型的下一次计算。
其他实验室也在寻找用更少遥操作来教机器人新任务的方法。我们在AI Radar #5 on Neolabs中介绍过其中一些。