Nvidia 承诺,用其开放数据引擎 Flora,标注一小时机器人视频只需 72 美分,而非 88 美元。但与 GPT-6 Astra 的对比并不像价格标签所暗示的那样悬殊。
用于机器人的大型 AI 模型需要从视频中学习,而这些视频需要文本标注,据 Nvidia 的 GEAR 研究实验室称,这需要三类标签。第一,描述视频中何时发生何种动作,用于筛选训练数据。第二,对机器人逐步推进的程度进行评分,以便它能通过试错学习。第三,判断任务是否成功完成,用于在部署期间监控机器人。大多数现有工具只提供其中一类。像GPT-6 Astra这样的大型语言模型可以生成其中几类,但对于所涉及的海量视频来说,它们太贵了。

根据论文,Flora 覆盖了全部三类。Nvidia 表示,该系统已在其 GR00T 模型的训练中运行,在 512 块 GB300 GPU 上每天标注多达 20 万小时的视频。这些模型已在Hugging Face上提供。
Flora 由三个微调过的Qwen3.5 模型组成。一个 9B 模型将视频切分为动作片段,一个 27B 模型描述这些片段,并会考虑每个动作前后发生了什么。第二个 27B 模型名为 Flora-Rewarder,根据提示词承担三种角色。它以 1 到 5 的尺度为一个片段的成功程度打分,将每个半秒步骤分类为正常、次优或失败,并根据自定义的评分标准给出分数。

按 Nvidia 自己的估算,最高便宜 125 倍
在一项 50 个视频的测试中,据 Nvidia 称,Flora 的得分略高于 GPT-6 Astra,尽管 OpenAI 的模型被允许使用其完整的推理能力。按 Nvidia 的估算,用 Flora 标注一小时视频约需 72 美分,而用 GPT-6 Astra 约需 88.50 美元。Claude Opus 5在同一测试中得分低得多,成本却仍约为每小时 42 美元。

不过,Flora 的成本数据是预测值,而非生产环境实测值。Nvidia 是基于每 GPU 每小时 10 美元的假定租用价格计算得出的。
Flora 能更好地识别动作,但 Astra 往往对动作的描述更精确
在公开的 WGO-Bench 上,Flora 在检测动作边界方面表现最佳,但总分落后于 Astra,并且在Gemini 3.8 Flash纯描述准确性方面也落后。研究人员表示,这些提升主要来自时间定位。
在 Nvidia 自有的 DenseCaptionBench 上,Flora 在人类录制视频的所有指标上均领先,但在机器人视频上该模型位居 Astra 之后,排名第二。研究人员也承认存在一个方法论上的问题:GPT-6 Astra 在评估这些描述的同时,本身也是受测模型之一。

几乎没有其他模型能捕捉到片段中段的错误
在 RoboRewardBench 上,Flora 的错误率比 Astra 低 27.8%。论文将这一差距归因于部分完成的任务。当机器人只是把瓶子碰倒而不是把它从桌上打落时,Flora 会给出 5 分中的 3 分以匹配人工参考,而 Astra 只给 1 分。
Flora-Rewarder 能捕捉到一个片段内 53.3% 的失败步骤,而没有任何竞争对手超过 11.7%,Astra 则一个都没捕捉到。代价是 Flora 会把约 11% 的正常步骤误标为错误。Astra 仍在基于评分量表的打分和轨迹排序上领先。
在一段包含许多短促手部动作的视频中,Flora 识别出了 37 个单独动作中的 34 个,而 Astra 只捕捉到 4 个。另一方面,Flora 有时会把较长的动作拆分成过多的小步骤,偶尔也会描述错误。在一段视频中,一只机械手用布擦拭盘子,但 Flora 将其描述为折叠餐巾。

Nvidia 将 Flora 定位为面向商业服务的开放替代方案,例如Scale AI 的Physical AI Data Engine。研究人员可以用它来扩展自己的机器人数据集,并测试将人类演示迁移到机器人等方法。Nvidia 正投入数十亿美元于开放 AI 模型以将开发者留在其硬件生态系统中,并推动对其芯片的需求,而 Flora 服务于同样的目标。
该公司一段时间以来也一直在努力弥补机器人训练数据的短缺,通过仿真和自动化数据处理。在GTC今年早些时候,Nvidia 展示了一条数据流水线,可自动准备、倍增并评分训练材料。Flora 为这条流水线增加了来自视频的详细标签和奖励信号。
所有这些都汇入Nvidia 覆盖整个机器人价值链的战略,从硬件和训练数据到仿真以及 AI 模型本身。Google 最近发布的Gemini 4 Argon瞄准机器人训练流程中类似的部分,同样能识别训练视频中的工作步骤并标记失败动作。