AI 公司 Runway 发布了其机器人模型 Praxis-1，并开放了权重和源代码。该模型利用从视频中学到的知识来控制机器人，在公司的内部测试中展现出不错的结果。
Runway 发布了用于控制机器人的 AI 模型 Praxis-1。该公司在 9 月下旬首次介绍了 Praxis-1，但最初只向部分合作伙伴开放。在发布的同时，Runway 还发布了一份详细的研究报告，其中包含新的性能测试。
Runway 的模型权重和源代码以 Apache 2.0 许可证提供，允许商业使用。
Praxis-1 接收摄像头图像、文本指令以及有关机器人位置的信息。基于这些输入，它预测环境将如何变化，并计算出正确的机器人动作。随着新的摄像头画面输入，模型会持续调整其控制。
Praxis-1 基于视频训练来控制机器人
Praxis-1 建立在一个视频模型之上，该模型从普通影像中学习了物体如何移动和交互。随后，Runway 用人类动作视频和机器人数据对其进行了微调。这种方法有望减少对昂贵的机器人专用数据集的需求，而这类数据集传统上只是为了训练此类系统而收集的。
Runway 最为人熟知的是其生成式视频模型，例如Gen-4.5。借助 Praxis-1，该公司正将其视频研究带入机器人领域。Runway 称 Praxis-1 是一个世界动作模型，它预测场景将如何变化，并据此推导出相应的机器人动作。自 9 月以来，机器人公司 Standard Bots、Noble Machines 和 Ultra 一直在不同系统上测试 Praxis-1，包括一台人形机器人、一台工业机械臂和一台双臂仓库机器人。
Praxis-1 在世界动作模型中处于领先地位
Praxis-1 仍然需要一些专门的机器人数据。根据其研究报告，为了将其适配到 Franka 机械臂上，Runway 使用了来自公开 DROID 研究数据集约 277 小时的录像。研究报告例如，这些录像展示了机器人抓取和移动物体的过程。对于双臂机器人，该公司使用了 1400 到 2600 小时的训练素材。Runway 在此前的训练阶段已经使用过 DROID 数据以及其他机器人系统的数据。这种方法总体上是否真的比没有通用视频预训练的可比模型需要更少的机器人数据，仍是一个悬而未决的问题。
在Nvidia 的 RoboLab-120 排行榜上，Praxis-1 取得了 46.2% 的成功率。该基准测试考察机器人模型在模拟环境中跨 120 项任务进行分拣、抓取或堆叠物体的可靠性。FLUX 3 Action同样作为 World Action Model 构建，在相同测试条件下得分为 42.9%。这使 Praxis-1 位居 World Action Model 类别榜首。在总排行榜上，它排名第五，落后于两个 AI 智能体和两个采用不同架构的机器人模型。Runway 自行完成了所有测试，结果尚未经过独立验证。
在 DROID 数据上微调后，Runway 在真实的 Franka 机械臂上测试了该模型。两个模型都必须完成同样的十项任务，例如把香蕉放到盘子上或关上抽屉。每项任务尝试十次，Praxis-1 成功了 88 次，而 FLUX 3 Action 成功了 80 次。
Runway 还测试了 Praxis-1 向一种它此前从未见过的机器人类型的迁移效果，使用的是来自一个带夹爪臂的移动机器人平台的数据，Google 此前曾用该平台开发RT-1。来自该机器人的录像不属于 Praxis-1 早期训练的一部分。据 Runway 称，在约 95 小时的机器人数据上微调后，该模型在模拟测试中达到了 80% 的平均成功率。测试涵盖四类任务，包括抓取易拉罐、开关抽屉以及把苹果放进抽屉。Google 最初的 RT-1 模型在同一基准测试中得分为 52.4%。
Praxis-1 仍有明显的局限
开发者可以从Hugging Face下载 Praxis-1，需先注册并同意访问条款。代码在 GitHub 上。根据Runway 的公告，针对不同机器人的预适配版本已随基础模型一同提供。基础模型需要额外训练才能适配新的机器人系统。
标准模型版本需要 80 GB 显存的 GPU。根据 Runway 的显存估算，压缩版本应该能装进 32 GB 显存的 RTX 5090，不过 GitHub 文档称实际峰值显存占用尚未测量。
根据 Runway 的研究报告，该模型有时会混淆外观相似的物体，也难以处理模糊指令。对于较长的任务，需要把各个步骤明确列出，因为 Praxis-1 目前还无法可靠地自行规划复杂的动作序列。
Runway 主要将 Praxis-1 视为快速执行机器人动作的系统。未来，它可以与将复杂任务拆解为各个步骤的通用 AI 模型协同工作。