Black Forest Labs(BFL),FLUX 图像模型背后的实验室,发布了 FLUX 3 Action。这是一个 7B 开源权重的世界动作模型(WAM),用于机器人控制。该模型读取相机帧、机器人状态和文本指令,然后同时预测未来的视频帧和下一段动作。在 RoboLab-120 排行榜上,它以 42.92% 的任务成功率排名第一。

它能部署吗?可以,但有条件。DROID 策略在 H200 上以 BF16 运行需要约 32 GB 的 GPU 显存。通过 FP8 量化和文本编码器卸载,它可以装进 24 GB 显卡。FLUX Kommunity License 允许非商业用途。

FLUX 3 Action 所针对的权衡

开源机器人策略通常被迫做出选择。像 NVIDIA 的 Cosmos 3 Nano 这样的 WAM 以 36.8% 领跑 RoboLab,但预测视频的代价高昂。像 π0.5 这样的 VLA 速度很快,但只能达到 28.0%。在 B200 上,BFL 测得 Cosmos 3 Nano(FP8)每秒钟机器人运动所需的处理时间约为 π0.5(BF16)的 4.7 倍。

FLUX 3 Action 保留了视频与动作的联合预测。BFL 通过更小的骨干网络和蒸馏来弥合速度差距。

架构与训练

FLUX 3 Action 源自多模态 FLUX 3 骨干网络。预训练使用了图像、视频和音频数据,其中视频占训练 token 的 95% 以上。文本、视频和机器人状态被编码为 token。骨干网络的未来 token 被解码为视频帧,其动作 token 被解码为机器人动作。

中期训练将预训练数据(占样本的 36.95%)与动作对齐视频(63.05%)混合。动作数据涵盖游戏录像、第一人称人手视频、手持夹爪以及跨 14 种本体的遥操作。大多数机器人数据使用一个共享的 50 维末端执行器动作空间,称为 EE50。

预训练在这里至关重要。没有它,仅用 DROID 训练在 RoboLab 上始终低于 1%。有了预训练,同样的协议达到了 11.6%。

基准测试结果

RoboLab-120 在 Isaac Sim 中有 120 个桌面任务,每个任务在 DROID 风格的 Franka 设置上进行 10 次试验。

模型类型参数量RoboLab-120FLUX 3 ActionWAM7B42.92%Cosmos3-Nano-PolicyWAM16B36.8%π0.5VLA3.3B28.0%DreamZeroWAM14B25.7%GR00T N1.6VLA3B7.2%

这比 Cosmos 3 Nano 的参数少 56%,却领先 6.1 个百分点。42.92% 是排行榜上的成绩。BFL 对 guidance-distilled FP8 检查点的多种子平均值为 42.24% ± 0.36。

真实硬件结果也遵循同样的模式。Positronic Robotics 在 Franka 机械臂上进行了盲测,包含 10 个 DROID 任务,每个任务尝试 3 次。FLUX 3 Action 完成了 30 次尝试中的 28 次(93.3%)。Cosmos 3 Nano 得分 27/30,DreamZero 20/30,π0.5 13/30。

3 个检查点,3 个速度点

BFL 以 3 种配方发布 DROID 策略,每种都有 BF16 和 FP8 版本:

基础版:4 个采样步骤,使用分离引导(视频 CFG 4,动作 CFG 1)。

引导蒸馏版:去掉第二次引导传递,运行速度提升 1.8 倍到 2 倍,得分提高 0.6 到 1.08 个百分点。

步骤蒸馏版:1 个采样步骤,速度提升 3.15 倍到 4 倍,成功率下降 3.51 到 4.32 个百分点。

在 FP8 下与 Cosmos 3 Nano 相比,基础版和引导蒸馏版检查点在消费级、工作站和数据中心 GPU 上运行速度快 1.52 倍到 3.95 倍。

每次调用产生 32 个动作,频率 15 Hz,即 2.13 秒的运动。π0.5 每次调用产生 1.0 秒。因此 BFL 报告的速度是实时因子,而非每次调用的延迟。在 FP8 下,步骤蒸馏版检查点在工作站和数据中心 GPU 上比 π0.5 快 1.34 倍到 2.28 倍。在 RTX 5090 上,它比 π0.5 慢。

将快速策略与推理器配对

BFL 还测试了与 GPT 6 Astra 的混合控制,遵循 Su et al. (2026) 的设置。推理器可以执行、编辑或替换策略预测的动作。使用 FLUX 3 Action 和低推理努力,混合方案解决了 90% 的回合,每次成功花费 $8.77 和 8 分 08 秒。纯 Astra 在最大努力下解决了 100%,但每次成功花费 $13.47 和 16 分 23 秒。

微调、LeRobot 和 Jetson

AI 团队可以在自己的演示上微调 FLUX 3 Action。BFL 发布了 DROID 配方和 SO-101 LoRA 配方。其文档展示了一个从约 200 个演示中学习到的 SO-101 拾放技能。与 NVIDIA 合作,BFL 将该模型原生集成到 Hugging Face LeRobot 中,并支持在 NVIDIA Jetson 上进行边缘部署。文档还包括玩游戏和模拟无人机示例。

复制代码已复制使用其他浏览器

from lerobot.policies.flux3 import Flux3Policy

from lerobot.policies.factory import make_pre_post_processors

repo_id = "black-forest-labs/flux-3-action-droid"

policy = Flux3Policy.from_pretrained(repo_id)

preprocessor, postprocessor = make_pre_post_processors(policy.config, pretrained_path=repo_id)

该模型输出关节目标值,不内置速度、力或工作空间限制。你的应用必须强制执行这些限制。

关键要点

7B WAM 在 RoboLab-120 上以 42.92% 排名第一。

以少 56% 的参数领先 Cosmos 3 Nano 6.1 个百分点。

在 FP8 下比 Cosmos 3 Nano 快最多 3.95 倍。

每次调用规划 2.13 秒的运动,而 π0.5 为 1.0 秒。

权重、代码和配方均以 FLUX Kommunity License 发布。

查看完整技术报告、模型权重、GitHub 仓库和文档。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等?联系我们

文章 Black Forest Labs Releases FLUX 3 Action: A 7B Open-Weights World Action Model That Tops RoboLab-120 首次出现在 MarkTechPost 上。