Kyutai 发布了 CADRE，这是用于交互式世界模型的开源因果扩散表示自编码器。Kyutai CADRE 视频自编码器针对一个问题：动作延迟。许多世界模型借用文本到视频生成器的自编码器。这些自编码器将多帧打包进一个潜变量，因此每个动作都要等待。根据研究论文，CADRE 世界模型在 1 张 H100 上以 20 fps 运行，并在 230 ms 内做出反应。
TL;DR
规模：7 个自编码器，每个约 476M 训练参数，外加一个冻结的 86M DINOv3 ViT-B/16。世界模型为 1.2B 参数。视频以 288×512、20 fps 运行。
运行于：1 张 H100（bf16，batch 1）。量化变体：未披露。
性能：CADRE 构成了延迟-质量前沿的大部分。在与 MIRA、Wan 2.2、Cosmos 和 LTX-2 的 48 项比较中，有 42 项它既更快又更好。
最佳：驾驶 FVD 为 162.6（CADRE-2×16×16，1 步），而 Wan 2.2 为 599.7。
最差：机器人操作动作跟随（ARR）为 0.45（CADRE-2×32×32），而 Wan 2.2 为 0.85。
什么是 CADRE？
CADRE 是 Kyutai 推出的一系列视频自编码器，专为动作条件世界模型构建。世界模型在自编码器的潜空间中生成。因此，自编码器的压缩同时决定了每帧成本和动作延迟。
压缩写作 τ×s×s。τ 是每个潜变量对应的帧数，s 是空间因子。研究给出的延迟为 τ/f 加上生成和解码时间。在 τ = 8 和 20 fps 时，仅分块就增加 400 ms。人类会注意到自身动作延迟超过约 230 ms。
CADRE 如何工作？
编码器复用了 MIRA 的方案。冻结的 DINOv3 从每帧提取逐 patch 特征。然后一个训练过的 3D 卷积将它们压缩为 64 通道潜变量。7 个成员之间只有这个瓶颈发生变化。
解码器是一个具有 24 个块的因果扩散 transformer。它逐块流式处理。渐进式自蒸馏教会它在 1 或 2 步内解码。这在单个训练阶段完成，无需对抗损失。
这些自编码器在 23 个公开视频源上训练，约 76k 小时。混合内容涵盖网络、机器人、驾驶和游戏视频。
CADRE 是如何评估的？
Kyutai 在每个自编码器上训练了同一个 1.2B 因果扩散 transformer。它使用了 4 个环境：机器人操作（ABC）、人类操作（EgoDex）、驾驶（PhysicalAI AV）和室内导航（RealEstate10K）。每个模型观看 2 s 的真实视频，然后生成 4.8 s。
分数涵盖图像质量（FID）、运动质量（FVD）和动作跟随（ARR）。ARR 使用一个冻结的逆动力学探针。ARR 为 1 时与真实视频相当。
基准测试显示了什么？
在一块 H100 上，CADRE-2×32×32 在 1 个解码步骤下响应时间为 185 ms，并维持 23.4 fps。Wan 2.2 自编码器需要 317 ms，LTX-2 需要 492 ms，Cosmos 需要 605 ms。DC-AE 更快，为 118 ms，但逐帧处理。
差距在摄像机移动时最大。在驾驶场景中，Wan 2.2 的 FVD 达到 599.7，LTX-2 为 913.3。在室内导航中，LTX-2 的 ARR 降至 0.04。与重新训练的 MIRA 解码器相比，1 步扩散解码器将 FVD 降低 1.4 到 2.5×。
这 4 项发现是什么？
通过扩散解码：在强压缩下，感知回归会模糊，而扩散采样出 1 段清晰的视频。
在自编码器中压缩时间：在世界模型内部进行分块会丢失细节。在 8 帧时，ARR 从 0.72 降至 0.56。
摄像机运动决定压缩方式：静止摄像机可容忍时间压缩。移动摄像机更倾向于更少的帧和更粗的空间 token。
粗 token 首先损害运动：在机器人操作中，32× 空间压缩使 FVD 相比 16× 增至 2.4 倍。FID 几乎不变。
对比：CADRE 与其他视频自编码器
FeatureCADRE-2×32×32CADRE-2×16×16MIRA recipeWan 2.2 VAECosmos CV8x8x8LTX-2 VAECompression (τ×s×s)2×32×322×16×162×32×324×16×168×8×88×32×32 (paper)Tokens per 16 frames11524608115223044608288DecoderCausal diffusion, 1 to 2 stepsCausal diffusion, 1 to 2 stepsPerceptual regressionCausalCausalNon-causal, windowedAction latency, 1 H100185 ms216 ms175 ms317 ms605 ms492 msMax fps, 1 H10023.417.326.634.239.087.4FVD, driving (lower is better)171.3162.6311.6599.7452.5913.3FVD, robot manipulation105.047.6267.152.939.569.6ARR, robot manipulation (higher is better)0.450.730.390.850.780.25Reconstruction PSNR (OpenVid-HD)22.8625.1224.4435.0231.3928.24Weights licenseCC BY-NC 4.0 + DINOv3 LicenseCC BY-NC 4.0 + DINOv3 LicenseNot disclosedApache 2.0NVIDIA Open Model LicenseLTX-2 Community License
延迟、fpsA、FVD、ARR 和 PSNR：CADRE 论文，表 4、6 和 7。CADRE 使用 1 步解码。所有数据均由 Kyutai 自行报告。
CADRE 在哪里表现不足？
CADRE 并非处处占优。在机器人操作中，Cosmos 的 FVD 为 39.5，而最佳 1 步 CADRE 为 47.6。在快速端，DC-AE 在操作任务上优于 CADRE-1×48×48。Wan 2.2 对留出视频的重建效果也明显更好，PSNR 达 35.02 dB。
Kyutai 团队认为重建质量并不能预测 rollout。Wan 2.2 在室内 rollout FVD 上排名垫底。
长潜变量会在分块之间留下可见接缝。在 τ = 8 时，各环境中的边界超出量达到 1.6 至 1.8。CADRE-4×24×24 在导航中是异常值，驾驶场景的 FVD 为 403。每个世界模型在 288×512 分辨率下覆盖一个环境。这些发现能否迁移到通用模型仍待验证。
开发者如何使用 CADRE？
代码采用 MIT 许可证。Hugging Face 上的权重为 CC BY-NC 4.0，因此排除商业用途。本次发布包含 7 个自编码器、4 个训练更久的多分辨率版本，以及 4 个基于 CADRE-2×16×16 的世界模型。一个在线演示可让你用键盘驱动它们。
关键要点
7 个开源自编码器，仅相差一个瓶颈，将压缩隔离为唯一变量。
基于 CADRE 的世界模型在 1 张 H100 上以 20 fps 运行，延迟低于 230 ms。
驾驶 FVD 降至 162.6，而 Wan 2.2 为 599.7。
静止相机有利于时间压缩；移动相机有利于空间压缩。
权重为非商业许可（CC BY-NC 4.0）；代码为 MIT 许可。
查看论文、Kyutai 博客、GitHub 仓库和模型合集。所有功劳都归于该项目的科研人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？请联系我们
文章《Kyutai CADRE: Video Autoencoders That Cut World Model Lag Below 230 ms》首发于 MarkTechPost。