Google Research 推出了一款用于长视频生成的 AI 视频联合导演。这套包含 4 个智能体框架的套件能将短片转化为连贯的、长达数分钟的故事。它针对的是身份漂移和级联错误,这两个故障正是当今大多数多镜头 AI 视频流水线崩溃的原因。

为什么长 AI 视频会崩坏

扩散模型能在几秒内渲染出高保真片段。将这些片段拼接成一个故事则更难。大多数智能体流水线用独立、手工编写的提示词串联各个模块。这会导致语义漂移,即服装或场景在镜头之间发生变化。它还会导致级联失败,即一个糟糕的上游素材会破坏后续每一个镜头。

Google 团队将此视为一个信用分配问题。一段崩坏的最终视频很难追溯到导致它的那个提示词。

AI 视频联合导演如何工作

该系统构建在 Gemini 和 Veo 之上。它与模型无关,因此同一层可以驱动其他生成器。输出内容继承基础模型的 SynthID 水印。

1. Co-Director:将创意规划作为老虎机搜索

Co-Director 已被 COLM 2026 接收,它使用多臂老虎机(MAB)。一个 Orchestrator Agent 在 Creative Strategy、Narrative Mode 和 Aesthetic Archetype 中挑选一种配置。一个 Pre-Production Agent 构建故事板。Keyframe、Video 和 Audio 子智能体负责生成媒体。随后一个 MLLM Judge 对剪辑打分,并将分解后的奖励回传给老虎机。

2. CANVAS:持久视觉记忆

CANVAS 已被 EMNLP 2026 接收,它随着故事的发展追踪角色、地点和物体状态。当某个场景再次出现时,它会检索存储的视觉锚点。在 Google 的博物馆盗窃测试中,AutoStudio 丢失了小偷的帽子,Gemini-3.1-Pro 改变了宝石。CANVAS 让两者都保持了一致。

3. A²RD:逐段生成长视频

A²RD(Agentic Autoregressive Diffusion)是一种免训练架构。每个片段针对多模态视频记忆运行一个 Retrieve、Synthesize、Refine、Update 循环。智能体在新故事节拍的外推和回归实体的插值之间切换。Google 分享了一部以此方式生成的 10 分钟影片。

4. VQQA:闭环提示词优化

VQQA(视频质量问答)为每个提示生成视觉问题。VLM 的评判充当“语义梯度”,重写文本提示。它无需访问模型内部。全局选择步骤会在所有迭代中挑选最佳视频,而不只是最后一次迭代的结果。

基准测试与结果

Google 构建了 3 个新基准测试。GenAD-Bench 包含来自 50 个品牌的 200 个虚构产品的 400 个广告场景。HardContinuityBench 重点考察场景重现和道具状态变化。LVBench-C 包含 120 个场景,其中关键资产会消失至少 10 个片段后才重新出现。

Co-Director:根据项目页面,在 GenAD-Bench 上平均得分 81.4,在人类评分中获 5 分中的 3.96 分。基线包括 Veo 3.1、Kling 3.0 Omni、Wan 2.6 和 MovieAgent。

CANVAS:在背景连续性上提升 21.6%,在角色一致性上提升 9.6%,在道具一致性上提升 7.6%。

A²RD:在 1 至 10 分钟的视频上,一致性最高提升 30%,叙事连贯性最高提升 20%。

VQQA:相比原始生成,在 T2V-CompBench 上绝对提升 11.57%,在 VBench2 上绝对提升 8.43%。

对比情况

FeatureGoogle AI Video Co-DirectorStoryMem (ByteDance, NTU)MovieAgent (Show Lab, NUS)AutoStudioOutputMinutes-long multi-shot video with voiceover and scoreMinute-long multi-shot videoMulti-scene, multi-shot video with subtitles and audioMulti-turn image sequences (no video)Architecture4 frameworks in a hierarchical multi-agent orchestration layerMemory-to-Video diffusion model, shot by shotMulti-agent chain-of-thought planning (director, screenwriter, storyboard artist, location manager)3 LLM agents plus a Stable Diffusion based agentConsistency mechanismPersistent visual memory (CANVAS) and multimodal video memory (A²RD)Keyframe memory bank from earlier shotsHierarchical planning plus per-character customizationSubject manager plus Parallel-UNetSelf-correction loopBandit search with MLLM Judge; VQQA prompt refinement with Global SelectionSemantic keyframe selection and aesthetic filteringNot reportedNot reportedModel trainingNo fine-tuning; orchestrates existing modelsLoRA fine-tuning on the base modelPer-character LoRA (ED-LoRA via ROICtrl)Training-freeBase generatorsGemini and Veo (model-agnostic)Wan2.2ROICtrl, SVD, HunyuanVideo I2VStable DiffusionLongest reported output10 minutes (A²RD)About 1 minuteNot specifiedN/A (images)CodeCo-Director and A²RD public; CANVAS coming soonPublicPublicPublic

来源:链接的论文、项目页面和 GitHub 仓库。核实于 2026 年 9 月 27 日。

关键要点

Google 将长视频视为一个全局优化和世界状态跟踪问题。

4 个框架覆盖规划、分镜、长视频生成和自我修正。

它作为 Gemini 和 Veo 上的编排层运行,并带有 SynthID 水印。

A²RD 制作了一部连续 10 分钟的电影,角色和场景保持稳定。

Co-Director 在 GenAD-Bench 上得分 81.4,高于 75.7 的随机搜索基线。

常见问题

什么是 Google 的 AI 视频联合导演?它是 Gemini 和 Veo 上的一个多智能体编排层。它负责规划、生成和修正多镜头视频,以保持其一致性。

视频可以有多长?A²RD 在 1 到 10 分钟的视频上进行了评估,Google 发布了一部连续的 10 分钟演示影片。

开发者今天可以使用它吗?部分可以。Co-Director 和 A²RD 的代码已在 GitHub 上。CANVAS 的代码尚未发布,而且整个流程并非 Google 的产品。

查看技术细节。所有功劳都归于该项目的研究人员。也欢迎在 Twitter 上关注我们,别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或网络研讨会等?联系我们

文章 Google Research Introduces an AI Video Co-Director: 4 Agentic Frameworks for Coherent, Minutes-Long Video Generation 首次出现在 MarkTechPost 上。