视频世界模型可以渲染出令人信服的片段,但仍然违背物理规律。黄油像油漆一样涂抹开来。球穿墙而过。来自 NVIDIA、MIT 和牛津大学的一个团队认为,解决办法可以来自语言本身,而不是额外的视觉、潜在或数值信号。

他们的框架 Physis-Lang 将物理语言视为一种共享的、可优化的表示。同一段文本驱动数据整理、模型训练和推理。在 2026 年 9 月 29 日的公开 Physics-IQ Verified 排行榜快照上,基于 Cosmos3-Super 的 Physis-Lang 以 48.2 ± 1.4 排名第一。Cosmos3-Nano 版本以 43.3 ± 1.5 排名第二。

视频世界模型可以做出一个令人信服的片段,但仍然把物理搞错。

我们的研究人员刚刚发布了 Physis-Lang,一个开放的自演化框架,为视频字幕加入物理推理。这些字幕解释了场景为何以及如何展开。我们用它们来微调…… pic.twitter.com/agIHuIB6N2

— NVIDIA AI (@NVIDIAAI) 2026 年 9 月 29 日

Physis-Lang 解决了什么问题?

传统字幕描述发生了什么,而不是为什么发生。‘黄油随着温度升高而融化’对热传递或重力只字未提。Physis-Lang 为每条基础字幕添加了一个 physics_reasoning 字段。它阐明了实体、原因、相互作用、支配原理、时间演化和效果。

该流程还会写一个场景特定的 physics_negative_prompt。这段文本描述了可能的不合理结果,例如石头漂浮在水面上。它在推理时充当负向条件。

自演化字幕循环是如何工作的?

该循环让字幕生成器保持冻结,只演化其指令。一个 GPT-5.5 字幕生成器为一个固定的 20 个视频的开发集编写字幕,该开发集包含 273 条人工验证的断言。Gemini-3.1-Pro 充当具有物理感知能力的评审。一个演化智能体读取分数和断言级别的失败,然后重写提示词。

评审对 2 个维度打分:

精确率:字幕被拆分为原子断言,每条断言都对照视频进行检查。

召回率:每条人工整理的物理断言都必须被字幕明确陈述或蕴含。

每个修订后的提示词都在 PhysCapBench 上验证,这是一个包含 246 个视频和 3,794 条人工核验断言的新基准测试。Caption F1 从第 1 次迭代的 78.64 上升到第 9 次迭代的 87.82。这条路并不平坦。第 2 次迭代让描述变得过于谨慎,F1 降至 76.28。第 9 次迭代要求呈现每一个可见的因果步骤,并将帧采样从 2 fps 提高到 4 fps。

语言引导的数据筛选是如何工作的?

一个 GPT-5.5 诊断智能体将生成视频的失败映射到物理类别,如刚体运动、碰撞和流体动力学。该缺陷画像会与大型视频库中的物理标签进行匹配。检索针对的是物理内容,而非视觉外观。

最终训练集包含 183K 个视频:从 WISA-80K 中筛选出的 71K 个,加上检索到的 112K 个片段。仅检索一项就在 3 个基准测试上平均增加了 3.01 分。在 VideoPhy-2 上,化学和热力学过程各提升了 8.00 分。

Physis-Lang 与 Veo 3.1 相比如何?

微调在注意力投影上使用 LoRA,没有架构或目标函数的改动。Physis-Lang 基于 Cosmos3-Nano 与 Google 的 Veo 3.1 对比:

PhyGenBench:71.04 对 65.63

Physics-IQ Verified:43.41 对 34.99

PhyGround:69.90 对 69.24

VideoPhy-2:全集上 68.02 对 68.87,Hard 划分上 62.36 对 58.43

增益在不同骨干网络上保持稳定:Wan2.1-14B 上 +7.05,Cosmos3-Edge-4B 上 +3.24,Cosmos3-Nano-16B 上 +6.22,Cosmos3-Super-64B 上 +5.02。通用质量在 VBench-I2V 上保持稳定,Cosmos3-Nano 从 88.32 升至 88.69。

仅靠提示词也有帮助。物理推理加上负向提示词,将冻结的 Cosmos3-Nano 在 PhyGenBench 上从 61.67 提升到 67.29。

它能在没有商业 API 的情况下运行吗?

研究团队将 GPT 流水线蒸馏为 2 个 Qwen3-VL-4B-Instruct 模型:用于描述的 PhysThinker-C 和用于提示词上采样的 PhysThinker-U。在 Wan2.1-14B 上,商业流水线在约 24.12K 美元 API 成本下带来 +7.05。换用 PhysThinker-C 后,在约 0.12K 美元成本下保持了 +6.76。完全本地部署成本为 0 美元,仍增加了 +4.76。

Physis-Lang 与最接近的竞品对比

FeaturePhysis-LangPhiZeroPhyGDPOSelf-RefinementDeveloperNVIDIA, MIT, OxfordCASIA (NLPR)Meta (ECCV 2026)Liu et al.Core ideaSelf-evolving natural-language physics captions and negative promptsLearned discrete "physical language", reason-then-renderGroupwise DPO with VLM physics rewardsMultimodal chain-of-thought prompt refinement from VLM feedbackWhere physics entersData curation, training captions and inference promptsQwen3-VL-4B reasoner feeding a diffusion decoderPreference training on PhyVidGen-135KInference prompts onlyTraining neededLoRA SFT (prompt-only mode also helps)YesYes (DPO)No, training-freePhysics-IQ Verified43.4140.91n/r27.20PhyGenBench71.04n/r48.9649.17VideoPhy-2 (All / Hard)68.02 / 62.36n/r59.56 / 44.9447.88 / 28.09PhyGround69.9057.85n/r58.22Code / weights publicPaper only"Coming soon""Released soon"Paper

分数来自 Physis-Lang 论文的表 1 至表 4,每个基准测试在同一协议下运行(PhyGenBench 和 VideoPhy-2 使用 GPT-5.5 评估器)。Physis-Lang 的数值使用 Cosmos3-Nano 主干。n/r = 在该对比中未报告。发布状态检查于 2026 年 9 月 30 日。

关键要点

Physis-Lang 借助评论家引导的智能体演化物理描述,而描述器保持冻结。

PhysCapBench 在 3,794 条经人工验证的因果、规律和效果断言上对描述进行评分。

搭载 Physis-Lang 的 Cosmos3-Nano 在 4 个基准测试中的 3 个上击败 Veo 3.1。

仅物理提示词就让一个冻结模型在 PhyGenBench 上提升了 5.62 分。

目前尚无代码或权重公开;仅发布了论文。

查看 Paper、Project Page 和 GitHub Repo。所有功劳归于该项目的研究者。另外,欢迎在 Twitter 上关注我们,别忘了加入我们拥有 150k+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等!你在用 telegram 吗?现在你也可以在 telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

文章 NVIDIA Researchers Introduce Physis-Lang: Self-Evolving Physical Language That Lifts Cosmos 3 Past Veo 3.1 on Physics Benchmarks 首次发表于 MarkTechPost。