AI Radar — 每天的 AI 热点、模型与教程

MBZUAI 的基础模型研究所（IFM）发布了 PAN 2，一个面向物理智能的开放世界模型。PAN 2 世界模型接收一个场景和一段文本动作，并将结果模拟为视频。IFM 于 2026 年 11 月 10 日在 X 上宣布了这一消息。权重、训练代码和推理代码以 Apache 2.0 许可发布。对于机器人和智能体开发者来说，卖点很简单：在行动之前先在模拟中测试计划。

TL;DR

规模：29B 参数的扩散 Transformer（MMDiT），稠密。输入：文本加可选的首帧。输出：704×1248 视频，24 fps，最长 20 秒。

运行于：数据中心 GPU。每个 worker 以 BF16 持有完整的 29B 模型，并以块卸载作为回退方案。

性能：在完整计划上领先 6 个受测模型。在单动作和人类偏好上落后于 MiniMax-H3。

最佳：在 100 个多步任务上完整计划完成率为 34.0%，是所有受测模型中最高的（自报数据）。

最差：约 2/3 的计划会漏掉一个步骤。Physics-IQ 系统默认值：37.48，而 MiniMax-H3 为 42.91。

结论：最佳：一个完全开放的世界模型，在多步计划上领先。最差：长计划仍经常失败，且硬件需求高。

什么是 PAN 2？

PAN 2 是 IFM 推出的通用世界模型，用于模拟场景在某个动作之后如何变化。它遵循 IFM 的《Critique of World Models》论文中的生成式潜在预测（GLP）架构。它接替了 2025 年 11 月发布的 PAN。

目标是模拟式推理。智能体提出计划，PAN 2 模拟每一个计划，智能体再基于最佳结果行动。

PAN 2 如何工作？

PAN 2 将模拟拆分为 2 种推理：

概念推理：一个 LLM 读取观测和请求的动作。它以结构化 JSON 写出下一个世界状态：事件、绑定到执行者的定时动作，以及相机运动。任何具备指令遵循能力的 LLM 都可以担任这一角色。IFM 的报告默认使用 Kimi K3。

感知推理：一个 29B 的 MMDiT 预测视频潜在表示。IFM 在数亿条标注视频上从零训练了它。一个冻结的 Qwen3.5-9B 文本编码器为其提供条件。Wan 2.2 VAE 解码器渲染最终帧。

IFM 的消融实验表明 LLM 至关重要。在没有概念推理的情况下，完整计划完成率从 34.0% 降至 0.0%。步骤完成率从 75.1% 降至 8.7%。仅做格式重写能弥补部分差距，达到 27.8% 的完整计划完成率。

IFM 在早期训练后还去掉了游戏画面、动画和模拟视频素材。一个不包含这些素材训练的 9B 测试模型在盲测投票中赢得了 58% 的票数。

Prev</button>

<span class="hint">点击任意步骤可跳转</span>

</div>

</div>

<button class="chip" data-a="0">无：动作直接送入扩散模型</button>

<button class="chip" data-a="1">仅格式重写</button>

<button class="chip on" data-a="2">完整概念推理</button>

</div>

<div class="card"><div class="k">步骤完成率</div><div class="v" id="ab1">75.1<small>%</small></div><div class="mini"><i id="ib1"></i></div></div>

<div class="card"><div class="k">完整计划完成率</div><div class="v" id="ab2">34.0<small>%</small></div><div class="mini"><i id="ib2"></i></div></div>

</div>

<p class="note">IFM 消融实验，以 Kimi K3 作为推理器；扩散模型保持不变。没有 LLM 时，没有任何多步计划能完成。来源：IFM 技术博客。</p>

</div>

<div class="spec"><div class="k">生成器</div><div class="v">29B MMDiT，BF16，从零训练</div></div>

<div class="spec"><div class="k">采样器</div><div class="v">50 步 · flow shift 9 · CFG 2.5</div></div>

<div class="spec"><div class="k">字幕预算</div><div class="v">1,536 tokens 硬性上限</div></div>

<div class="spec"><div class="k">服务</div><div class="v">Diffusers · vLLM · FastVideo · generate.py</div></div>

<div class="spec"><div class="k">GPU 显存</div><div class="v">每个 worker 完整 29B；块卸载回退；显存未披露</div></div>

<div class="spec"><div class="k">安全性</div><div class="v">pan2-guardrail：不安全 T2V 33.9% → 1.5%</div></div>

<div class="spec"><div class="k">许可证</div><div class="v">Apache 2.0：权重、训练 + 推理代码</div></div>

</div>

<pre>hf download IFM/PAN2 --include "transformer/*"

hf download Qwen/Qwen3.5-9B

hf download Wan-AI/Wan2.2-TI2V-5B-Diffusers</pre>

</div>

<span>来源：<a href="https://huggingface.co/IFM/PAN2" target="_blank" rel="noopener">HF 模型卡</a> · <a href="https://ifm.ai/blog/pan2/" target="_blank" rel="noopener">IFM 博客</a> · 分数为自报</span>

<span class="mtp">© Marktechpost</span>

</div>

(function(){

var R=document.getElementById('mtp-pan2');

function post(){try{parent.postMessage({type:'mtp-pan2-h',h:R.offsetHeight+40},'*')}catch(e){}}

// tabs

R.querySelectorAll('.tab').forEach(function(b){b.addEventListener('click',function(){

R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});

R.querySelectorAll('.pane').forEach(function(x){x.classList.remove('on')});

b.classList.add('on');document.getElementById('p-'+b.dataset.p).classList.add('on');

if(b.dataset.p==='bench')drawBars(cur);

if(b.dataset.p==='abl')setAbl(abl);

setTimeout(post,60);

})});

// pipeline

var D=[

['观察：当前世界 + 动作','输入是可选的起始图像加文本，以及用文本描述并带时长的动作。示例：“加速红树林生长以保护海岸。”',''],

概念推理主干（LLM）一个遵循指令的 LLM 对场景和动作进行推理。它将下一个世界状态写成结构化、带时间基准的 JSON。IFM 的报告默认使用 Kimi K3。 { "events": [{"t":"0-3s","actor":"surfer","action":"paddles"}, {"t":"3s","actor":"surfer","action":"pops up"}], "camera": "slow pan right" }

冻结的文本编码器 Qwen3.5-9B 将结构化描述映射为条件特征。描述文本的软限制为 1,480 个 token，硬限制为 1,536 个 token。

感知推理主干（29B MMDiT）一个 29B 的扩散 Transformer，在数亿个采用相同描述格式的视频上从零训练，用于补全几何、接触和运动。它以状态和起始帧为条件预测视频潜变量。

渲染下一个观测 Wan 2.2 VAE 解码器将潜变量转换为 704x1248、24 fps 的视频，最长 20 s。智能体比较模拟结果，并基于最佳方案行动。

];

var step=0,timer=null,nodes=R.querySelectorAll('.node');

function show(i){step=(i+5)%5;nodes.forEach(function(n,k){n.classList.toggle('on',k===step);n.classList.toggle('done',k<step)});

document.getElementById('mtpFlow').style.width=((step+1)/5*100)+'%';

var d=D[step];document.getElementById('mtpDetail').innerHTML='<h4>'+d[0]+'</h4><p>'+d[1]+'</p>'+(d[2]?'<pre>'+d[2]+'</pre>':'');setTimeout(post,30);}

nodes.forEach(function(n){n.addEventListener('click',function(){stop();show(+n.dataset.i)})});

document.getElementById('mtpNext').onclick=function(){stop();show(step+1)};

document.getElementById('mtpPrev').onclick=function(){stop();show(step-1)};

var pb=document.getElementById('mtpPlay');

function stop(){if(timer){clearInterval(timer);timer=null;pb.textContent=' Auto-play'}}

pb.onclick=function(){if(timer){stop();return}pb.textContent='❚❚ Pause';timer=setInterval(function(){show(step+1)},2600)};

show(0);

// bars

var M={

plan:{n:'完整计划完成率',u:'%',max:40,note:'100 个自我中心任务，456 步。所有步骤均完成的模拟占比。† 闭源模型，单一种子。',d:[['PAN 2',34.00,1],['MiniMax-H3',32.50],['FLUX 3 †',26.77,0,1],['Seedance 2.5 †',24.49,0,1],['Cosmos 3 Super',13.83],['LTX 2.5',13.00]]}

step:{n:'步骤完成率',u:'%',max:80,note:'已执行的单个计划步骤占比。PAN 2 与 MiniMax-H3 实际上打平。',d:[['MiniMax-H3',75.12],['PAN 2',75.10,1],['FLUX 3 †',72.44,0,1],['Seedance 2.5 †',68.95,0,1],['Cosmos 3 Super',57.23],['LTX 2.5',55.77]]}

six:{n:'6 项能力',u:'%',max:90,note:'300 个单动作用例（201 个 I2V，99 个 T2V）。MiniMax-H3 在全部 6 个类别中领先。',d:[['MiniMax-H3',87.20],['PAN 2',84.48,1],['Seedance 2.5 †',78.59,0,1],['FLUX 3 †',77.41,0,1],['LTX 2.5',72.25],['Cosmos 3 Super',71.34]]}

piq:{n:'Physics-IQ Verified',u:'',max:55,note:'排行榜设置；真实拍摄方差 = 100。此处 PAN 2 使用 Claude Opus 5.5 作为推理器。LTX 2.5 不在排行榜上。',d:[['FLUX 3 †',51.11,0,1],['PAN 2',49.38,1],['Cosmos 3 Super',48.62],['Seedance 2.5 †',42.43,0,1],['MiniMax-H3',39.79],['Omni Flash 1.1 †',35.34,0,1]]}

rb:{n:'RBench',u:'',max:65,note:'机器人基准测试，未加权平均值 x100。',d:[['Omni Flash 1.1 †',60.79,0,1],['FLUX 3 †',57.96,0,1],['PAN 2',57.04,1],['Seedance 2.5 †',56.38,0,1],['MiniMax-H3',56.16],['LTX 2.5',51.55],['Cosmos 3 Super',50.64]]}

elo:{n:'人类 Elo',u:'',max:1700,min:1250,note:'盲测两两偏好：140 个提示词，13 位评审，1,400 次比较。仅限开源模型。',d:[['MiniMax-H3',1620],['PAN 2 (GPT-6 Astra)',1595,1],['PAN 2 (Claude Opus)',1559,1],['Cosmos 3 Super',1380],['LTX 2.5',1346]]}

};

var cur='plan',seg=document.getElementById('mtpSeg');

Object.keys(M).forEach(function(k){var b=document.createElement('button');b.className='chip'+(k===cur?' on':'');b.textContent=M[k].n;b.onclick=function(){cur=k;seg.querySelectorAll('.chip').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(k)};seg.appendChild(b)});

function drawBars(k){var m=M[k],box=document.getElementById('mtpBars');box.innerHTML='';

m.d.forEach(function(r){var row=document.createElement('div');row.className='row'+(r[2]?' me':'');

var v=m.u==='%'?r[1].toFixed(2)+'%':(k==='elo'?String(r[1]):r[1].toFixed(2));

row.innerHTML='<div class="lab'+(r[3]?' cl':'')+'">'+r[0]+'</div><div class="trk"><div class="fill"></div></div><div class="val">'+v+'</div>';box.appendChild(row);

var mn=m.min||0,w=Math.max(2,(r[1]-mn)/(m.max-mn)*100);

requestAnimationFrame(function(){requestAnimationFrame(function(){row.querySelector('.fill').style.width=w+'%'})});});

document.getElementById('mtpNote').textContent=m.note+(m.min?' Axis starts at '+m.min+'.':'');setTimeout(post,60);}

// 消融实验

var A=[[45.1,8.7,0.0],[78.2,70.7,27.8],[84.6,75.1,34.0]],abl=2;

function setAbl(i){abl=i;R.querySelectorAll('#mtpAblSeg .chip').forEach(function(c){c.classList.toggle('on',+c.dataset.a===i)});

[0,1,2].forEach(function(j){var el=document.getElementById('ab'+j),to=A[i][j],from=parseFloat(el.textContent)||0,t0=null;

function tick(ts){if(!t0)t0=ts;var p=Math.min(1,(ts-t0)/600),v=from+(to-from)*p;el.innerHTML=v.toFixed(1)+'<small>%</small>';if(p<1)requestAnimationFrame(tick)}

requestAnimationFrame(tick);document.getElementById('ib'+j).style.width=to+'%';});}

R.querySelectorAll('#mtpAblSeg .chip').forEach(function(c){c.onclick=function(){setAbl(+c.dataset.a)}});

window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300);

})();

</script>

</body>

</html>

PAN 2 在基准测试上表现如何？

以下所有数字均由 IFM 自行报告。其自有的测试套件覆盖 6 项能力，包含 300 个单动作用例，外加 100 个多步骤任务。

完整计划完成率：34.00%，而 MiniMax-H3 为 32.50%，FLUX 3 为 26.77%，Seedance 2.5 为 24.49%。

步骤完成率：75.10%，与 MiniMax-H3 的 75.12% 持平。

6 项能力总体：84.48%，而 MiniMax-H3 为 87.20%。MiniMax-H3 在全部 6 个类别中领先。

Physics-IQ Verified（排行榜设置）：49.38，在开源模型中排名第一。闭源 FLUX 3 得分为 51.11。

RBench：57.04，而 MiniMax-H3 为 56.16，Cosmos 3 Super 为 50.64。

Human Elo：搭配 GPT-6 Astra 推理器时为 1595，落后于 MiniMax-H3 的 1620。

PAN 2 对比 MiniMax-H3、Cosmos 3 Super 和 LTX-2.5

FeaturePAN 2MiniMax-H3Cosmos 3 SuperLTX-2.5DeveloperIFM (MBZUAI)MiniMaxNVIDIALightricksGenerator size29B MMDiT33B dense transformer (~13B in cacheable AdaLN branches)64B Mixture-of-Transformers22B transformer (per checkpoint file names)Planner / encoderAny LLM + frozen Qwen3.5-9B encoderQwen3-VL-32B encoder; hosted Context-IRBuilt-in autoregressive towerGemma-based text encoderMax clip20 s, 704×1248, 24 fps15 s, 24 fps, 768p (2K via hosted module)400 framesNot disclosedAudioNoYes, stereoYesYesLicenseApache 2.0MiniMax H3 Community LicenseOpenMDW 1.1LTX-2.x Community LicenseTraining codeYesNot disclosedFramework on GitHubNot disclosedFull-plan completion*34.00%32.50%13.83%13.00%Physics-IQ Verified (leaderboard)*49.3839.7948.62Not reportedHuman Elo*1595162013801346

*分数来自 IFM 的 PAN 2 模型卡，由 IFM 运行。博客中报告的 Cosmos 3 Super 和 LTX-2.5 计划分数不同。

如何运行 PAN 2？

PAN 2 支持文本生成视频和图像生成视频。你可以通过 Hugging Face Diffusers、vLLM、FastVideo 或仓库中的 generate.py 来运行它。

默认采样器使用 50 步、flow shift 9 和 guidance 2.5。一个片段默认 241 帧，约 10 秒。每个 GPU worker 以 BF16 加载完整的 29B 模型。IFM 未公布显存占用或生成时间。

提示词以结构化描述效果最佳。IFM 为 Claude Code 和 Codex 提供了一个 Conceptual Reasoner 技能，可重写自由文本。描述有 1,536 个 token 的硬性预算。

IFM 强烈建议使用单独的 pan2-guardrail。在 IFM 的测试中，它将有害 T2V 请求的不安全输出从 33.9% 降至 1.5%。它同时也拦截了 11.5% 的良性 T2V 请求。

要点

PAN 2 将一个 LLM 规划器与一个从零训练的 29B 扩散模型配对。

在完整计划完成度上，它以 34.0% 领先 6 个受测模型。

MiniMax-H3 仍在单一动作和人类偏好上胜出。

权重、训练和推理代码均为 Apache 2.0。

移除 LLM 规划器会使完整计划完成度降至 0%。

查看模型权重、GitHub 仓库、技术博客和新闻稿。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们

MBZUAI 的 IFM 发布 PAN 2——一个面向物理 AI 的开放 29B 世界模型一文首发于 MarkTechPost。

MBZUAI 的 IFM 发布 PAN 2：29B 开源世界模型

1 个独立信源

相关条目