NVIDIA 发布了 Nemotron-Labs-Sigma,这是一组包含 14 个开放检查点的集合,规模为 3B 和 8B。Nemotron-Labs-Sigma 是一个连续扩散语言模型家族,在 16 维嵌入空间中对文本进行去噪。大多数扩散 LLM(如 LLaDA 和 Dream)在离散 token 上工作。Sigma 则在平滑的潜空间中工作。NVIDIA 团队表示,这使得少步蒸馏和轨迹引导对文本变得可行。

TL;DR

规模:3B 和 8B 参数,14 个检查点。上下文为 4,096 个 token(Sigma-8B-instruct 为 8,192)。

运行环境:1 块 NVIDIA GPU,bfloat16 精度(Ampere、Lovelace、Hopper、Blackwell)。在 1 块 H100 上约为 120 到 140 tokens/s。不支持 CPU,未列出量化变体。

性能:Sigma-8B base 在 NVIDIA 的 6 任务套件上平均得分 71.16,领先于 NLD-8B(70.22)。

最佳:GSM8K 上 91.96(Sigma-8B-instruct,256 DDPM 步)。

最差:AIME25 上 17.00(相同模型和采样器)。

总结:最佳:8 步蒸馏的 8B 保持 70.34 的平均分。最差:instruct 平均分(59.14)落后于 NLD-8B(59.92)。

什么是 Nemotron-Labs-Sigma?

研究团队称 Sigma 是首个大规模连续扩散语言模型家族。该集合在每个规模下有 4 种变体类型:

Base:Sigma-3B 和 Sigma-8B。

Instruct:Sigma-3B-instruct 和 Sigma-8B-instruct。

少步蒸馏:distill-3B 和 distill-8B,NFE 为 2、4、8 和 16(8 个检查点)。

自推测:distill-spec-3B 和 distill-spec-8B。

语言的连续扩散是如何工作的?

每个 token 映射到学习到的 16 维嵌入空间中的一个点。训练时向这些嵌入添加高斯噪声,并教模型去除噪声。嵌入几何与去噪器联合学习。

生成按块运行。每个去噪后的块在下一个块开始前提交到 KV 缓存。块默认大小为 64 个 token。

主干网络是 Ministral 风格的仅解码器 Transformer,带有分组查询注意力、SwiGLU 和旋转嵌入。训练从约 1T token 的自回归热启动开始。随后进行约 0.3T token 的扩散训练。

在推理时,无分类器引导和分数温度最为重要。模型卡页面建议在 32 个 DDIM 步下使用引导 3 和温度 0.3。

为什么连续空间很重要?

离散扩散在 token 状态之间跳跃,因此其轨迹难以引导。Sigma 则沿着平滑的 ODE/SDE 路径前进。根据该研究论文,这些路径在低步数下能优雅降级,并且可以高效蒸馏。嵌入空间中的引导还能调节 pass@k 采样的质量-多样性权衡。

Sigma 在基准测试上表现如何?

在该研究的 6 任务基础套件上,采用 256 步 DDPM 的 Sigma-8B 平均得分为 71.16。扩散模式下的 NLD-8B 得分为 70.22,Dream-7B 为 58.74,LLaDA-8B 为 41.78。AR 模式下的 Qwen3-8B 得分为 68.91。更廉价的 32 步 DDIM 采样器仍能让 Sigma-8B 达到 70.18 的平均分。

编程是突出亮点。Sigma-8B 在 HumanEval 上得分为 65.12,而 NLD-8B 为 62.80。MBPP 较弱,为 65.74 对 67.00。

经过 SFT 后,Sigma-8B-instruct 在 GSM8K 上得分为 91.96,在 MATH-500 上为 78.40,在 HumanEval 上为 82.50。困难推理仍然有限,在 AIME24 上为 23.33,在 AIME25 上为 17.00。其 10 任务平均分 59.14 略低于 NLD-8B 的 59.92。所有分数均为 NVIDIA 自己的评估结果。

返回</button><button class="b on" id="sg-next">下一步 </button><button class="b" id="sg-play">自动播放</button></div>

</div>

<div class="pn" id="p-bench">

<div class="ctl">

<button class="b on" data-m="avg">基础 6 任务平均</button>

<button class="b" data-m="gsm">GSM8K</button>

<button class="b" data-m="he">HumanEval</button>

<button class="b" data-m="mbpp">MBPP</button>

<button class="b" data-m="ins">Instruct 10 任务平均</button>

</div>

<div class="bars" id="bn-bars"></div>

<p class="note" id="bn-note"></p>

</div>

<div class="pn" id="p-few">

<div class="grid2">

<div class="box">

<div class="lbl">蒸馏检查点(原生 NFE,32 token 块)</div>

<div class="ctl" id="nf-btns"><button class="b" data-n="2">nfe2</button><button class="b" data-n="4">nfe4</button><button class="b on" data-n="8">nfe8</button><button class="b" data-n="16">nfe16</button></div>

<div style="display:flex;gap:22px;margin-top:14px">

<div><div class="big" id="nf-tpf">4</div><div class="lbl">每次前向的 token 数</div></div>

<div><div class="big" id="nf-n" style="color:#fff">8</div><div class="lbl">每个块的去噪器调用次数(+1 次读出)</div></div>

</div>

<div class="blk" id="nf-blk"></div>

<p class="note" id="nf-note"></p>

</div>

<div class="box">

<div class="lbl">基础模型采样器设置(DDIM,32 token 块)</div>

<table><tr><th>步数</th><th>引导</th><th>分数温度</th></tr>

<tr><td>32</td><td>3</td><td>0.3</td></tr><tr><td>16</td><td>3</td><td>0.4</td></tr><tr><td>8</td><td>3</td><td>0.6</td></tr><tr><td>4</td><td>2</td><td>0.8</td></tr></table>

<p class="note">基础质量在低于约 16 步时会明显下降。NVIDIA 建议少步生成使用蒸馏检查点。</p>

</div>

</div>

</div>

<div class="pn" id="p-speed">

<p class="desc" style="margin:0;font-size:13.5px;line-height:1.5">扩散头起草一个 32 token 块。模型自身的 AR 头对其进行验证,因此输出与贪心 AR 解码完全一致。</p>

<div class="bars" id="sp-bars"></div>

<div class="box" style="margin-top:14px">

<div class="lbl">相对 NLD-8B 基础模型的接受长度增益(Sigma-distill-spec-8B)</div>

<div class="bars" id="al-bars"></div>

</div>

<p class="note">1 块 NVIDIA GB200,BF16,SGLang,一次 1 个请求。由 NVIDIA 自行报告(arXiv:2610.02665)。</p>

</div>

<div class="pn" id="p-ckpt">

<div class="ctl"><button class="b on" data-f="all">全部 14 个</button><button class="b" data-f="3B">3B</button><button class="b" data-f="8B">8B</button></div>

<div class="chips" id="ck-list"></div>

<p class="note">基础上下文 4,096 token(8B-instruct:8,192)。NVIDIA Nemotron Open Model License。需要支持 bfloat16 的 CUDA GPU,不支持 CPU。</p>

</div>

<div class="ft"><span>来源:arXiv:2610.02665、Hugging Face 模型卡。基准测试由 NVIDIA 自行报告。</span><b>由 Marktechpost 构建</b></div>

</div>

<script>

(function(){

var R=document.getElementById('mtp-sigma');

function q(s){return R.querySelectorAll(s)}

function rs(){try{parent.postMessage({mtpSigmaH:R.offsetHeight+40},'*')}catch(e){}}

q('.tab').forEach(function(t){t.addEventListener('click',function(){q('.tab').forEach(function(x){x.classList.remove('on')});q('.pn').forEach(function(x){x.classList.remove('on')});t.classList.add('on');document.getElementById('p-'+t.dataset.t).classList.add('on');if(t.dataset.t==='bench')bench(cur);if(t.dataset.t==='speed')speed();setTimeout(rs,60);setTimeout(rs,600)})});

/* 工作原理 */

var D=[

1. 自回归热启动

2. 用高斯噪声破坏嵌入

3. 一次去噪一个块

4. 在推理时引导

var N=18,pts=[],S=0,timer=null;

for(var i=0;i<N;i++){var cx=20+(i%6)*44,cy=30+Math.floor(i/6)*55;pts.push({cx:cx,cy:cy,nx:10+Math.random()*240,ny:10+Math.random()*150})}

var g=document.getElementById('sg-dots'),ns='http://www.w3.org/2000/svg';

pts.forEach(function(p){var c=document.createElementNS(ns,'circle');c.setAttribute('r',6);c.setAttribute('class','dot');g.appendChild(c);p.el=c});

function draw(){

q('.st').forEach(function(x){x.classList.toggle('on',+x.dataset.s===S)});

var d=D[S];document.getElementById('sg-desc').innerHTML='<h3>'+d.h+'</h3><p>'+d.p.join('</p><p>')+'</p>';

pts.forEach(function(p,i){var x,y,f='#3a3a3a',o=1;

if(S===0){x=p.cx;y=p.cy;f='#555'}

else if(S===1){x=p.nx;y=p.ny;f='#8a8a8a'}

else if(S===2){var done=i<6;x=done?p.cx:p.nx;y=done?p.cy:p.ny;f=done?'#76B900':'#8a8a8a'}

else{x=p.cx+(i%2?3:-3);y=p.cy;f='#76B900'}

p.el.setAttribute('cx',x);p.el.setAttribute('cy',y);p.el.setAttribute('fill',f);p.el.style.opacity=o});

setTimeout(rs,50)}

q('.st').forEach(function(x){x.addEventListener('click',function(){S=+x.dataset.s;draw()})});

document.getElementById('sg-next').onclick=function(){S=(S+1)%4;draw()};

document.getElementById('sg-prev').onclick=function(){S=(S+3)%4;draw()};

document.getElementById('sg-play').onclick=function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent='Auto-play';b.classList.remove('on')}else{timer=setInterval(function(){S=(S+1)%4;draw()},1800);b.textContent='Pause';b.classList.add('on')}};

draw();

/* benchmarks */

var M=['Sigma-8B','NLD-8B','Qwen3-8B (AR)','Dream-7B','LLaDA-8B'];

var B={avg:[71.16,70.22,68.91,58.74,41.78],gsm:[88.57,87.26,86.73,77.18,70.96],he:[65.12,62.80,64.63,54.88,32.32],mbpp:[65.74,67.00,69.40,56.80,40.80],ins:[59.14,59.92,null,40.54,37.24]};

var NT={avg:'Base models, pass@1. Sigma-8B uses 256 DDPM steps. NLD, Dream and LLaDA in diffusion mode. Paper Table 2.',gsm:'GSM8K pass@1, base models. Paper Table 2.',he:'HumanEval pass@1, base models. Paper Table 2.',mbpp:'MBPP pass@1, base models. Sigma-8B trails NLD-8B and Qwen3-8B here. Paper Table 2.',ins:'Instruct models, 10-task average (GSM8K, MATH-500, AIME24/25, HumanEval, MBPP, LCB-CPP, MMLU, GPQA, IFEval). Diffusion mode. Qwen3-8B not in this row set. Paper Table 5.'};

var cur='avg';

function bench(k){cur=k;var box=document.getElementById('bn-bars');box.innerHTML='';

M.forEach(function(m,i){var v=B[k][i];if(v===null)return;var r=document.createElement('div');r.className='row';r.innerHTML='<span>'+m+'</span><div class="tr"><div class="fl'+(i===0?' s':'')+'"></div></div><span class="v">'+v.toFixed(2)+'</span>';box.appendChild(r);var f=r.querySelector('.fl');requestAnimationFrame(function(){requestAnimationFrame(function(){f.style.width=v+'%'})})});

document.getElementById('bn-note').textContent=NT[k]+' Self-reported by NVIDIA.';

q('#p-bench .b').forEach(function(b){b.classList.toggle('on',b.dataset.m===k)});setTimeout(rs,60)}

q('#p-bench .b').forEach(function(b){b.addEventListener('click',function(){bench(b.dataset.m)})});

bench('avg');

/* few-step */

function few(n){document.getElementById('nf-tpf').textContent=32/n;document.getElementById('nf-n').textContent=n;

var bk=document.getElementById('nf-blk');bk.innerHTML='';for(var i=0;i<32;i++){var t=document.createElement('div');t.className='tk';bk.appendChild(t)}

var tks=bk.children,step=32/n,k=0;(function lit(){if(k>=n)return;for(var j=k*step;j<(k+1)*step;j++)tks[j].classList.add('lit');k++;setTimeout(lit,n>8?90:220)})();

document.getElementById('nf-note').textContent=n===8?'Sigma-distill-8B-nfe8 卡片:6 项任务平均 70.34,GSM8K 88.44,HumanEval 65.18,MBPP 62.60(10 个随机种子)。':'每次前向的 token 数 = 32 token 块 / NFE。nfe'+n+' 的各检查点分数见其模型卡片。';

q('#nf-btns .b').forEach(function(b){b.classList.toggle('on',+b.dataset.n===n)});setTimeout(rs,60)}

q('#nf-btns .b').forEach(function(b){b.addEventListener('click',function(){few(+b.dataset.n)})});

few(8);

/* 速度 */

function bars(id,rows,max,suf){var box=document.getElementById(id);box.innerHTML='';rows.forEach(function(r){var e=document.createElement('div');e.className='row';e.innerHTML='<span>'+r[0]+'</span><div class="tr"><div class="fl'+(r[2]?' s':'')+'"></div></div><span class="v">'+r[1].toFixed(r[3])+suf+'</span>';box.appendChild(e);var f=e.querySelector('.fl');requestAnimationFrame(function(){requestAnimationFrame(function(){f.style.width=(r[1]/max*100)+'%'})})})}

function speed(){bars('sp-bars',[['Sigma-8B 平均',3.46,1,2],['NLD-8B 平均',3.04,0,2],['Sigma-8B 峰值',4.20,1,2],['Sigma-3B 峰值',3.18,1,2],['AR 解码',1.00,0,2]],4.5,'x');

bars('al-bars',[['GSM8K',33.0,1,1],['MBPP',22.7,1,1],['HumanEval',21.0,1,1]],40,'%');setTimeout(rs,60)}

/* 检查点 */

var C=[['Nemotron-Labs-Sigma-3B','Base'],['Nemotron-Labs-Sigma-3B-instruct','Instruct'],['Nemotron-Labs-Sigma-8B','Base'],['Nemotron-Labs-Sigma-8B-instruct','Instruct'],['Nemotron-Labs-Sigma-distill-3B-nfe2','2 NFE'],['Nemotron-Labs-Sigma-distill-3B-nfe4','4 NFE'],['Nemotron-Labs-Sigma-distill-3B-nfe8','8 NFE'],['Nemotron-Labs-Sigma-distill-3B-nfe16','16 NFE'],['Nemotron-Labs-Sigma-distill-spec-3B','Self-spec'],['Nemotron-Labs-Sigma-distill-8B-nfe2','2 NFE'],['Nemotron-Labs-Sigma-distill-8B-nfe4','4 NFE'],['Nemotron-Labs-Sigma-distill-8B-nfe8','8 NFE'],['Nemotron-Labs-Sigma-distill-8B-nfe16','16 NFE'],['Nemotron-Labs-Sigma-distill-spec-8B','Self-spec']];

function ck(f){var l=document.getElementById('ck-list');l.innerHTML='';C.forEach(function(c){if(f!=='all'&&c[0].indexOf(f)<0)return;var a=document.createElement('a');a.className='chip';a.href='https://huggingface.co/nvidia/'+c[0];a.target='_blank';a.rel='noopener';a.innerHTML='<span>'+c[0].replace('Nemotron-Labs-','')+'</span><em>'+c[1]+'</em>';l.appendChild(a)});

q('#p-ckpt .b').forEach(function(b){b.classList.toggle('on',b.dataset.f===f)});setTimeout(rs,60)}

q('#p-ckpt .b').forEach(function(b){b.addEventListener('click',function(){ck(b.dataset.f)})});

ck('all');

window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300);

})();

</script>

</body></html>

">

蒸馏和推测检查点有多快?

Sigma-distill-8B-nfe8 在 8 次去噪器调用加 1 次读出中解码每个 32 token 块。其模型卡报告 6 项任务平均 70.34,GSM8K 上 88.44,HumanEval 上 65.18。这接近 256 步教师模型。

NVIDIA 的发布帖将这一提升描述为数学任务上每次前向 8 个 token、代码任务上 4 个 token。

distill-spec 检查点增加了自推测解码。扩散头起草一个 32 token 块,模型自身的 AR 头对其进行验证。输出与贪心 AR 解码完全一致。在 1 块 GB200 上使用 SGLang,8B spec 模型平均比 AR 解码快 3.46 倍。NLD-8B 在相同设置下达到 3.04 倍。峰值加速在 8B 上达到 4.20 倍,在 3B 上达到 3.18 倍。

如何部署 Nemotron-Labs-Sigma?

全部 14 个检查点均在 Hugging Face 上,采用 NVIDIA Nemotron Open Model License。模型卡声明这些模型已可用于商业用途。你需要一块支持 bfloat16 的 CUDA GPU:Ampere、Lovelace、Hopper 或 Blackwell。不支持 CPU 推理。

加载需要 PyTorch 2.4+、Transformers 4.55+ 以及 trust_remote_code。在 1 块 H100 上,基础模型生成速度约为 120 到 140 tokens/s。蒸馏模型卡列出了 vLLM、SGLang 和 Docker Model Runner 用于服务。NVIDIA 不提供托管 API。

Sigma 与其他 8B 扩散模型和 AR 模型相比如何?

基准测试行使用 NVIDIA 在 Sigma 论文中的评估结果(表 2 基础模型,表 5 指令模型)。规格来自各模型自己的模型卡。

特性Sigma-8BNLD-8BDream-7BLLaDA-8BQwen3-8B生成方式连续扩散(16 维)离散扩散、AR、自推测离散扩散离散扩散自回归参数量8B8B7B(卡片标注为 8B)8B8.2B上下文4,096(instruct 8,192)未披露未披露未披露32,768(131,072 YaRN)许可证NVIDIA Nemotron Open ModelNVIDIA Nemotron Open ModelApache 2.0MITApache 2.0硬件NVIDIA GPU,bf16,无 CPUNVIDIA GPU(已在 DGX Spark、GB200 上测试)未披露未披露未披露基础 6 任务平均71.1670.2258.7441.7868.91(AR)GSM8K88.5787.2677.1870.9686.73HumanEval65.1262.8054.8832.3264.63MBPP65.7467.0056.8040.8069.40Instruct 10 任务平均59.1459.9240.5437.24未披露可用性开放权重,HF开放权重,HF开放权重,HF开放权重,HF开放权重,HF

要点

Sigma 将语言扩散移入学习到的 16 维连续嵌入空间。

14 个开放检查点:3B 和 8B 的 base、instruct、蒸馏和推测版本。

Sigma-8B base 平均得分 71.16,领先 NLD-8B 的 70.22。

自推测 8B 的解码速度平均比 AR 快 3.46 倍。

薄弱点:AIME25 上为 17.00,base 上下文为 4,096 token,仅支持 GPU。

查看论文、模型合集和项目页面。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等?联系我们

文章《NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B》首发于 MarkTechPost。