NVIDIA 发布了 Nemotron-Labs-Sigma,这是一组包含 14 个开放检查点的集合,规模为 3B 和 8B。Nemotron-Labs-Sigma 是一个连续扩散语言模型家族,在 16 维嵌入空间中对文本进行去噪。大多数扩散 LLM(如 LLaDA 和 Dream)在离散 token 上工作。Sigma 则在平滑的潜空间中工作。NVIDIA 团队表示,这使得少步蒸馏和轨迹引导对文本变得可行。
TL;DR
规模:3B 和 8B 参数,14 个检查点。上下文为 4,096 个 token(Sigma-8B-instruct 为 8,192)。
运行环境:1 块 NVIDIA GPU,bfloat16 精度(Ampere、Lovelace、Hopper、Blackwell)。在 1 块 H100 上约为 120 到 140 tokens/s。不支持 CPU,未列出量化变体。
性能:Sigma-8B base 在 NVIDIA 的 6 任务套件上平均得分 71.16,领先于 NLD-8B(70.22)。
最佳:GSM8K 上 91.96(Sigma-8B-instruct,256 DDPM 步)。
最差:AIME25 上 17.00(相同模型和采样器)。
总结:最佳:8 步蒸馏的 8B 保持 70.34 的平均分。最差:instruct 平均分(59.14)落后于 NLD-8B(59.92)。
什么是 Nemotron-Labs-Sigma?
研究团队称 Sigma 是首个大规模连续扩散语言模型家族。该集合在每个规模下有 4 种变体类型:
Base:Sigma-3B 和 Sigma-8B。
Instruct:Sigma-3B-instruct 和 Sigma-8B-instruct。
少步蒸馏:distill-3B 和 distill-8B,NFE 为 2、4、8 和 16(8 个检查点)。
自推测:distill-spec-3B 和 distill-spec-8B。
语言的连续扩散是如何工作的?
每个 token 映射到学习到的 16 维嵌入空间中的一个点。训练时向这些嵌入添加高斯噪声,并教模型去除噪声。嵌入几何与去噪器联合学习。
生成按块运行。每个去噪后的块在下一个块开始前提交到 KV 缓存。块默认大小为 64 个 token。
主干网络是 Ministral 风格的仅解码器 Transformer,带有分组查询注意力、SwiGLU 和旋转嵌入。训练从约 1T token 的自回归热启动开始。随后进行约 0.3T token 的扩散训练。
在推理时,无分类器引导和分数温度最为重要。模型卡页面建议在 32 个 DDIM 步下使用引导 3 和温度 0.3。
为什么连续空间很重要?
离散扩散在 token 状态之间跳跃,因此其轨迹难以引导。Sigma 则沿着平滑的 ODE/SDE 路径前进。根据该研究论文,这些路径在低步数下能优雅降级,并且可以高效蒸馏。嵌入空间中的引导还能调节 pass@k 采样的质量-多样性权衡。
Sigma 在基准测试上表现如何?
在该研究的 6 任务基础套件上,采用 256 步 DDPM 的 Sigma-8B 平均得分为 71.16。扩散模式下的 NLD-8B 得分为 70.22,Dream-7B 为 58.74,LLaDA-8B 为 41.78。AR 模式下的 Qwen3-8B 得分为 68.91。更廉价的 32 步 DDIM 采样器仍能让 Sigma-8B 达到 70.18 的平均分。
编程是突出亮点。Sigma-8B 在 HumanEval 上得分为 65.12,而 NLD-8B 为 62.80。MBPP 较弱,为 65.74 对 67.00。
经过 SFT 后,Sigma-8B-instruct 在 GSM8K 上得分为 91.96,在 MATH-500 上为 78.40,在 HumanEval 上为 82.50。困难推理仍然有限,在 AIME24 上为 23.33,在 AIME25 上为 17.00。其 10 任务平均分 59.14 略低于 NLD-8B 的 59.92。所有分数均为 NVIDIA 自己的评估结果。
返回</button><button class="b on" id="sg-next">下一步 </button><button class="b" id="sg-play">自动播放</button></div>
</div>
<div class="pn" id="p-bench">
<div class="ctl">
<button class="b on" data-m="avg">基础 6 任务平均</button>
<button class="b" data-m="gsm">GSM8K</button>
<button class="b" data-m="he">HumanEval</button>
<button class="b" data-m="mbpp">MBPP</button>
<button class="b" data-m="ins">Instruct 10 任务平均</button>
</div>
<div class="bars" id="bn-bars"></div>
<p class="note" id="bn-note"></p>
</div>
<div class="pn" id="p-few">
<div class="grid2">
<div class="box">
<div class="lbl">蒸馏检查点(原生 NFE,32 token 块)</div>
<div class="ctl" id="nf-btns"><button class="b" data-n="2">nfe2</button><button class="b" data-n="4">nfe4</button><button class="b on" data-n="8">nfe8</button><button class="b" data-n="16">nfe16</button></div>
<div style="display:flex;gap:22px;margin-top:14px">
<div><div class="big" id="nf-tpf">4</div><div class="lbl">每次前向的 token 数</div></div>
<div><div class="big" id="nf-n" style="color:#fff">8</div><div class="lbl">每个块的去噪器调用次数(+1 次读出)</div></div>
</div>
<div class="blk" id="nf-blk"></div>
<p class="note" id="nf-note"></p>
</div>
<div class="box">
<div class="lbl">基础模型采样器设置(DDIM,32 token 块)</div>
<table><tr><th>步数</th><th>引导</th><th>分数温度</th></tr>
<tr><td>32</td><td>3</td><td>0.3</td></tr><tr><td>16</td><td>3</td><td>0.4</td></tr><tr><td>8</td><td>3</td><td>0.6</td></tr><tr><td>4</td><td>2</td><td>0.8</td></tr></table>
<p class="note">基础质量在低于约 16 步时会明显下降。NVIDIA 建议少步生成使用蒸馏检查点。</p>
</div>
</div>
</div>
<div class="pn" id="p-speed">
<p class="desc" style="margin:0;font-size:13.5px;line-height:1.5">扩散头起草一个 32 token 块。模型自身的 AR 头对其进行验证,因此输出与贪心 AR 解码完全一致。</p>
<div class="bars" id="sp-bars"></div>
<div class="box" style="margin-top:14px">
<div class="lbl">相对 NLD-8B 基础模型的接受长度增益(Sigma-distill-spec-8B)</div>
<div class="bars" id="al-bars"></div>
</div>
<p class="note">1 块 NVIDIA GB200,BF16,SGLang,一次 1 个请求。由 NVIDIA 自行报告(arXiv:2610.02665)。</p>
</div>
<div class="pn" id="p-ckpt">
<div class="ctl"><button class="b on" data-f="all">全部 14 个</button><button class="b" data-f="3B">3B</button><button class="b" data-f="8B">8B</button></div>
<div class="chips" id="ck-list"></div>
<p class="note">基础上下文 4,096 token(8B-instruct:8,192)。NVIDIA Nemotron Open Model License。需要支持 bfloat16 的 CUDA GPU,不支持 CPU。</p>
</div>
<div class="ft"><span>来源:arXiv:2610.02665、Hugging Face 模型卡。基准测试由 NVIDIA 自行报告。</span><b>由 Marktechpost 构建</b></div>
</div>
<script>
(function(){
var R=document.getElementById('mtp-sigma');
function q(s){return R.querySelectorAll(s)}
function rs(){try{parent.postMessage({mtpSigmaH:R.offsetHeight+40},'*')}catch(e){}}
q('.tab').forEach(function(t){t.addEventListener('click',function(){q('.tab').forEach(function(x){x.classList.remove('on')});q('.pn').forEach(function(x){x.classList.remove('on')});t.classList.add('on');document.getElementById('p-'+t.dataset.t).classList.add('on');if(t.dataset.t==='bench')bench(cur);if(t.dataset.t==='speed')speed();setTimeout(rs,60);setTimeout(rs,600)})});
/* 工作原理 */
var D=[
1. 自回归热启动
2. 用高斯噪声破坏嵌入
3. 一次去噪一个块
4. 在推理时引导
var N=18,pts=[],S=0,timer=null;
for(var i=0;i<N;i++){var cx=20+(i%6)*44,cy=30+Math.floor(i/6)*55;pts.push({cx:cx,cy:cy,nx:10+Math.random()*240,ny:10+Math.random()*150})}
var g=document.getElementById('sg-dots'),ns='http://www.w3.org/2000/svg';
pts.forEach(function(p){var c=document.createElementNS(ns,'circle');c.setAttribute('r',6);c.setAttribute('class','dot');g.appendChild(c);p.el=c});
function draw(){
q('.st').forEach(function(x){x.classList.toggle('on',+x.dataset.s===S)});
var d=D[S];document.getElementById('sg-desc').innerHTML='<h3>'+d.h+'</h3><p>'+d.p.join('</p><p>')+'</p>';
pts.forEach(function(p,i){var x,y,f='#3a3a3a',o=1;
if(S===0){x=p.cx;y=p.cy;f='#555'}
else if(S===1){x=p.nx;y=p.ny;f='#8a8a8a'}
else if(S===2){var done=i<6;x=done?p.cx:p.nx;y=done?p.cy:p.ny;f=done?'#76B900':'#8a8a8a'}
else{x=p.cx+(i%2?3:-3);y=p.cy;f='#76B900'}
p.el.setAttribute('cx',x);p.el.setAttribute('cy',y);p.el.setAttribute('fill',f);p.el.style.opacity=o});
setTimeout(rs,50)}
q('.st').forEach(function(x){x.addEventListener('click',function(){S=+x.dataset.s;draw()})});
document.getElementById('sg-next').onclick=function(){S=(S+1)%4;draw()};
document.getElementById('sg-prev').onclick=function(){S=(S+3)%4;draw()};
document.getElementById('sg-play').onclick=function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent='Auto-play';b.classList.remove('on')}else{timer=setInterval(function(){S=(S+1)%4;draw()},1800);b.textContent='Pause';b.classList.add('on')}};
draw();
/* benchmarks */
var M=['Sigma-8B','NLD-8B','Qwen3-8B (AR)','Dream-7B','LLaDA-8B'];
var B={avg:[71.16,70.22,68.91,58.74,41.78],gsm:[88.57,87.26,86.73,77.18,70.96],he:[65.12,62.80,64.63,54.88,32.32],mbpp:[65.74,67.00,69.40,56.80,40.80],ins:[59.14,59.92,null,40.54,37.24]};
var NT={avg:'Base models, pass@1. Sigma-8B uses 256 DDPM steps. NLD, Dream and LLaDA in diffusion mode. Paper Table 2.',gsm:'GSM8K pass@1, base models. Paper Table 2.',he:'HumanEval pass@1, base models. Paper Table 2.',mbpp:'MBPP pass@1, base models. Sigma-8B trails NLD-8B and Qwen3-8B here. Paper Table 2.',ins:'Instruct models, 10-task average (GSM8K, MATH-500, AIME24/25, HumanEval, MBPP, LCB-CPP, MMLU, GPQA, IFEval). Diffusion mode. Qwen3-8B not in this row set. Paper Table 5.'};
var cur='avg';
function bench(k){cur=k;var box=document.getElementById('bn-bars');box.innerHTML='';
M.forEach(function(m,i){var v=B[k][i];if(v===null)return;var r=document.createElement('div');r.className='row';r.innerHTML='<span>'+m+'</span><div class="tr"><div class="fl'+(i===0?' s':'')+'"></div></div><span class="v">'+v.toFixed(2)+'</span>';box.appendChild(r);var f=r.querySelector('.fl');requestAnimationFrame(function(){requestAnimationFrame(function(){f.style.width=v+'%'})})});
document.getElementById('bn-note').textContent=NT[k]+' Self-reported by NVIDIA.';
q('#p-bench .b').forEach(function(b){b.classList.toggle('on',b.dataset.m===k)});setTimeout(rs,60)}
q('#p-bench .b').forEach(function(b){b.addEventListener('click',function(){bench(b.dataset.m)})});
bench('avg');
/* few-step */
function few(n){document.getElementById('nf-tpf').textContent=32/n;document.getElementById('nf-n').textContent=n;
var bk=document.getElementById('nf-blk');bk.innerHTML='';for(var i=0;i<32;i++){var t=document.createElement('div');t.className='tk';bk.appendChild(t)}
var tks=bk.children,step=32/n,k=0;(function lit(){if(k>=n)return;for(var j=k*step;j<(k+1)*step;j++)tks[j].classList.add('lit');k++;setTimeout(lit,n>8?90:220)})();
document.getElementById('nf-note').textContent=n===8?'Sigma-distill-8B-nfe8 卡片:6 项任务平均 70.34,GSM8K 88.44,HumanEval 65.18,MBPP 62.60(10 个随机种子)。':'每次前向的 token 数 = 32 token 块 / NFE。nfe'+n+' 的各检查点分数见其模型卡片。';
q('#nf-btns .b').forEach(function(b){b.classList.toggle('on',+b.dataset.n===n)});setTimeout(rs,60)}
q('#nf-btns .b').forEach(function(b){b.addEventListener('click',function(){few(+b.dataset.n)})});
few(8);
/* 速度 */
function bars(id,rows,max,suf){var box=document.getElementById(id);box.innerHTML='';rows.forEach(function(r){var e=document.createElement('div');e.className='row';e.innerHTML='<span>'+r[0]+'</span><div class="tr"><div class="fl'+(r[2]?' s':'')+'"></div></div><span class="v">'+r[1].toFixed(r[3])+suf+'</span>';box.appendChild(e);var f=e.querySelector('.fl');requestAnimationFrame(function(){requestAnimationFrame(function(){f.style.width=(r[1]/max*100)+'%'})})})}
function speed(){bars('sp-bars',[['Sigma-8B 平均',3.46,1,2],['NLD-8B 平均',3.04,0,2],['Sigma-8B 峰值',4.20,1,2],['Sigma-3B 峰值',3.18,1,2],['AR 解码',1.00,0,2]],4.5,'x');
bars('al-bars',[['GSM8K',33.0,1,1],['MBPP',22.7,1,1],['HumanEval',21.0,1,1]],40,'%');setTimeout(rs,60)}
/* 检查点 */
var C=[['Nemotron-Labs-Sigma-3B','Base'],['Nemotron-Labs-Sigma-3B-instruct','Instruct'],['Nemotron-Labs-Sigma-8B','Base'],['Nemotron-Labs-Sigma-8B-instruct','Instruct'],['Nemotron-Labs-Sigma-distill-3B-nfe2','2 NFE'],['Nemotron-Labs-Sigma-distill-3B-nfe4','4 NFE'],['Nemotron-Labs-Sigma-distill-3B-nfe8','8 NFE'],['Nemotron-Labs-Sigma-distill-3B-nfe16','16 NFE'],['Nemotron-Labs-Sigma-distill-spec-3B','Self-spec'],['Nemotron-Labs-Sigma-distill-8B-nfe2','2 NFE'],['Nemotron-Labs-Sigma-distill-8B-nfe4','4 NFE'],['Nemotron-Labs-Sigma-distill-8B-nfe8','8 NFE'],['Nemotron-Labs-Sigma-distill-8B-nfe16','16 NFE'],['Nemotron-Labs-Sigma-distill-spec-8B','Self-spec']];
function ck(f){var l=document.getElementById('ck-list');l.innerHTML='';C.forEach(function(c){if(f!=='all'&&c[0].indexOf(f)<0)return;var a=document.createElement('a');a.className='chip';a.href='https://huggingface.co/nvidia/'+c[0];a.target='_blank';a.rel='noopener';a.innerHTML='<span>'+c[0].replace('Nemotron-Labs-','')+'</span><em>'+c[1]+'</em>';l.appendChild(a)});
q('#p-ckpt .b').forEach(function(b){b.classList.toggle('on',b.dataset.f===f)});setTimeout(rs,60)}
q('#p-ckpt .b').forEach(function(b){b.addEventListener('click',function(){ck(b.dataset.f)})});
ck('all');
window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300);
})();
</script>
</body></html>
">
蒸馏和推测检查点有多快?
Sigma-distill-8B-nfe8 在 8 次去噪器调用加 1 次读出中解码每个 32 token 块。其模型卡报告 6 项任务平均 70.34,GSM8K 上 88.44,HumanEval 上 65.18。这接近 256 步教师模型。
NVIDIA 的发布帖将这一提升描述为数学任务上每次前向 8 个 token、代码任务上 4 个 token。
distill-spec 检查点增加了自推测解码。扩散头起草一个 32 token 块,模型自身的 AR 头对其进行验证。输出与贪心 AR 解码完全一致。在 1 块 GB200 上使用 SGLang,8B spec 模型平均比 AR 解码快 3.46 倍。NLD-8B 在相同设置下达到 3.04 倍。峰值加速在 8B 上达到 4.20 倍,在 3B 上达到 3.18 倍。
如何部署 Nemotron-Labs-Sigma?
全部 14 个检查点均在 Hugging Face 上,采用 NVIDIA Nemotron Open Model License。模型卡声明这些模型已可用于商业用途。你需要一块支持 bfloat16 的 CUDA GPU:Ampere、Lovelace、Hopper 或 Blackwell。不支持 CPU 推理。
加载需要 PyTorch 2.4+、Transformers 4.55+ 以及 trust_remote_code。在 1 块 H100 上,基础模型生成速度约为 120 到 140 tokens/s。蒸馏模型卡列出了 vLLM、SGLang 和 Docker Model Runner 用于服务。NVIDIA 不提供托管 API。
Sigma 与其他 8B 扩散模型和 AR 模型相比如何?
基准测试行使用 NVIDIA 在 Sigma 论文中的评估结果(表 2 基础模型,表 5 指令模型)。规格来自各模型自己的模型卡。
特性Sigma-8BNLD-8BDream-7BLLaDA-8BQwen3-8B生成方式连续扩散(16 维)离散扩散、AR、自推测离散扩散离散扩散自回归参数量8B8B7B(卡片标注为 8B)8B8.2B上下文4,096(instruct 8,192)未披露未披露未披露32,768(131,072 YaRN)许可证NVIDIA Nemotron Open ModelNVIDIA Nemotron Open ModelApache 2.0MITApache 2.0硬件NVIDIA GPU,bf16,无 CPUNVIDIA GPU(已在 DGX Spark、GB200 上测试)未披露未披露未披露基础 6 任务平均71.1670.2258.7441.7868.91(AR)GSM8K88.5787.2677.1870.9686.73HumanEval65.1262.8054.8832.3264.63MBPP65.7467.0056.8040.8069.40Instruct 10 任务平均59.1459.9240.5437.24未披露可用性开放权重,HF开放权重,HF开放权重,HF开放权重,HF开放权重,HF
要点
Sigma 将语言扩散移入学习到的 16 维连续嵌入空间。
14 个开放检查点:3B 和 8B 的 base、instruct、蒸馏和推测版本。
Sigma-8B base 平均得分 71.16,领先 NLD-8B 的 70.22。
自推测 8B 的解码速度平均比 AR 快 3.46 倍。
薄弱点:AIME25 上为 17.00,base 上下文为 4,096 token,仅支持 GPU。
查看论文、模型合集和项目页面。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等?联系我们
文章《NVIDIA AI Releases Nemotron-Labs-Sigma, a Continuous Diffusion Language Model with 14 checkpoints at 3B/8B》首发于 MarkTechPost。