AI Radar — 每天的 AI 热点、模型与教程

NVIDIA 刚刚发布了 Nemotron 3.5 Bolt E4B 4GB，这是一个用于快速对话智能体的开源小型语言模型。它面向在 RTX、Jetson 和 Spark 硬件上本地运行的语音助手、游戏 NPC 和机器人接口。该模型仅通过强化学习从 Google 的 Gemma 4 E4B 后训练而来。对开发者而言，这就是在约 4GB 显存中实现的智能体行为。这为语音和视觉模型留出了空间。

TL;DR

规模：总参数 8B，有效参数 4B，上下文 64K。

运行平台：GeForce RTX、Jetson、RTX Spark 和 DGX Spark。在 NVIDIA 的测试中，Q4_K_M 构建在 RTX 上占用 3.1 至 4.3 GB 显存。

性能：在 21 项基准测试中，有 15 项得分超过 Gemma 4 E4B、Qwen3.5-4B 和 Nemotron 3 Nano 4B（NVIDIA 实测）。

最佳：IHEval 84.8，而 Gemma 4 E4B 为 67.0，Qwen3.5-4B 为 60.6。

最差：Tau2-Bench 55.1，落后 Qwen3.5-4B 的 75.1 约 20 分。

什么是 Nemotron 3.5 Bolt E4B？

Nemotron 3.5 Bolt E4B 是 NVIDIA 的一款小型语言模型，用于驱动本地对话智能体。它将自然对话与多轮工具调用相结合。NVIDIA 列出了 3 类目标工作负载：设备和语音助手、交互式角色，以及嵌入式或工业智能体。

研究报告中展示了一台运行在 Jetson Orin Nano 8GB 上的 Reachy Mini 机器人。在该演示中，Cosmos 3 Edge 负责视觉，而 Bolt 负责语音回复和工具调用。NVIDIA 团队还将 Bolt 称为面向 NVIDIA ACE 游戏角色的第三代小型模型。

发布文章中的核心特性：

多轮工具使用，并提供异步工具调用的指导。

一个 conversational_mode 标志，用于生成简短、适合语音的回复。

可配置的推理，以及用于限制延迟的运行时思考预算。

64K 上下文，用于历史记录、工具定义和应用状态。

Bolt E4B 是如何训练的？

NVIDIA 完全跳过了监督微调。根据研究报告，SFT 改善了工具调用，但损害了 Gemma 的对话质量和简洁性。因此，研究团队通过 NeMo-RL 和 NeMo-Gym 使用了 RLVR 和 RLHF。

每个训练样本都在推理和非推理两种模式下运行。每个批次保持非推理样本与推理样本 2:1 的比例。GenRM 环境中的长度惩罚阻止了答案在训练过程中变长。数据集和完整配方均已公开。

在部署方面，NVIDIA 使用重要性矩阵校准将 BF16 检查点量化为 Q4_K_M。校准使用了约 100 万 token 的 RL rollout。此次发布还附带了一个用于投机解码的 DFlash 草稿模型。在 RTX 5070 上，搭载 DFlash 的 Bolt 达到 272.6 tokens/s。搭载其 MTP 草稿模型的 Gemma 4 E4B 达到 225.9 tokens/s，因此 Bolt 快 1.21 倍。

Nemotron 3.5 Bolt E4B 在基准测试中表现如何？

NVIDIA 将 21 个基准测试归入 5 个能力领域。此处所有分数均为 BF16，由 NVIDIA 在其自有 NeMo-Gym 测试框架中测得。在推理模式下，Bolt 在 21 行中的 15 行领先。

NVIDIA 还报告称，其平均分数比 Nemotron 3 Nano 4B 高出约 40%。它声称在启用推理的对比中，输出 token 最多减少 80%。另外，根据一条 X 帖子，Scale Labs 在 MultiChallenge 上将 Bolt 评为小模型中的第一名，得分为 56.03%。

</div>

<div class="node">冗长度控制</div><div class="arr"></div>

<div class="node">Q4_K_M imatrix</div><div class="arr"></div>

<div class="node">DFlash 草稿模型</div>

</div>

</div>

</div>

<div class="note">BF16 分数由 NVIDIA 在其 NeMo-Gym 测试框架中测得。厂商报告的分数可能有所不同。绿色数值标记每行中的最佳成绩。</div>

</div>

<div class="meter"><div class="mv" id="mtp-ttft">0</div><div class="mu">首 token 时间 (ms)</div><div class="mbar"><div class="mfill" id="mtp-tb"></div></div></div>

<div class="meter"><div class="mv" id="mtp-tps">0</div><div class="mu">生成速度 (tokens/s)</div><div class="mbar"><div class="mfill" id="mtp-pb"></div></div></div>

</div>

<div class="note">Q4_K_M，llama.cpp (CUDA)，批大小 1，3K 输入 / 50 输出 token，无缓存上下文。来源：NVIDIA。</div>

</div>

<li>IHEval 84.8，对比 67.0 (Gemma 4 E4B) 和 60.6 (Qwen3.5-4B)</li>

<li>MultiChallenge 53.1，在 4 个模型中排名第一</li>

<li>RelyToolBench 63.2，Qwen3.5-4B 为 43.3</li>

<li>在 RTX 5070 上使用 DFlash 时，MTP 吞吐量是 Gemma 的 1.21 倍</li>

</ul></div>

<li>Tau2-Bench 55.1，Qwen3.5-4B 为 75.1</li>

<li>RULER 64K 87.0，Qwen3.5-4B 为 95.1</li>

<li>MMMU-Pro Vision 42.0，Gemma 4 E4B 为 47.6</li>

<li>在 Jetson Orin Nano 上、3K 输入时首 token 耗时 5,785 ms</li>

</ul></div>

</div>

<div class="ft"><span>来源：<a href="https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/" target="_blank" rel="noopener">NVIDIA 博客</a> · <a href="https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf" target="_blank" rel="noopener">技术报告</a> · <a href="https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16" target="_blank" rel="noopener">模型卡</a></span><span class="brand">© Marktechpost</span></div>

</div>

(function(){

var R=document.getElementById('mtp-bolt-e4b');

function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbed:'bolt-e4b',height:h},'*');}catch(e){}}

var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane');

tabs.forEach(function(t){t.addEventListener('click',function(){var i=+t.dataset.t;tabs.forEach(function(x){x.classList.toggle('on',x===t)});panes.forEach(function(p){p.classList.toggle('on',+p.dataset.p===i)});if(i===2)drawBars();if(i===3)showDev(curDev);setTimeout(post,60);});});

R.querySelectorAll('.rv').forEach(function(b){b.addEventListener('click',function(){b.classList.toggle('open');setTimeout(post,380);});});

var steps=[

['从 Gemma 4 E4B 出发','Bolt 以 Google 的 Gemma-4-E4B-it 为起点：总参数 8B，有效参数 4B。NVIDIA 保留主干并改变其行为。']

['仅用强化学习做后训练','RLVR 和 RLHF 在 NeMo-RL 和 NeMo-Gym 中运行。环境涵盖工具调用、指令遵循、指令层级和结构化输出。SFT 被放弃，因为它损害了对话质量。']

['两种模式都训练，控制长度','每个样本都在开启和关闭推理两种情况下运行，非推理与推理的比例为 2:1。组相对长度惩罚让回答保持简短。NVIDIA 报告称输出 token 比同类减少多达 80%。']

['量化为 Q4_K_M','BF16 检查点用 llama.cpp 量化，并使用约 100 万 token 的 RL rollout 做重要性矩阵校准。此构建面向约 4GB 显存。']

['用 DFlash 加速','一个并行草稿器在一次前向中提出 7 个 token；Bolt 对其进行验证。在 RTX 5070 上达到 272.6 tokens/s，而使用 MTP 的 Gemma 为 225.9，提升 1.21 倍。']];

var si=0,nodes=R.querySelectorAll('.node'),arrs=R.querySelectorAll('.arr'),dots=R.querySelectorAll('.dot');

function step(){document.getElementById('mtp-sn').textContent='Step '+(si+1)+' of 5';document.getElementById('mtp-st').textContent=steps[si][0];document.getElementById('mtp-sd').textContent=steps[si][1];

nodes.forEach(function(n,i){n.classList.toggle('on',i<=si)});arrs.forEach(function(a,i){a.classList.toggle('on',i<si)});dots.forEach(function(d,i){d.classList.toggle('on',i===si)});

document.getElementById('mtp-prev').disabled=si===0;document.getElementById('mtp-next').textContent=si===4?'Restart':'Next';setTimeout(post,60);}

document.getElementById('mtp-prev').addEventListener('click',function(){if(si>0){si--;step();}});

document.getElementById('mtp-next').addEventListener('click',function(){si=si===4?0:si+1;step();});

step();

var M=['Bolt E4B','Nemotron 3 Nano 4B','Qwen3.5-4B','Gemma 4 E4B'];

var B={'Conversation':[['MultiChallenge','多轮一致性',[53.1,35.3,51.8,42.1]],['RoleMRC','角色身份遵循',[80.6,47.0,65.8,74.6]],['EQ-Bench v3','情商',[39.4,19.3,32.9,41.1]]],

'Tool use':[['BFCL-v3','正确的工具与参数',[68.5,61.1,70.9,66.4]],['Tau2-Bench','多轮客户任务',[55.1,29.2,75.1,38.5]],['When2Call-MT','调用、澄清或弃权',[63.4,27.7,37.8,62.9]]],

'Instruction':[['IHEval','指令层级',[84.8,51.3,60.6,67.0]],['IFBench','精确输出约束',[63.8,60.1,58.9,42.8]],['StructEval-T','有效的结构化输出',[80.4,63.5,76.0,79.3]]],

'Context':[['RULER 64K','检索与推理',[87.0,91.5,95.1,86.5]],['LongBench v2 (48K)','长提示词',[50.5,31.4,59.9,49.3]],['LongMemEval','跨对话回忆',[72.1,25.2,66.8,70.9]]],

'Grounding':[['GaRAGe','来自所提供来源的事实',[42.6,25.2,24.7,34.7]],['RAGTruth','避免无依据的断言',[77.6,71.4,75.6,77.0]],['RelyToolBench','工具接地',[63.2,41.2,43.3,61.6]]]};

var cat='Conversation',chips=document.getElementById('mtp-chips');

Object.keys(B).forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cat?' on':'');c.textContent=k;c.addEventListener('click',function(){cat=k;chips.querySelectorAll('.chip').forEach(function(x){x.classList.toggle('on',x===c)});drawBars();});chips.appendChild(c);});

function drawBars(){var box=document.getElementById('mtp-bars');box.innerHTML='';B[cat].forEach(function(b){var mx=Math.max.apply(null,b[2]);var d=document.createElement('div');d.className='bench';var h='<div class="bname">'+b[0]+' <span>'+b[1]+'</span></div>';

b[2].forEach(function(v,i){h+='<div class="row'+(i===0?' bolt':'')+(v===mx?' top':'')+'"><div class="m">'+M[i]+'</div><div class="track"><div class="fill" data-w="'+v+'"></div></div><div class="v">'+v.toFixed(1)+'</div></div>';});

d.innerHTML=h;box.appendChild(d);});requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%';});});});setTimeout(post,60);}

var D=[['RTX 5070','12GB',3.5,548,133.4,'足够快，可支持实时语音轮次，并留有显存给语音模型。'],['RTX Spark','32GB',3.1,930,67.0,'NVIDIA 测试中显存占用最低，首个 token 耗时不到 1 秒。'],['Jetson AGX Orin','32GB',4.2,3687,24.0,'可用于机器人和自助终端；在 3K 输入下预计首次回复需数秒。'],['Jetson Orin Nano','8GB',4.2,5785,15.5,'可适配 8GB 板卡，但在 3K 输入下首 token 延迟是瓶颈。']];

var curDev=0,devs=document.getElementById('mtp-devs');

D.forEach(function(d,i){var b=document.createElement('button');b.className='dev'+(i===0?' on':'');b.innerHTML=d[0]+'<small>'+d[1]+'</small>';b.addEventListener('click',function(){curDev=i;devs.querySelectorAll('.dev').forEach(function(x){x.classList.toggle('on',x===b)});showDev(i);});devs.appendChild(b);});

function count(el,to,dec){var s=performance.now(),dur=700;function f(t){var p=Math.min(1,(t-s)/dur);p=1-Math.pow(1-p,3);var v=to*p;el.textContent=dec?v.toFixed(dec):Math.round(v).toLocaleString('en-US');if(p<1)requestAnimationFrame(f);}requestAnimationFrame(f);}

function showDev(i){var d=D[i];count(document.getElementById('mtp-vram'),d[2],1);count(document.getElementById('mtp-ttft'),d[3],0);count(document.getElementById('mtp-tps'),d[4],1);

document.getElementById('mtp-vb').style.width=(d[2]/6*100)+'%';document.getElementById('mtp-tb').style.width=(d[3]/6000*100)+'%';document.getElementById('mtp-pb').style.width=(d[4]/140*100)+'%';document.getElementById('mtp-verdict').textContent=d[5];setTimeout(post,60);}

window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300);

})();

</script>

Bolt 并非在所有方面都胜出。Qwen3.5-4B 在 Tau2-Bench（75.1 对 55.1）和 RULER 64K（95.1 对 87.0）上领先。它还在 LongBench v2（59.9 对 50.5）和 BFCL-v3（70.9 对 68.5）上领先。Gemma 4 E4B 在 EQ-Bench v3（41.1 对 39.4）上保持微弱优势。

Bolt E4B 与其他小模型相比如何？

特性Nemotron 3.5 Bolt E4BGemma 4 E4BQwen3.5-4BNemotron 3 Nano 4B参数总量 8B，有效 4B8B（含嵌入），有效 4.5B4B（语言模型）3.97B架构Gemma 4 E4B，经 RL 后训练稠密模型，带逐层嵌入门控 DeltaNet + 注意力混合Mamba-2 + Transformer 混合上下文64K128K262K262K许可证OpenMDW-1.1Apache 2.0Apache 2.0NVIDIA Nemotron Open Model License输入文本（卡片）；NIM 还接受图像和音频文本、图像、音频文本、图像、视频文本IHEval*84.867.060.651.3MultiChallenge*53.142.151.835.3Tau2-Bench*55.138.575.129.2RULER 64K*87.086.595.191.5可用性开源权重；build.nvidia.com 上提供免费 API开源权重开源权重开源权重

*基准测试行为 NVIDIA 在 Bolt 发布博文中测得的 BF16 分数。厂商报告的分数有所不同。

它运行在什么硬件上？

NVIDIA 使用 llama.cpp 在批大小为 1 的情况下测量了 Q4_K_M 构建版本。以下数据使用 3K 输入和 50 个输出 token。

设备显存（GB）首 token 时间（ms）Tokens/sRTX 5070（12GB）3.5548133.4RTX Spark（32GB）3.193067.0Jetson AGX Orin（32GB）4.23,68724.0Jetson Orin Nano（8GB）4.25,78515.5

“4GB”标签描述的是目标内存范围，而非文件大小。Hugging Face 上的 Q4_K_M GGUF 为 6.18 GB。

Bolt 已在 Hugging Face、Ollama、LM Studio、Unsloth 和 Jetson AI Lab 上提供。它还以 NVIDIA NIM 形式发布，并通过 In-Game Inferencing SDK 提供。

要点

Gemma 4 E4B，由 NVIDIA 仅用 RL 后训练，未使用 SFT。

在 NVIDIA 自己的测试框架中，于 21 个智能体基准测试里领先 15 个。

IHEval 84.8 是最突出的成绩；Tau2-Bench 55.1 是薄弱环节。

“4GB”是显存目标；GGUF 文件为 6.18 GB。

在 OpenMDW-1.1 下开放权重、数据和配方。

查看技术报告、GGUF 模型、BF16 模型和训练配方。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等？联系我们

文章《NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB：一款面向本地语音智能体、游戏角色与机器人的开源小型语言模型》首次出现在 MarkTechPost 上。

NVIDIA 发布 Nemotron 3.5 Bolt E4B：4GB 显存跑本地语音 Agent

1 个独立信源

相关条目