常驻智能体越来越需要解读视觉信息、基于视觉信息进行推理、使用工具并采取行动。这些工作流需要一个将多模态理解与高精度执行相结合的模型。
NVIDIA Nemotron 3.5 Super VL 是一个开放的、可定制的多模态模型，专为长时间运行的智能体构建，使开发者能够针对专门化工作流最大化准确性和效率。
它将推理、指令遵循和工具使用与文本、图像、文档和视频理解结合在一个模型中，减少了部署独立文本模型和视觉模型的需求，并有助于在工作流各步骤之间保持与任务相关的上下文。
Nemotron 3.5 Super VL 基于 1200 亿参数的混合专家（MoE）架构构建，拥有 120 亿活跃参数，为专门化的常驻智能体任务平衡了准确性和效率。企业可以使用 NVIDIA NeMo，结合自身的数据、工具、策略和工作流对其进行后训练。
在模型系统中，Nemotron 3.5 Super VL 被设计为默认的高精度智能体执行模型，原生支持文档、图像和视频理解。它与用于高吞吐文本执行的 NVIDIA Nemotron 3.5 Lightning 以及用于最困难纯文本推理的 NVIDIA Nemotron 3 Ultra 形成互补。
Nemotron 3.5 Super VL 满足了多模态常驻智能体的两项实际需求：
- 原生视觉理解与智能体执行：该模型将高精度推理和工具使用与文档、图像和视频理解相结合，在专门化工作流中保持与任务相关的上下文。
- 高效、可控的部署：混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化旨在提升生成效率，并为更多并发的长上下文会话创造余量。
TL;DR：关于 NVIDIA Nemotron 3.5 Super VL
- 架构：混合专家设计，总参数 120B，活跃参数 12B
- 模态：输入为文本、图像、文档和视频；输出为文本
- 优化：C-RADIOv4 视觉编码器、混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化
- 模型角色：面向模型系统的高精度智能体执行，具备原生视觉理解能力
- 定制化：使用 NVIDIA NeMo 基于组织特定的数据、工具、策略和工作流进行后训练
- 部署：NVIDIA NIM 用于跨云和数据中心环境的优化生产服务
- 部署目标：1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100
- 可用性：
使用 vLLM 运行高吞吐推理
Nemotron 3.5 Super VL 旨在跨多种 NVIDIA 平台运行。vLLM 提供了将模型引入生产工作流所需的服务层，包括连续批处理、前缀缓存、投机解码以及兼容 OpenAI 的 API。
BF16 检查点提供了直接的部署基线。NVFP4 也在发布时提供，适用于能够利用低精度推理的环境。
安装 vLLM
dockerpullvllm/vllm-openai:v0.31.0
dockerrun--rm-it--gpusall--ipc=host--network=host\
-v~/.cache/huggingface:/root/.cache/huggingface\
--entrypoint/bin/bash\
vllm/vllm-openai:v0.31.0启动模型服务
以下 NVFP4 启动配置是 1× GB200 设置的示例。使用前请在目标硬件上验证。
vllmservenvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4\
--served-model-namenemotron-3.5-super\
--trust-remote-code\
--max-model-len114688\
--reasoning-parsernemotron_v3\
--speculative-config.methodmtp\
--speculative-config.num_speculative_tokens5服务器运行后，应用程序可以通过兼容 OpenAI 的客户端发送提示：
fromopenaiimportOpenAI
client=OpenAI(base_url="http://localhost:8000/v1"，api_key="null")
response=client.chat.completions.create(
model="nemotron-3.5-super"，
messages=[
{
"role"："user"，
"content"：[
{"type"："text"，"text"："Describe what happens in this video."}，
{
"type"："video_url"，
"video_url"：{"url"："https://example.com/clip.mp4"}
}，
]，
}
]，
temperature=1.0，
top_p=0.95，
max_tokens=4096，
)
print(response.choices[0].message.reasoning)# 思考轨迹
print(response.choices[0].message.content)# 最终答案使用推测解码加速长时间运行的智能体工作流
Nemotron 3.5 Super VL 支持多 token 预测（MTP），可在保持目标模型输出质量的同时加速 token 生成。
Nemotron 3.5 Super VL 内置多 token 预测（MTP）头。在解码过程中，这些头会提出未来的 token，由目标模型进行验证，从而减少较长响应所需的顺序生成步数。
例如，MTP 也可以启用三个推测 token：
vllmservenvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4\
--served-model-namenemotron-3.5-super\
--trust-remote-code\
--speculative-config.methodmtp\
--speculative-config.num_speculative_tokens3专为专业化、常驻运行的智能体工作流而打造
企业可以借助 NVIDIA NeMo 将 Nemotron 3.5 Super VL 适配到自身的术语、数据、策略、工具和工作流中。这使一个通用多模态模型能够成为面向特定领域智能体任务的专业化执行引擎，同时保持对模型行为和数据处理的掌控。
示例用例
- 客户服务：通过解读客户提供的文档和图像、应用策略并使用服务工具，解决多步骤请求。
- 文档智能：解读复杂文档——包括 OCR、表格、图表和页面布局——以提取信息并生成摘要或报告。
- 企业生产力：通过解读视觉信息、对其推理并使用工具，完成多步骤任务。
- 视频理解：从视频中提取关键信息，以支持搜索、内容审核、广告、零售和事件分析。
- 网络研究：跨网站搜索、连接多个来源的信息并验证结果。
多模态智能体任务的准确性与效率
Nemotron 3.5 Super VL 旨在为专业化的多模态智能体任务提供高准确率，同时每个 token 仅使用其总参数的一部分。混合 Mamba-Transformer 架构、多 token 预测以及 NVFP4 量化有助于加速输出生成。
如图 1 所示，在单块 GPU 上，该模型在智能体任务上的吞吐量最高可达其他开源模型的 5 倍（同尺寸级别）。
图 1. Nemotron 3.5 Super VL 在 Baseten 端点上运行 Artificial Analysis Intelligence Index 智能体任务时，吞吐量超过 600 TPS。
如图 2 所示，与同尺寸的其他领先开源模型相比，Nemotron 3.5 Super VL 执行任务的速度快 4 倍。
图 2. Nemotron 3.5 Super VL 利用更高的吞吐量和 token 效率，将任务完成速度提升 4 倍。
作为参考，图 3 展示了相关模型 Nemotron 3.5 Super 在 DGX Spark 上的对比。该图表并未测量 Nemotron 3.5 Super VL。
图 3. Nemotron 3.5 Super 在 DGX Spark 上的效率前沿。
开始使用
准备好构建能够看、推理和行动的智能体了吗？
致谢
NVIDIA：Nirmal Kumar Juluru、Anusha Pant、Faradawn Yang、Pen Chung Li、Alex Steiner、Ran Zilberstein、Nave Assaf、Amir Klein