AI Radar — 每天的 AI 热点、模型与教程

Mistral Large 4（又名 Le Chonk）是 Mistral 推出的多模态、多语言混合专家（MoE）模型。它以文本和图像为输入并生成文本。它拥有约1T 总参数、49B 激活参数，上下文窗口为1M tokens。

该模型发布两个官方变体：

FP8
NVFP4

此外还有GGUF由Unsloth和 llama.cpp 团队创建。它依据 Mistral Ecosystem Open-Weight License（一个 MIT 衍生许可证，为模型即服务类产品设定了限制）分发。

Mistral Large 4 在网络安全、编码智能体和多模态方面尤为强大。在本文中，我们将探讨该模型的工作原理、能力、架构等更多内容！

Mistral Large 4 的新特性

Mistral Large 4将大规模专家池与稀疏注意力和一个Pixtral视觉编码器相结合。语言模型为每个 token 选择一小部分专家，而其注意力索引器则选择要关注哪些更早的 token 位置。这是两种不同形式的稀疏性，一种选择前馈网络，另一种选择上下文位置。

你可以在Mistral Large 4 集合中找到所有检查点。

网络安全能力

Mistral Large 4 在 Artificial Analysis Cyber Index 测试中得分 82%，该测试要求模型复现开源软件中的真实漏洞，然后修补该软件。Mistral 报告称，多个闭源前沿模型在同一测试中得分接近零，因为它们拒绝尝试这项工作。这对防御者至关重要，因为修复漏洞通常需要复现漏洞。在 Mistral 的内部测试中，Mistral Large 4 在恶意软件分析、漏洞优先级排序和编写检测规则方面也很有用，而这些并非该模型被明确训练过的任务。

Mistral 主要将该模型定位用于防御性安全工作。漏洞研究和事件响应在模型输入中往往看起来像攻击，因此闭源过滤器可能会将其拦截。依赖 API 的团队也可能在事件处理过程中失去访问权限。关键在于，开源权重模型让使用策略和部署都处于用户掌控之下。话虽如此，该模型仍会拒绝有害请求：在来自 JailbreakBench、StrongREJECT 和 AgentHarm 的网络安全提示上，其平均拒绝率高于任何其他开源权重模型。

对于社区构建者而言，像 Mistral Large 4 这样的开源权重模型解锁了大量下游用例。你可以围绕自己的代码库、崩溃日志和恶意软件样本构建自己的网络安全系统。例如，借助TRL，你可以微调基于 Mistral Large 4 轨迹的较小模型来修补你的代码库。事实上，先复现再修补的任务使用可验证奖励，因此它适合可用于进一步对较小的安全模型进行 RL 的 RL 环境。开源权重还让研究人员能够直接测量模型的拒绝行为，而不必依赖提供商的描述。

简而言之，像 ML4 这样的网络安全能力公开可用，对社区是巨大的推动。

我们采访了 Pierre Stock，谈论该模型的网络安全能力，你可以在这里观看。

架构

Mistral Large 4 的文本解码器有 72 层、隐藏维度 6,144、64 个注意力头。其注意力块将多头潜在注意力（MLA）与 DeepSeek 稀疏注意力（DSA）索引器相结合（这也是 GLM 5.3 等其他模型的一个方向）。MLA 保留压缩的 KV 表示，DSA 为每个查询最多选择 2,048 个关键位置。

对于每个解码器块，存在 3:1 的 RoPE 与 NoPE 模式，即 3 个解码器层使用 RoPE，每第四层使用 NoPE。该模型还跨层共享 KV 状态。
第一个解码器层使用稠密前馈网络。其余 71 层使用 MoE 块，其中 softmax 路由器为每个 token 从 128 个专家中选择四个。一个共享专家始终与所选专家一起运行，因此每个 token 共有 5 个活跃专家。

关于 RoPE，Mistral 使用LeRope，一个 YaRN 缩放的 RoPE，每个频率带有一个学习到的乘数。

视觉编码器

Mistral Large 4 采用了一个 1.6B 的 Pixtral 编码器。Pixtral 有 30 层，隐藏维度为 2,048，16 个注意力头。它使用 14 × 14 的 patch，以及空间合并大小为 2 的 patch-merge 投影器。你可以在下方看到编码器流水线。

基准测试结果

Mistral Large 4 在编程、网络安全、多模态理解和智能体工作流方面都展现出强劲的基准测试表现，使其成为开源权重生态中一个有竞争力的新成员。截至 2026 年 10 月 29 日，该模型在 Artificial Analysis Intelligence 指数上位列第五佳的开源权重模型。

在编程方面，ML4 取得DeepSWE v1.1 上 61.7%，SWE-Atlas-QnA 上 59.4%，以及Terminal-Bench 4 上 28.3%。其综合Coding Agent Index 得分为 49.8%，领先于 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。

ML4 的编程能力还延伸到知识工作领域，在AutomationBench 上取得 59.9%以及AA-Briefcase 上 1,393 Elo，这两项评测分别衡量业务流程和长周期专业任务。

网络安全是 Mistral Large 4 的突出能力之一，在真实世界的漏洞评估和安全竞赛任务中都取得了强劲结果。三项基准测试凸显了该模型的网络安全表现：

Artificial Analysis Cyber Index：ML4 在这项独立评估中位列全球前五模型，该评估衡量模型发现并修复软件漏洞的能力。
漏洞复现与修补：它取得了82%，是该指数内此项测试报告的最高分。该任务要求复现开源软件中的真实漏洞并随后修补它，同时考察调查与修复能力。
Cybench：ML4 解决了93%的取自安全竞赛的 40 道挑战题，在实操安全问题上展现出强劲表现。

Mistral Large 4 还展现出在 Lakera 的 B3 基准测试上 93.3% 的攻击抵抗力，为抵御提示注入攻击的稳健性增添了证据。除基准测试之外，内部测试在恶意软件分析、漏洞优先级排序和检测规则生成方面也显示出有前景的结果。

推理支持

Mistral Large 4 发布即支持 transformers、vLLM 和 llama.cpp。GGUF 量化版本可从 GGUF 和llama.cpp 团队获取。我们提供通过 Inference Endpoints 进行远程部署的选项，以及通过 Inference Providers 使用无服务器推理。

Transformers

Transformers 实现提供了AutoModelForMultimodalLM，由AutoProcessor准备对话和图像输入。Mistral Large 4 可以接受low，medium，high作为推理强度。默认值为high，请注意推理无法禁用，因此使用reasoning_effort：none仍会使用high。

要运行该模型，请升级 transformers 包

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)

# 仅文本
text_messages = [
    {
        "role": "user",
        "content": "你是谁？"
    }
]

# 文本 + 图像
multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://hf-mirror.com/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "图像中有几只猫？",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

你可以将上述脚本保存为 python 文件来运行script.py然后运行

torchrun --nproc-per-node 8 script.py

vLLM

vLLM 支持高质量的 NVFP4 Mistral Large 4 检查点，其内存占用更小，并且需要 NVIDIA Blackwell GPU。该模型还附带一个 DSpark drafter，可在 vLLM 中提供额外的加速。像这样启动服务器：

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

服务器启动并运行后，你可以运行以下内容。

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"17*23 等于多少？"}],"max_tokens":512}'

Llama.cpp

Llama.cpp 和Llama App已经支持 Mistral Large 4。

你可以使用以下命令安装 Llama App：

curl -LsSf https://llama.app/install.sh | sh

然后你可以按如下方式启动服务器，在模型 ID 后指明量化后缀：

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

这里是仓库包含从 FP8 检查点导出的量化版本，以及这是 NVFP4 版本，从官方 NVFP4 仓库转换而来。

服务器启动后，你可以访问 localhost:9931 使用内置 WebUI 进行聊天。在 Web UI 中，你可以添加图像进行推理，并调整推理杠杆。
你也可以按如下方式查询服务器。欢迎查看API 参考了解多模态、工具调用等更多内容。

curl http://localhost:8080/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{
"messages": [
{"role": "system", "content": "你是一个有用的助手。"},
写一首关于 Python 异常的打油诗
]
}'

你可以按如下方式运行图文推理。

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
"model": "muse-spark-open",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "这张图片里有什么？"
},
{
"type": "image_url",
"image_url": {
"url": "data:image/png;base64,..."
}
}
]
}
],
"temperature": 0
}'

llama.cpp 团队提供了以下量化版本：IQ2_XXS，Q2_K，Q4_K_M，NVFP4，Q8_0，以及BF16用于进一步转换。2-bit 量化版本可在单台配备 512 GB 统一内存的 Apple Silicon Ultra 电脑上运行。其他版本需要分布式推理。你也可以在多张 NVIDIA 或 AMD 显卡上运行。

运行Q2_K在单台 M3 Ultra 上，我们得到的预填充吞吐量约为每秒 90 个 token，生成速度为 15 tok/s。在 4 张 RTX6000 Pro 上，我们观察到以下结果：

NVFP4：32K 上下文窗口，预填充 130-590 t/s，生成速度约 10 t/s
IQ2_XXS：800K 上下文窗口。在短上下文下，预填充为 500 tok/s，生成速度为 30 tok/s。但在长上下文下，性能降至 129 tok/s（预填充）和 3 tok/s（生成）。

使用 TRL 进行微调

我们还提供了使用 TRL 对 Mistral Large 4 进行微调的 day 0 支持。你只需升级到最新版本的transformers，trl和peft。

pip install --upgrade transformers trl peft

在以下示例中，我们训练模型进行多语言思考。微调后的模型将能够用系统提示所要求的语言进行推理！

该脚本在由 8 块 B300 组成的节点上以 FP8 变体运行。

# torchrun --nproc-per-node 8 sft.py
import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# 助手轮次带有推理内容，因此以推理模式渲染它们
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

推理端点

Mistral Large 4 也可在 Inference Endpoints 上使用，并提供了在 8 块 NVIDIA H200 GPU 上即可部署的配方。该配方运行 vLLM，使用张量并行和专家并行将 FP8 权重拆分到全部八块 GPU 上，并利用模型内置的 DSpark 草稿头通过投机解码实现更快的生成。它最多可提供 131K tokens 的上下文，并同时处理最多 16 个请求，我们观察到了以下结果：

单请求：对于 1K token 的提示，首 token 时间约为 0.6 秒，生成速度约为 65 tok/s，在 DSpark 草稿被接受的聊天提示上可达到 120–138 tok/s。
长提示：16K token 的提示，一次四个，总预填充速度约为 4,300 tok/s，首 token 时间为 8–9 秒。
负载下：在 1,000 个 ShareGPT 对话中，总生成速度约为 480 tok/s。

你可以使用以下hfCLI 进行部署：

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

端点运行后，你可以使用端点 URL 和你的 HF Mirror token 查询其兼容 OpenAI 的 API。reasoning_effort字段控制模型在回答前进行多少推理，可设置为low、medium、或high（默认）。

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer$(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
"model": "mistralai/Mistral-Large-4-1T-A52B",
"messages": [
{"role": "user", "content": "Write a limerick about python exceptions"}
],
"reasoning_effort": "medium"
}'

答案会返回在choices[0].message.content中，推理内容在choices[0].message.reasoning中。该端点还通过标准 Chat Completions 字段支持工具调用、结构化输出、图像输入和流式传输。

Dell Enterprise Hub

要让你的 Dell AI 服务器（NVIDIA H200、B200、GB200 或 GB300）快速启动并运行，最简单的方法是安装dell-aiCLI：

pip install dell-ai && dell-ai login

并使用它在例如 NVIDIA B300 节点上运行针对 Mistral Large 4 的优化配方。

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

你可以在Dell Enterprise Hub (DEH)中了解更多关于此版本的信息。

试一试

从Mistral Large 4 collection获取权重，使用GGUF在本地运行它们，或使用 Inference Endpoints 部署它们。我们迫不及待想看到你用 Le Chonk 构建出什么。在 Hub 上分享你的微调、量化和其他产物吧！

Mistral Large 4 开源：1T 参数 MoE，100 万 token 上下文

目录