过去几周，我们一直在通过Deep Agentsharness 评估来运行开源权重的大语言模型，初步结果显示，它们是可替代闭源前沿模型、并与之并用的可行选择。GLM-5（z.ai）和MiniMaxM2.7 在文件操作、工具使用和指令遵循等核心智能体任务上的得分都与闭源前沿模型相近。
如果你一直通过大量公开基准测试关注开源模型的进展，这并不令人意外，例如SWE-Rebench和Terminal Bench 2.0。工具调用可靠，指令遵循稳定。对于在生产环境中部署智能体的开发者来说，开源模型如今提供了一致性和可预测性，使真实世界的工作流变得更加可行。
为什么选择开源模型
在探索开源模型时，开发者和客户往往关注几个关键因素：成本、延迟，以及任务表现。
理想情况下，最好对每项任务都使用最智能的前沿模型并开启最高推理级别。但在实践中，有两个限制让这变得不可行：成本和延迟。对于高吞吐量的工作负载，闭源前沿模型的成本可能高出 8–10 倍，而且对于交互式产品中用户所期望的响应时间来说，它们往往太慢。
| 模型 | 类型 | 输入（$/M tokens） | 输出（$/M tokens） |
|---|---|---|---|
| Claude Opus 4.6 (Anthropic) | 闭源 | $5.00 | $25.00 |
| Claude Sonnet 4.6 (Anthropic) | 闭源 | $3.00 | $15.00 |
| GPT-5.4 (OpenAI) | 闭源 | $2.50 | $15.00 |
| GLM-5 (Baseten) | 开源 | $0.95 | $3.15 |
| MiniMax M2.7 (OpenRouter) | 开源 | $0.30 | $1.20 |
把价格放在具体情境中看：一个每天输出 10M tokens 的应用，在 Opus 4.6 上每天大约花费 $250，而 MiniMax M2.7 约为 $12/天。这相当于每年约 $87k 的差距。
开源模型通常比闭源前沿模型更小，并且可以在专门的推理基础设施上加速——像Groq、Fireworks和Baseten这样的提供商针对延迟和吞吐量进行优化，远超大多数团队自身所能达到的水平。OpenRouter 数据显示，Baseten 上的 GLM-5 平均延迟为 0.65s、速度为 70 tokens/秒，而 Claude Opus 4.6 为 2.56s 和 34 tokens/秒。对于延迟敏感的产品来说，这一差距很难通过工程手段弥补。
我们如何评估
我们曾在以下文章中深入讨论过我们的评估方法论：我们如何为 Deep Agents 构建评估. 我们使用托管推理提供商来运行评估，但 Deep Agents 可以通过 Ollama、vLLM 等使用完全本地且私有的模型来运行。
对于开源模型，我们运行了七个评估类别：文件操作、工具使用、检索、对话、记忆、摘要和“单元测试”。这些涵盖了锻炼基础能力的任务：模型能否可靠地调用工具、遵循结构化指令并操作文件？这些能力决定了模型在智能体框架中是否可用。
每个评估用例都定义了成功断言（决定正确性的硬性失败检查）和效率断言（衡量模型如何达成目标的软性检查）。我们报告四项指标：
- 正确性——模型解决的测试比例：
passed / total. 0.68 的分数意味着 68% 的测试用例被正确解决。这是主要的质量信号。 - 解决率——准确性和速度的综合衡量。对于每个测试，我们计算
expected_steps / wall_clock_seconds；失败的测试贡献为零。最终分数是所有测试的平均值。越高越好——既能正确又快速解决任务的模型得分最高。 - 步数比——模型实际执行的智能体步数与我们的预期步数之比，在所有测试中汇总：
total_actual_steps / total_expected_steps. 值为 1.0 意味着模型使用的步数恰好符合预期。高于 1.0 意味着它需要更多步（效率较低）；低于 1.0 意味着它需要的步数少于最初预期。 - 工具调用比——与步数比思路相同，但统计的是单个工具调用而非步数。1.0 表示符合预算，高于表示超出预算，低于表示低于预算。
步数比和工具调用比是效率指标。它们不影响测试是否通过，但能揭示模型达成答案的经济性。一个用 2 步而非预期的 5 步解决任务的模型既正确又高效。
我们的评估发现
这些是早期结果；我们正在积极维护和扩展评估集。你可以实时查看最近的运行，既可以在我们的 GitHub 仓库中，也可以在这个共享的 LangSmith 项目中。
开源模型
查看 CI 运行（点击模型名称查看各个评估）
| 模型 | 正确性 | 通过 | 解决率 | 步数比 | 工具调用比 |
|---|---|---|---|---|---|
| baseten:zai-org/GLM-5 | 0.64 | 138 中的 94 | 1.17 | 1.02 | 1.06 |
| ollama:minimax-m2.7 | 0.57 | 138 中的 85 | 0.27 | 1.02 | 1.04 |
按类别正确率：
| 模型 | 对话 | 文件操作 | 记忆 | 检索 | 摘要 | 工具使用 | 单元测试 |
|---|---|---|---|---|---|---|---|
| baseten:zai-org/GLM-5 | 0.38 | 1 | 0.44 | 1 | 0.6 | 0.82 | 1 |
| ollama:minimax-m2.7:cloud | 0.14 | 0.92 | 0.38 | 0.8 | 0.6 | 0.87 | 0.92 |
前沿模型
查看 CI 运行（点击模型名称查看各项评估）
| 模型 | 正确率 | 通过 | 解决率 | 步数比 | 工具调用比 |
|---|---|---|---|---|---|
| anthropic:claude-opus-4-6 | 0.68 | 138 中的 100 | 0.38 | 0.99 | 1.02 |
| google_genai:gemini-3.1-pro-preview | 0.65 | 138 中的 96 | 0.26 | 0.99 | 1.01 |
| openai:gpt-5.4 | 0.61 | 138 中的 91 | 0.61 | 1.05 | 1.15 |
按类别正确率：
| 模型 | 对话 | 文件操作 | 记忆 | 检索 | 摘要 | 工具使用 | 单元测试 |
|---|---|---|---|---|---|---|---|
| anthropic:claude-opus-4-6 | 0.05 | 1 | 0.67 | 1 | 1 | 0.87 | 1 |
| google_genai:gemini-3.1-pro-preview | 0.24 | 0.92 | 0.62 | 1 | 0.8 | 0.79 | 0.92 |
| openai:gpt-5.4 | 0.29 | 1 | 0.44 | 1 | 0.8 | 0.76 | 1 |
对于每个模型，我们选择使用提供商默认的思考级别。对于 Gemini 3+，这是high对于 OpenAI，这是medium对于 Claude，这是不启用扩展思考
DIY：在本地运行 Deep Agent 评估
我们的 CI 在 52 个模型上运行同一套评估套件，这些模型被组织成多个分组——包括一个open分组（baseten:zai-org/GLM-5，ollama:minimax-m2.7:cloud，ollama:nemotron-3-super），它会在每次评估工作流中运行。你可以指定任意模型分组：
# 对所有开放模型运行评估pytest tests/evals --model-groupopen# 对特定模型运行pytest tests/evals --model baseten:zai-org/GLM-5这使得在同一批任务上、使用相同的评分标准，将开放模型相互比较以及与闭源前沿模型比较变得非常直接。
在 Deep Agents SDK 中使用开放模型
切换到开放模型只需改一行：
GLM-5：
# pip install langchain-basetenfromdeepagentsimportcreate_deep_agentagent = create_deep_agent(model="baseten:zai-org/GLM-5")MiniMax M2.7：
# pip install langchain-openrouterfromdeepagentsimportcreate_deep_agentagent = create_deep_agent(model="openrouter:minimax/minimax-m2.7")就这样。其余由框架处理——它会检测模型的上下文窗口大小，禁用不支持的模态，并将正确的身份注入系统提示，让智能体知道自己在用什么工作。
同一个开放模型通常可通过多个提供商获取。选择符合你约束的那个。例如，GLM-5 可作为baseten:zai-org/GLM-5，fireworks:fireworks/glm-5，或ollama:glm-5用于自托管。相同的模型，相同的框架，不同的基础设施。
LangChain 支持最流行的开源模型提供商。我们为本次发布测试过的提供商包括：Baseten、Fireworks、Groq、OpenRouter 和 Ollama（云端）。
针对你的模型进行 harness 层面的调整
与闭源前沿模型相比，开源模型具有不同的上下文窗口、不同的工具调用格式以及不同的失败模式。Deep Agents harness 吸收了这些差异，让你无需操心：
- 模型身份注入—— 系统提示词在运行时会被打补丁，注入模型的名称、提供商、上下文限制和支持的模态。智能体知道它自己是什么，以及它能做什么。
- 上下文管理—— 压缩、卸载和摘要阈值会根据模型实际的上下文窗口进行调整，而不是硬编码的默认值。4K 上下文的模型会比拥有 1M 上下文的 Opus 进行更激进的压缩。
Deep Agents CLI
每个模型也可在 Deep Agents CLI 中使用。Deep Agents CLI是我们的开源编码智能体，也是 Claude Code 的替代方案。
除了 Deep Agents SDK 中的所有能力外，CLI 还支持运行时模型切换。我们引入了一个新的中间件（ConfigurableModelMiddleware），以支持在会话中途切换模型而无需重启智能体。这可以实现诸如用前沿模型进行规划、用开源模型进行执行的模式。
你可以使用/model斜杠命令在会话中途切换模型。这可以实现诸如先用前沿模型启动任务进行规划，然后切换到更便宜的开源模型进行执行的模式。
下一步计划
我们很快会分享一些令人兴奋的内容：
- 记录针对特定开源模型家族的 harness 调优模式
- 测试多模型子智能体配置（例如：闭源前沿模型编排器 + 开源模型子智能体）
开源模型如今已可用于智能体。我们希望展示那些帮助我们设计出优秀 harness 的设计模式，并构建有针对性的评估，以衡量对你的任务真正重要的东西。
Deep Agents是开源的。用你偏好的开源模型试试它，来和我们一起构建出色的评估和智能体吧。