Jev 现在可作为 LangSmith 中的评估评判器使用。Jev 为团队提供了一种快速、低成本的方式来评估开放式智能体行为，并将结果转化为可在 LangSmith 中跟踪的结构化反馈。
下面，我们将解释为什么像 Jev 这样的 System One 模型对智能体评估很有用，分享我们在测试它时的发现，并演示如何为在线评估设置一个 Jev-as-a-judge 评估器。
试用 Jev-as-a-judge，请访问LangSmith今天即可在任何 tracing 项目的 Evaluators 标签页中体验。
智能体评估简史
早在 2023 年我们刚开始构建智能体时（当时我们大多称之为 LLM 应用），评估的主要方法是基于代码的。那年晚些时候，研究人员引入了LLM-as-a-judge，从那时起，基于代码和 LLM-as-a-judge 就成了评估智能体的两种主要方式。
基于代码的评估器检查特定的、确定性的条件：智能体是否调用了工具？输出是否匹配某个模式？某个字段是否存在？这很快且可靠，但它只覆盖了你在智能体运行前能够完全指定的那一小部分智能体行为。由于智能体是非确定性的，一个用三种不同有效方式解决同一问题的智能体，会在只期望其中一种方式的基于代码的检查中失败。
LLM-as-a-judge 评估器填补了这一空白。你给 LLM 评判器一个智能体 trace，以及如何评分的指令和评分标准，它会在返回裁决前用自由文本对 trace 进行推理。然而，这种灵活性是有代价的。LLM-as-a-judge 评估器比函数调用运行得更慢、更昂贵，而且由于它们是非确定性的，相同的输入在两次运行之间可能产生不同的裁决。除此之外，将自由文本转化为结构化输出的这一步本身就是错误的来源，与评判器的推理是否正确无关。
现在，像 Jev 这样的 System One 模型引入了第三种智能体评估类型，它以牺牲基于代码评估的部分速度为代价，换取了评估开放式智能体行为的灵活性，而成本仅为 LLM 评判器的一小部分。
什么是 Jev？
Jev 不是传统的 LLM，也不生成文本。TypeSafe AI 团队称它为System One 模型：
📖 System One 模型是一类 AI 模型，旨在做出快速、结构化的决策，供软件直接使用。一个 System One 模型会评估一个状态并返回带类型的答案和概率。
对于评估而言，状态可以是一条智能体轨迹、一条单独的消息，或任何你想评估的其他上下文。问题定义了你想用来评估该状态的标准，比如某个回复是否泄露了 PII、用户的意图是什么，或用户看起来有多沮丧。Jev 可以回答三种类型的问题：(1) noul 返回一个是/否概率，(2) choice 从一组选项中选出一个，(3) score 在一个有序量表上对状态打分。每个答案都以带类型的形式返回，而不是一段生成文本再被转换成结构化输出。
Jev 可以回答的三种问题类型，使用本文中的反馈键：PII 泄露（noul）、用户意图（choice）和用户沮丧度（score）。
为什么 Jev 对智能体评估很有意思？
关于 Jev 的三点直接对应智能体评估中的痛点。根据 TypeSafe AI 的说法，Jev 在分类任务上比同类 LLM 便宜多达约 450 倍，快约 200 倍，并且它可以并行评估关于同一状态的多个问题。
成本是团队评估其智能体的频率低于他们期望的一个常见原因。每次评估都伴随着权衡：评估更多智能体运行、评估更多标准，或测试更多变更，测试成本就会成比例增长。在多个智能体和高频使用的情况下，一个每次评估花费几美分的 LLM 评判器，在生产流量、大型数据集以及针对每次模型或提示变更的回归测试中会迅速变得昂贵。团队最终为了控制成本而运行更少的评估，这拖慢了打造优秀智能体所依赖的反馈循环。而成本只是其一小部分的 Jev 评判器可以消除这种权衡。
使用 Jev-as-a-judge，你可以对每一条轨迹打分，而不是只对样本打分；对每条轨迹检查更多标准；并反复运行同样的判断，以观察评判器的一致性如何。评判器越便宜，你能负担得起的智能体行为评估就越多，智能体改进循环也就越紧密。
速度对于在线评估至关重要，因为评判模型需要为实时流量打分。Jev 评判器比 LLM 评判器快约 200 倍，因此更能跟上流量的到来速度。这一点对于标记安全或安保风险的反馈键最为重要，例如 PII 泄露、提示注入或毒性内容，你可以为这些反馈键设置告警，触发 webhook 以自动化响应。评判器越快，从出现问题到采取行动之间的窗口就越小。
并行化改变了你能针对单条智能体轨迹评估多少条标准。Jev 会同时评估一个请求中的所有问题，因此用多个反馈键（例如 PII 泄露、用户意图和用户挫败感）为一条轨迹打分，成本仅比用单个反馈键打分略高一点。
💡 System One 模型会并行评估一个请求中的所有问题。增加问题几乎不会改变响应时间，成本仅为额外问题所消耗的 token，而这些 token 很便宜。
相比之下，LLM 评判器要么需要为每条标准单独调用一次，要么必须在单个提示中按顺序推理所有标准，且输出 token 会随标准数量增加而增长。
System One 模型很好地对应了这些痛点，但这并不意味着 LLM 评判器会被淘汰。经过微调的模型和开源模型可以成为有效的评判器，成本远低于前沿模型；而对于开放式标准——你希望在给出判定结果的同时附带书面推理——LLM 评判器仍然是更好的工具。当你需要做出的决策范围狭窄且类型明确，并且需要大规模执行时，Jev 是合适的选择。
Jev 作为评判器真的有效吗？
我们在以下场景中对 Jev 进行了测试：Jev 作为智能体评估的评判器，在准确率、一致性、速度和成本方面将其与 GPT-5.6 Luna、GPT-5.6 Terra 和 Claude Sonnet 4.6 进行对比。Jev 更准确、一致性显著更高，并且比 LLM 评判器更快、更便宜。
Jev 在每一项决策上都与人类评审员一致，其方差比 LLM 评审员低 92-913 倍。它平均每次调用耗时 0.44 秒，而 LLM 评审员为 2.16-2.83 秒。按每次调用 $0.00035 计算，用 Jev 运行全套评判花费 $0.34，而 GPT-5.6 Luna 为 $0.39，GPT-5.6 Terra 为 $2.90，Claude Sonnet 4.6 为 $28.17。
这只是针对一个智能体的一次测试，但结果是一个有前景的早期信号，表明 Jev-as-a-judge 是继基于代码和 LLM-as-a-judge 之后，第三种可行的智能体评估方式。
如何在 LangSmith 中使用 Jev-as-a-judge
TypeSafe 现已成为 LangSmith 中的模型提供商，Jev 可作为模型使用。设置 Jev-as-a-judge 评估器与设置 LLM-as-a-judge 评估器的路径相同。关键区别在于，Jev-as-a-judge 评估器定义的是一个状态和一组带类型的问题，而不是提示词和评估标准。
- 添加 TypeSafe API 密钥。在 Settings 中，打开 Provider secrets 并点击 + Secret。选择 TypeSafe 作为 Provider，并将你的 TypeSafe API 密钥粘贴到 TYPESAFE_API_KEY 字段中。你可以在你的 TypeSafe AI 账户中创建一个。
- 添加评估器。在你的 tracing 项目中，打开 Evaluators 标签页并点击 + Evaluator。在 Create from scratch 下，选择 LLM-as-a-Judge Evaluator。
- 选择 TypeSafe 作为 provider。为你的 Jev-as-a-judge 评估器命名。在 Prompt & Model 下，打开 Model Configuration，选择 TypeSafe 作为 Provider，选择 jev-latest 作为 Model。请注意，TypeSafe 目前不提供零数据保留，因此发送用于评估的提示词和输出可能会被该提供商保留。
- 定义状态。配置好模型后，通过映射 run 或 thread 变量来定义 Jev 将要评估的状态（即上下文）。与 LLM 评审员不同，该状态不应包含评分指令。这些指令放在下一步的问题中。
- 添加问题。在 Feedback Configuration 下，针对你想根据状态评估的每个标准添加一个问题。每个问题都会成为一个反馈键。将 noul 表述为一个是/否问题，其中高概率表示是；为选择题给出完整的选项集；为评分给出从低到高的各级别。由于 Jev 在单次调用中评估每个问题，添加第二个或第三个问题的成本仅略微增加。
- 开始评估。保存评估器。Jev-as-a-judge 评估器将开始对传入的运行或线程进行评分，每个问题都会作为自己的反馈键出现。从那里，你可以像 LangSmith 中的任何其他反馈一样，对这些键进行筛选、绘制图表或设置警报或自动化。
开始使用
Jev-as-a-judge 现已在 LangSmith 中可用。
登录或注册LangSmith，然后在任意 tracing 项目中打开 Evaluators 标签页，添加一个 LLM-as-a-Judge 评估器，并选择 TypeSafe 作为提供商来试用。有关在线评估的更多详细信息，包括筛选器和高级选项，请参阅在线评估器指南。
如果你在你的智能体上试用 Jev 作为评判者，我们很想听听它的表现如何，尤其是与你目前使用的 LLM 评判者相比。在论坛上分享你的发现，或在X上 @ 我们。
要了解 Jev 在评估之外如何融入智能体循环，包括模型路由和工具风险门控，请阅读使用 Jev 构建 harness。
如果你想了解更多关于使用 Jev 构建智能体的内容，我们将在 9 月 22 日星期二与 TypeSafe AI 团队举办一场直播：https://events.langchain.com/webinar/building-a-harness-with-jev/