什么是决策 AI 模型?

决策 AI 模型是一类新型模型,它返回的是一个决策,而不是一段文字。你发送带有类型化问题的文本。模型返回选项、分数或 yes/no 概率,你的代码可以直接据此分支。

当 TypeSafe AI 在隐身 2 年后推出 Jev 时,这一类别走向了主流。TypeSafe 称其为“System One 模型”,名称源自 Daniel Kahneman 提出的快速、直觉式的 System 1 思维。

在 3 周内,Fastino Labs 推出了 2 个竞品模型,开源开发者发布了多个 Jev 风格复现版本。本文介绍这一类别如何运作、适用于哪些场景,以及各选项如何比较。

Jev 如何运作

Jev 接受一个“状态”(字符串、数组或一组名称-值对)以及一个或多个问题。根据 TypeSafe 文档,它支持 3 种原语:

Choice:从列表中选择一个选项,并给出概率和置信度。TypeSafe 表示 Jev 最多支持 255 个选项。

Score:按照有序等级的评分标准对状态进行评分,并给出概率和置信度。

Noul:某个陈述为真的 0 到 1 概率。该名称是 Bernoulli 的缩写。

每个问题都会针对同一状态并行且独立地评估。增加问题几乎不会改变响应时间。由于 Jev 从不生成字符串,TypeSafe 表示它不会返回类型错误。

在底层,TypeSafe 描述了一种新架构、一个并行采样器,以及一种名为“校准决策强化学习”(RLCD)的训练方法。RLHF 针对人类偏好进行优化。RLCD 针对校准概率进行优化,即更高的置信度应意味着更高的准确率。

定价是关键关注点。Jev 每百万输入 token 收费 $0.042,输出免费。OpenRouter 列出 32K 上下文窗口。TypeSafe 报告端到端响应时间为 70 到 500 毫秒。

交互式讲解

基准测试:TypeSafe 的工作流评估显示了什么

TypeSafe 构建了跨 4 项任务的工作流评估:安全事件、智能体轨迹可观测性、发票处理和客户服务。参考标签来自 GPT-6 Astra 和 Claude Fable 5.1 在高思考模式下的平均结果。

Jev:67.8% 平均准确率,每案例 $0.0004,0.4 秒。

Claude Sonnet 5(相同工作流):67.8%,每例 $0.1174,78.1 秒。

最佳对比模型(OpenAI “sol”):74.1%,每例 $0.0836,23.3 秒。

Jev 在准确率上与 Sonnet 5 持平,而成本和延迟仅为后者的一小部分。它仍落后顶级前沿配置 6.3 个百分点。按任务划分,Jev 在客户服务上得分 76.0%,但在发票处理上仅为 61.8%。

用例:决策模型的适用场景

经验法则很简单。如果你的代码需要一个有界的答案来据此分支,决策模型就是候选方案。如果需要人类阅读输出,就用 LLM。

智能体控制流

选择下一个工具或子智能体:Vercel 将其列为主要用途。

继续、重试、询问用户或停止:单个 Choice 问题取代了脆弱的 JSON 解析步骤。

模型路由:将简单请求发送给廉价模型,将困难请求发送给前沿模型。Fastino 按目的地、复杂度或升级级别列出路由。

分类与分诊

支持工单路由、邮件分诊和意图检测:这些构成了 Fastino 17 个数据集基准测试的大部分内容。

垃圾邮件检测、标签建议和优先级排序:Simon Willison 称这些是自然的分类适配场景。

安全警报分诊:TypeSafe 最简单的已发布工作流决定是关闭警报、转交给分析师,还是进行遏制。

验证与安全

护栏和越狱检测:TypeSafe 推荐 Jev 用于对提示词、推理轨迹和输出进行评分。

联合安全检查:GLiNER2.5-Decide 可以同时解码 “safety” 和 “harm type”,因此答案永远不会相互矛盾。

已验证的级联:OpenRouter 的 Jev 指南描述了用廉价模型起草、用 Jev 检查、仅在失败时升级的流程。

评估与可观测性

LLM-as-a-judge 替代方案:Arize 和 Langfuse 现在在轨迹上运行 Jev 评估器。

CI/CD 门禁:Buddy 让流水线通过 Jev 动作进行评分、分类或门禁运行。

搜索与数据处理

重排序:在一次并行调用中为 100 个 BM25 候选结果的相关性打分。

对大型数据集进行 map-reduce:TypeSafe 推荐以低成本将批量数据转化为特征。

上下文剪枝:Fastino 列出了在 LLM 调用前选择保留哪些上下文。

实时应用

游戏与模拟:TypeSafe 演示了 Jev 玩 Doom 和 Wikiracing。

延迟敏感的 UX:亚秒级决策让 AI 可用于交互流程。

何时不应使用决策模型

你需要生成文本、摘要或解释。

任务需要精确的算术、计数或日期运算。TypeSafe’s Jev 1.13 锯齿度指南指出了全部 3 点。

该决策影响人们的生计,例如招聘。Willison 警告说,隐藏的偏见很难被审查。

案例研究:决策模型已在哪些场景奏效

1. Vercel AI Gateway 的采用

Vercel 报告称,Jev 成为 AI Gateway 历史上采用最快的模型。在 24 小时内,近 13% 的付费团队在使用它。这是 GPT-5.6 系列份额的 2 倍,也是 Fable 5.1 的 6 倍以上。

2. 搜索重排序

Simon Willison 用 BM25 取回 100 个候选结果,然后让 Jev 为每个结果的相关性打分。这种模式用廉价、并行的 Score 问题取代了昂贵的 LLM 重排序器。

3. LLM 评估流水线

Arize 和 Langfuse 都发布了 Jev-as-a-judge 评估器。Langfuse 将该功能标记为“决策模型评估器”,以便日后可以添加其他模型。其对 Jev 的支持仍标记为实验性。

4. 6G 边缘网络编排

一篇新的 arXiv 论文使用 Jev 在网络边缘解释服务合同。在正确率相当的情况下,Jev 将中位决策延迟相比 DeepSeek 降低了 22.4%,相比 Gemini 降低了 61.9%。

5. 实时游戏智能体

TypeSafe 的 Doom 演示以每秒 10 次查询运行 Jev。团队估计成本约为每小时 7 美元。

竞品格局:7 个决策模型对比

下表涵盖 Jev、其最接近的商业竞争对手,以及领先的开源权重选项。所有规格均来自各项目自己的发布页面或模型卡。

ModelDeveloperLicense / accessSize and architectureQuestion typesReported latencyRuns locallyJev 1.13TypeSafe AIClosed; hosted API at $0.042/M input, output freeNot disclosed; new architecture, parallel sampler, RLCDChoice, Score, Noul (up to 255 options)70 to 500 msNoGLiDEFastino LabsClosed; Fastino API, 40K contextNot disclosed; adaptive thinking on uncertain casesSelected action, confidence and option probabilitiesNot disclosedNoGLiNER2.5-DecideFastino LabsApache 2.0 open weights; also on Fastino API340M DeBERTa-v3-large encoderTyped decisions with joint constraints, plus spans and relations38.3 ms p50 (V100), 167.3 ms (48-vCPU CPU)Yes, CPU or GPULayaConvai InnovationsApache 2.0 open weights421M ModernBERT-large (English); 322M mmBERT-base (multilingual)Choice, Score, Noul; 100+ languages~33 ms per question on GPUYesJevK5Independent developerApache 2.0 open weights4B, Qwen3.5-4B with merged LoRAProbability for every option in one passNot statedYes, GPUOpenJevTheo LeeMITFrozen Qwen3.5-4B, reads option logitsTyped options in one pass5.21x faster than autoregressive JSONYes, consumer GPUkev-0.5bJared PalmerApache 2.0 (base under Qwen license)LoRA plus readout head on Qwen2.5-0.5B; Jev-compatible APINoul, Choice (2 to 255), Score~160 ms for 6 questions (Apple M5)Yes, laptopGeneral LLM + structured outputManyMostly closed; input plus output tokensAutoregressive decoderAnything, as generated textTypically secondsDepends

正面对比数据(各厂商自己的基准测试)

这些分数来自不同的测试套件。不要跨行比较数字。

Benchmark (reported by)ResultsWorkflow evals (TypeSafe)Jev 67.8%, Sonnet 5 67.8%, best LLM 74.1%Decision Index 0.2.1 (Fastino)GLiDE 64.81, Jev 57.91CLadder accuracy (Fastino)GLiDE 88.7%, Jev 72.6%CRUXEval accuracy (Fastino)GLiDE 92.6%, Jev 73.0%Fast Decisions, 17 datasets (Fastino)GLiNER2.5-Decide 60.1%, JevK5 57.5%, SemIf 56.4%, GLiFormer 49.0%, Laya 46.6%102-row TypeSafe eval subset (OpenJev)Jev 0.883, OpenJev 0.845 balanced accuracy

这里有两个需要注意的地方。Fastino 为其 GLiDE 和 GLiNER2.5-Decide 的说法自行选择了测试和对手。其 Fast Decisions 对比还使用了 JevK5,一个开源复现版本,而非 TypeSafe 的 Jev。

如何选择

选择 Jev,以获得目前生态系统支持最广的托管 API。

选择 GLiDE,以测试更难、推理密集型的决策,并在你自己的数据上验证 Fastino 的说法。

选择 GLiNER2.5-Decide,用于气隙部署、微调,或必须遵守跨问题规则的答案。

选择 Laya,用于多语言决策或极低的单问题延迟。

选择 kev、OpenJev 或 JevK5,以在本地实验或避免供应商锁定。

为什么决策模型是 AI 领域的最新趋势

这个想法并不新鲜。分类器和重排序器多年来一直在做决策。Decision Transformer(2021)将强化学习框定为序列建模。DeepMind 的 Gato(2022)展示了一个通用模型在多种任务上行动。2023 年的一项调查甚至称“大型决策模型”是下一步。

2026 年改变的是包装方式。4 股力量推动了这一转变:

智能体需要廉价的判断:路由、工具选择和护栏在每个工作流中会发生数千次。为每一次都支付前沿模型的价格无法扩展。

校准使自动化成为可能:置信度分数让代码在有把握时自行行动,在没把握时升级处理。

生态系统发展迅速:几周内,Jev 就登陆了 Vercel、OpenRouter、Arize、Langfuse 和 Buddy。

竞争立即到来:Fastino 于 9 月 24 日发布了 GLiNER2.5-Decide,9 月 30 日发布了 GLiDE。kev、OpenJev 和 JevK5 等开源复现版本也同时出现。

关键要点

决策 AI 模型返回带概率的类型化答案,而非生成的文本。

Jev 每百万输入 token 收费 $0.042,输出免费。

在 TypeSafe 的评估中,Jev 以每个案例 0.4 秒的速度达到了 Sonnet 5 的准确率。

Fastino 的 GLiDE 和 GLiNER2.5-Decide 引领着一个快速增长的竞争对手领域。

将决策模型用于路由和评分,将 LLM 用于推理和写作。

常见问题

决策模型和 LLM 是一样的吗?答案是否定的。决策模型像 LLM 一样读取文本,但输出的是对预定义答案的概率分布。它不能写作、总结或解释。

什么时候应该用决策模型而不是 LLM?用于大批量、有边界的判断:分类、路由、分诊、护栏、重排序和评估。开放式推理和生成则留给 LLM。

我能在自己的硬件上运行决策模型吗?Jev 和 GLiDE 仅提供 API。GLiNER2.5-Decide、Laya、JevK5、OpenJev 和 kev 都提供开源权重,可以在本地运行。

Jev 的主要竞争对手是谁?Fastino Labs 是最直接的商业对手。它提供托管 API 形式的 GLiDE,以及开源权重形式的 GLiNER2.5-Decide。

文章 Decision AI Models Explained: TypeSafe Jev vs Fastino GLiDE, GLiNER2.5-Decide and Open-Source Competitors 首发于 MarkTechPost。