Perplexity 发布了 pplx-decider-v1.3 和 pplx-decider-flash-v1.3,这是其开源权重决策模型的最新版本。Perplexity Decider v1.3 是一个决策模型,返回概率而非生成文本。它针对文本或图像输入回答是/否、多项选择和评分问题。主要新增功能是 Locate,可按类型或指令提取精确的文本片段。权重以 Apache 2.0 协议在 Hugging Face 上发布。两个模型也可在 Perplexity Decisions API 和 OpenRouter 上运行。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
TL;DR
规模:基于 Qwen3.8-27B 的 27B;Flash 为基于 Qwen3.5-4B 的 4B。Hugging Face 列出 26B 和 5B 参数。API 输入:低于 256K tokens。本地默认:32,768。
运行要求:一块 CUDA GPU,可容纳约 49 GiB 的 BF16 权重(v1.3)或约 8.5 GiB(Flash)。无量化版本。
性能:在 Perplexity 自报的大部分评估中领先 TypeSafe 的 Jev 1.14。
最佳:在 63 个查询分类任务上平均准确率 91.6%。
最差:Locate 平均 69.0,为其最低绝对分数。Flash 在金融、编程和法律领域落后于 Jev 1.14。
结论:最佳:0.27% 的答案翻转率和每 100 万次生产请求 $26.47。最差:所有数据均为自报。
什么是 Perplexity Decider v1.3?
Decider 是 Perplexity 的决策模型系列,灵感来自 TypeSafe 的 Jev。每个请求都有一个共享的“状态”,外加一个或多个带标签选项的问题。模型为每个选项返回概率,而不是写出答案。v1.3 接替 v1.2 和 Flash v1.2。Flash v1.3 是从大模型蒸馏而来。
Decider v1.3 如何工作?
Perplexity 将生成式 LLM 主干改造为分类器。输出层从基础模型的 LM head 出发,裁剪为选项 token(A、B、C)。一个线性决策头读取 <|marker|> token 处的隐藏状态,并输出选项概率。
全注意力层被改为双向,Perplexity 的消融实验表明这有帮助。
v1.3 还改变了问题之间的注意力机制。在 v1.2 中,每个问题都能看到其他所有问题,因此答案可能会发生偏移。在 v1.3 中,状态能看到所有问题,但每个问题只能看到状态和自身。针对同一输入的所有问题仍然在单次前向传播中运行。
训练分 3 个阶段进行:
在数百个公开数据集上进行全量微调
一个 LoRA 专用适配器
一个 LoRA 视觉适配器
权重在 3 个随机种子上取平均。Flash 通过最小化与大型模型输出的 KL 散度来训练。
新的 Locate 功能是做什么的?
Locate 返回精确的文本片段及其起始和结束字符偏移量。字段可以是短标签('location')或指令('Extract the city name where the job is located.')。它面向 NER、PII 检测和抽取式问答。
每个请求字段都会新增一个 <|locate|> token。训练一个 span head 加一个 LoRA 适配器,同时主干网络和决策头保持冻结。该适配器保持不合并,因为合并会损害决策准确率。
Decider v1.3 在基准测试上表现如何?
以下所有结果均由 Perplexity 自行报告:
查询分类(63 项任务):平均准确率 91.6%,比生产环境分类器高 6.54 个百分点。
领域分类:在全部 7 个领域上领先 Jev 1.14,其中金融领域领先最多达 12.9 个百分点。
检索与重排序(72 项任务):平均 nDCG@10 为 83.99。比 Qwen3-Reranker-8B 高 1.81,比 Jev 1.14 高 2.24。
多语言(19 项任务,8 种语言):v1.3 为 88.16%,Flash 为 86.50%,Jev 1.14 为 85.41%。
Locate(17 项域外任务):v1.3 平均 69.0,Flash 为 63.6。Liquid d1 得分为 43.3,GLiNER large v2.5 得分为 33.6。
图像分类(5 项任务):v1.3 为 76.99%,比 Jev 1.14 高 1.47 个百分点。Flash 得分为 72.77%。
真实世界请求(100 万条请求,2,318,887 个问题):与前沿 LLM 评判员的一致率为 93.98%。Jev 1.14 得分为 93.35%。
鲁棒性:在重排序或重标记变换下,答案翻转率为 0.27%。Jev 1.14 的翻转率为 2.69% 至 4.84%。
Decider v1.3 与 Jev 1.14 和 Qwen3-Reranker-8B 相比如何?
FeatureDecider v1.3Decider Flash v1.3Jev 1.14Qwen3-Reranker-8B 规模 27B(按文档,HF 列为 26B)4B(按文档,HF 列为 5B)未披露 8B 上下文窗口 API 低于 256K;本地默认 32,768 API 低于 256K;本地默认 32,768 262,144 32K 许可证 Apache 2.0 Apache 2.0 未披露(托管 API)Apache 2.0 模态 文本、图像、Locate(仅文本)文本、图像、Locate(仅文本)文本、图像 文本 硬件 约 49 GiB BF16 权重 + 工作内存 约 8.5 GiB BF16 权重 + 工作内存 仅托管 未披露 价格 $0.02 / 1M 输入,输出免费 $0.01 / 1M 输入,输出免费 $0.042 / 1M 输入,输出免费 开源权重,自托管 检索 nDCG@10(72 项任务)83.99 未披露 81.75(由报告的 2.24 差距推导)82.18(由报告的 1.81 差距推导)多语言准确率(19 项任务)88.16% 86.50% 85.41% 未报告 评判一致性(100 万次请求)93.98% 未披露 93.35% 未报告 100 万次请求成本 $26.47 $13.24 $68.10 未报告
基准测试行是 Perplexity 在其发布博文中自行报告的数字。
开发者如何部署 Decider v1.3?
API 端点为 POST https://api.perplexity.ai/v1/decisions。模型 ID 为 pplx-decider-v1.3 和 pplx-decider-flash-v1.3,并带有 -latest 别名。价格为每 100 万输入 token $0.02 和 $0.01。输出免费。
Perplexity 的延迟测试显示,约 243K token 的请求在 v1.3 上耗时 16 秒,在 Flash 上耗时 5 秒。Locate 请求最多允许 128 个问题。
在本地,使用 pplx_decider 包中的 Decider.from_pretrained() 加载模型。全注意力层必须以非因果方式运行。Perplexity 建议对细微的评分标准使用 v1.3,对高吞吐路由使用 Flash。
要点
Decider v1.3 为分类和评分返回概率,而非文本。
新增的 Locate 为 NER、PII 和抽取式问答提取精确片段。
v1.3 在 63 项查询分类任务上得分 91.6%(自行报告)。
API 价格为每 100 万输入 token $0.02(v1.3)和 $0.01(Flash)。
权重为 Apache 2.0;v1.3 需要约 49 GiB,Flash 约 8.5 GiB。
查看技术细节、Decider v1.3 模型卡、Flash v1.3 模型卡和 API 文档。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等!你在用 Telegram 吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo、Hugging Face Page、产品发布或 Webinar 等?请联系我们
文章《Perplexity Releases Decider v1.3: Open-Weight Decision Models Add Locate》首发于 MarkTechPost。