Fastino Labs 发布了 GLiNER2.5-Decide，一个 340M 参数的开源权重决策模型。它接收文本和一组带类型的问题 schema，返回结构化答案。每个答案都附带概率分布、置信度分数和约束可行性元数据。它针对的是智能体流水线中频繁出现的判断调用：路由、分诊、工具选择和护栏。
它可部署吗？可以，权重以 Apache 2.0 许可发布，通过 pip install gliner2 安装。它们可在 CPU、GPU 或气隙环境中运行。Fastino 团队还通过其 GLiNER API 提供托管推理和微调。
GLiNER2.5-Decide 实际做什么
GLiNER2.5-Decide 是一个非生成式分类器。它使用 DeBERTa-v3-large 编码器，并从 gliner2-large-v1 微调而来。它不生成任何 token，也不需要提示模板。
标签集在调用时传入。schema 中的每个问题都声明其允许的答案。它还声明期望的是单个答案、多个答案还是有序值。schema 可以携带指令、示例、标签描述以及跨问题关联答案的规则。
该流水线有 2 个阶段。编码器同时读取文本和 schema，并为每个允许的答案打分。然后一个受约束的解码器搜索所声明规则允许的最高分联合赋值。
Fastino 明确说明了适用范围。该模型不进行推理、解释或回答开放性问题。它是用于运营决策的专家。
为什么联合解码很重要
Fastino 团队用一个护栏示例说明了其价值。独立解码时，模型以 0.82 标记了提示注入。它同时以 0.52 将同一提示标记为安全。攻击被检测到了，但 2 个输出相互冲突。
联合解码应用了一条规则：任何检测到的危害都需要判定为不安全。模型随后同时返回 safety=unsafe 和 harm_type=prompt_injection。下游代码可以使用这些分数来阻止、路由或升级。
Schema 可以表达蕴含、排除、基数限制和序数边界。同一个编码器还能在 1 次前向传播中提取实体、关系和带字符级偏移的结构化记录。分类答案不返回证据片段。
快速决策上的基准测试结果
Fastino 团队在 Fast Decisions 上评估了该模型，这是一个内部生成、留出的测试套件。它包含 17 个数据集上的 5,100 个测试样本。任务涵盖客户运营、领域路由（银行、临床、旅行、福利）以及通用内容理解。指标是精确匹配准确率：只有当预测的标签集与参考完全一致时才计为正确。
模型类型平均GLiNER2.5-Decide340M 编码器60.1%JevK54B 级 Qwen3.5 解码器57.5%SemIfQwen3.5-4B 解码器56.4%GLiFormer large-v1单次编码器49.0%Laya421M ModernBERT 编码器46.6%
GLiNER2.5-Decide 在 17 个数据集中的 9 个上领先。意图路由是它最强的领域。它在支持意图上得分 75.3%，在银行意图上得分 64.3%。这分别比次优模型高出 18.6 和 8.6 个百分点。
延迟：在 CPU 上实用
Fastino 团队在 batch 1、2 头、15 标签 schema 下对该检查点进行了端到端基准测试。在 64 token 时，p50 延迟为：
在 48 vCPU Intel Xeon Platinum 8581C 上为 167.3 ms
在 NVIDIA T4 上为 43.6 ms
在 NVIDIA L4 上为 43.4 ms
在 NVIDIA V100 上为 38.3 ms
在 NVIDIA A100 上为 47.3 ms
短请求主要由固定的预处理和内核启动开销主导。这使各 GPU 之间的差距保持在 9 ms 以内。在 1,024 token 时，A100 以 52.6 ms 领先，而 V100 为 75.6 ms，L4 为 131.4 ms。
在代码中使用它
这个多头调用改编自模型卡：
复制代码已复制使用其他浏览器
from gliner2 import AutoExtractor
model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide")
model.classify_text(
"Please confirm the new retention rule is applied before Friday's audit.",
{
"intent": ["fyi", "request", "approval", "complaint"],
"urgency": ["low", "normal", "high", "critical"],
"route": ["support", "billing", "legal", "security"],
},
)
单标签头返回一个字符串。多标签头返回所有高于 cls_threshold 的标签。标签可以携带描述，而序数刻度则作为普通字符串传入，例如从 "0" 到 "10"。
用例与模型家族
Fastino 面向模型路由、工具调用、浏览器与计算机使用、护栏、上下文剪枝、LLM-as-a-judge 以及模拟。微调可在本地进行，支持全量或 LoRA，通过 GLiNER2 训练器完成。一个 SKILL.md 文件将托管工作流暴露给编码智能体。
Fastino 还发布了 GLiNER2.5-Decide-1B，基于 Ettin 1B 编码器构建。它在同一套件上得分 59.6%，略低于 340M 模型。对于多语言输入，Fastino 指向 GLiNER2.5-multi-Decide，一个 287M 模型，得分 56.7%。底层架构在 GLiNER2 论文中有描述。
关键要点
340M 开源权重编码器，Apache 2.0，可在 CPU 或气隙环境中运行。
返回答案、概率、置信度以及可行性元数据。
联合解码在相关答案之间强制执行规则。
在 Fastino 内部 17 数据集套件上平均 60.1%，领先 9 个。
短输入在 CPU 上 p50 为 167.3 ms，在 V100 上为 38.3 ms。
查看技术细节和模型卡。所有功劳归于本项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等？联系我们
文章 Fastino Releases GLiNER2.5-Decide: A 340M Open-Weight Decision Model That Runs on CPU 首次发表于 MarkTechPost。