Cohere AI 发布了 Rerank 5,这是一个新的重排序模型系列,分为 Pro 和 Fast 两个层级。Cohere Rerank 5 是一个检索模型,在搜索结果到达 LLM 之前对其进行重新排序。它新增了 2 项开发者功能:Context Focus,可在每个文档内返回相关段落;以及校准后的相关性分数。对于 RAG 和智能体构建者来说,信息很简单:向 LLM 发送更少、更好的 token。
TL;DR
规模:参数量未披露。32K token 上下文窗口。两个层级:rerank-v5.0-pro 和 rerank-v5.0-fast。
运行方式:托管 API、Model Vault、Microsoft Foundry、Amazon SageMaker,或私有 VPC 和本地部署。Cohere 在单块 NVIDIA A100 上对速度进行了基准测试。没有开源权重或量化版本。
性能:在 Cohere 自己的评估中,Pro 在 46 个复合数据集中的 39 个上排名第一。
最佳表现:Pro 在 BRIGHT(RCP-nDCG@10)上得分为 82.2,比 Voyage AI Rerank 3 高 5.8 分。
最差表现:Pro 处理 96 个文档的请求时延迟中位数为 11.7 秒,而 Fast 为 4.1 秒。
Cohere Rerank 5 有什么新特性?
Rerank 5 以两个模型形式发布。Pro 面向推理密集型查询以及长篇、领域特定文档的排序质量。Fast 面向运行大量搜索的智能体的低延迟和高吞吐。
两个模型均支持超过 100 种语言和 32K 上下文窗口。它们还可以对 JSON、表格和 YAML 记录等半结构化数据进行重排序。升级无需重新索引。开发者只需更改模型参数,并保留现有的关键词、向量或混合搜索。
Context Focus 如何工作?
Context Focus 是一项可选功能,默认关闭。单次 Rerank 调用会返回文档分数以及带分数的字符区间。每个区间都带有指向原始文本的起始和结束偏移量。开发者通过 relevant_spans 字段设置它,并指定 threshold 和 max_spans 值。
Cohere 在 30 个 QA 数据集上进行了测试。移除一半检索文本后,保留了 96% 的答案质量。移除四分之三后,保留了 87%。Cohere 表示,团队可以在付出一定质量代价的情况下将上下文减少到原来的十分之一。
在一项覆盖 17 个数据集的搜索智能体测试中,仅 BM25 的准确率为 46%。加入 Rerank 5 Pro 后提升至 49%。Context Focus 在默认 0.1 阈值下将每任务 token 数减少 19%,准确率达到 57%。在 0.4 阈值下,token 数下降 34%,准确率达到 58%。与仅用 BM25 相比,完整方案使用的 token 数少 35%。在 6 个深度搜索基准测试中,token 数下降 41%,准确率从 39% 升至 52%。
校准后的相关性分数会带来什么改变?
Rerank 5 的分数可读作概率。分数 0.7 表示该文档有 70% 的概率有用。
Cohere 团队针对盲评人工评分员和 NIST TREC-DL 评估员测量了期望校准误差(ECE)。Rerank 5 在两者上的得分均约为 0.06。Voyage AI Rerank 3 的得分为 0.234 和 0.307。Rerank 4 Pro 的得分为 0.384 和 0.309。在实践中,开发团队可以按阈值过滤,而不必使用固定的 top-k。智能体还可以检测到没有返回任何相关内容的情况。
Rerank 5 在基准测试中的表现如何?
以下所有分数均由 Cohere 使用 RCP-nDCG@10(Cohere 开发的 nDCG 变体)自行报告。Cohere 自行运行了竞品模型。
Pro 在全部四个主要基准测试中领先。它在 ViDoRe V3 上得分 92.2,在 BEIR 上得分 90.4,在 BRIGHT 上得分 82.2,在 nanoMTEB 上得分 87.3。BRIGHT 上的提升最大:比 Rerank 4 Pro 高 12.4 分。
Fast 在全部 4 项上均胜过 Voyage AI Rerank 3 Lite、Qwen3-Reranker-8B 和 Rerank 4 Pro。它在 ViDoRe V3 上与 Voyage AI Rerank 3 打平,均为 90.6。它在 BEIR 上落后于后者,为 88.1 对 88.6。
在解析后的 PDF 上,对 47 个数据集取平均,Pro 得分 89.9,Fast 得分 88.5。Voyage AI Rerank 3 得分 88.4。在 Cohere 的内部测试套件中,Pro 在 19 种非英语语言中的 14 种上排名第一。
Rerank 5 与竞品重排序模型相比如何?
特性Cohere Rerank 5 ProCohere Rerank 5 FastVoyage AI rerank-3Voyage AI rerank-3-liteQwen3-Reranker-8B参数未披露未披露未披露未披露8B上下文窗口32K32K32,00032,00032K语言100+100+未披露未披露100+许可 / 访问方式专有 API、VPC、本地部署专有 API、VPC、本地部署专有 API专有 APIApache 2.0 开源权重API 价格(每 100 万 tokens)$0.05$0.02$0.05$0.02自托管段落提取Context FocusContext Focus未披露未披露未披露BRIGHT*82.277.576.469.469.8ViDoRe V3*92.290.690.687.985.1BEIR*90.488.188.686.183.8nanoMTEB*87.385.183.980.782.1ECE,人工评审*(越低越好)0.0580.0580.2340.226未披露
*分数为 RCP-nDCG@10 或 ECE,来自 Cohere 的 Rerank 5 发布文章,由 Cohere 测量。未经独立验证。
开发者如何部署 Rerank 5?
Rerank 5 已在 Cohere API 和 Model Vault 上正式可用。它也运行在 Microsoft Foundry(Pro、Fast)和 Amazon SageMaker(Pro、Fast)上。它还向所有 North 用户开放。API 价格为 Pro 每 100 万 tokens $0.05,Fast 为 $0.02。Model Vault 在其 Medium 层级上对两个档位均标价每实例小时 $4.00。
根据 Cohere 的集成文档,集成包括 LangChain、Haystack、Elasticsearch 和 Weaviate。
核心要点
Rerank 5 以 Pro($0.05)和 Fast($0.02)每 100 万 tokens 的价格发布,两者均具有 32K 上下文。
Pro 在 BRIGHT 上得分为 82.2,比 Voyage AI Rerank 3 高 5.8 分。
Context Focus 在 1 次调用中返回带分数的段落,将智能体 tokens 减少 35% 至 41%。
校准后的分数达到约 0.06 ECE,因此 1 个阈值可跨领域通用。
所有基准测试均为 Cohere 在其 RCP-nDCG@10 指标上自行报告。
查看官方公告、Rerank 5 更新日志和完整结果表。所有功劳归于该项目的研究者。也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或网络研讨会等?联系我们
文章《Cohere 发布 Rerank 5,聚焦段落级上下文并采用校准分数》首次出现在 MarkTechPost 上。