今天我们推出一个新的模型路由器基准测试页面,用于比较日益增多的路由器选项之间的性能。每个路由器都运行了一组来自不同领域的基准测试,以在质量、速度和成本方面对其进行评分。

代表最佳成本效益和智能水平的单个模型与路由器并列展示,作为比较的基线。请持续关注此页面,因为我们会不断添加新的路由器,并随着路由器的改进更新分数。

Benchmark matrix on the Model Router Benchmarks page showing Router Index scores for Auto cost tiers, Auto Beta, Fugu Max, Fugu Ultra v2, and Jev Router across six benchmarks

OpenRouter 推出了首批模型路由器中的两个,即我们的Auto Router和Free Models Router。它们的创建是为了让你拥有一个可靠的选项,能够跟上最新模型,并以你偏好的成本水平运行。自那以后,我们不断改进它们,包括通过利用市场的智慧来为路由决策提供依据。

近几个月来,许多路由器相继推出,它们利用模型生态中不同的优势来优化性能。

成本差异:例如,将 DeepSeek v4 Flash 与 GPT-6 Astra 进行比较,GPT-6 Astra 每 token 的平均支付价格高出 48 倍以上,而在 Codex 中运行平均 10 到 49 轮会话的成本高出 21 倍。路由器可以将任务的部分环节切换到成本更低的模型以节省成本。

任务多样性:例如,在法律研究上表现最好的模型可能不同于最适合编程的模型。路由器可以在它们之间切换,以利用每个模型的优势。

会话阶段:智能体会话的不同部分可能需要不同水平的智能。路由器可以在模型或推理力度之间切换,以适应会话中需要复杂规划或平凡执行的部分。

在实践中,这些技术各有挑战,有时可能导致比直接使用单个模型更差的性能:

  • 在模型之间切换意味着请求会变得更昂贵,同时输入缓存需要重建。
  • 路由器通常没有足够的信息,仅通过查看提示来评估任务复杂度。
  • 用于判断会话阶段的启发式信号可能与模型的下一步不一致。
  • 你在路由决策上运行的处理越多,引入的延迟就越多。

我们提供这些模型路由器基准测试以展示哪些路由器能够克服这些固有挑战,从而让你决定何时(以及是否)适合将它们投入使用。它们旨在帮助你找到符合所需性能特征的路由器与模型组合。

路由器的类型

“路由器”这个词被用来指代许多不同的东西。让我们来拆解一下。

提供商路由:模型通常由多个推理提供商提供服务,因此提供商路由器会挑选符合你偏好的那一个——基于价格、速度、正常运行时间和数据政策,然后在失败时回退到另一个。这正是 OpenRouter 自第一天起就在做的事。

模型路由:与其直接选择单个模型,你可以将请求发送给一个路由器,例如Auto Router,由它决定哪个模型应该作答。它们的行为就像模型一样,但可能会使用一个或多个模型来响应你的请求。

我们进行基准测试的模型路由器采用了几种不同的方式:

执行模型混合的路由器: Unbiased 的 Pareto和Sakana 的 Fugu是使用模型混合的推理提供商,有时会进行前沿升级。它们不披露所使用的模型或切换发生的频率,并按标准化的每 token 费率计费。

选择模型的路由器: Auto Router和Jev Router为每一轮选择一个模型。模型选择是透明的,并且无论选中哪个模型,你都按标准费率计费。

在一组预定义模型之间切换的路由器: NVIDIA 的 Switchyard将一个更便宜的模型与一个更强的模型配对,并在智能体完成任务的过程中在两者之间切换。我们测试了若干配对,以展示哪些模型搭配效果最好,但你可以用任何你想要的配对来运行它。

还有几种其他风格,例如Pareto Code或-latestmodel slugs,它们会别名指向单个模型。Pareto Code 会为你期望的智能水平挑选最具成本效益的模型,而-latestslugs 则指向某个模型家族中最新的模型。Fusion是另一种风格,它会在一个模型委员会中运行同一个请求,并综合出最佳答案。这些风格没有进行基准测试,因为它们服务于专门用途,需要不同的比较方法。

Router Index 综合了质量、速度和成本

基准测试揭示了多个维度上的表现,因此很难判断哪个路由器表现最佳。Router Index 将质量、速度和成本综合为每个基准测试的 0 到 10 分。默认情况下,它将质量(基准测试得分)权重设为 60%,每任务时间设为 20%,成本设为 20%。你的优先级可能不同,因此你可以拖动页面上的滑块来调整指数权重。

Router Frontier chart plotting Router Index against cost per task on a log scale, with Pareto, Switchyard, and Auto points on the efficiency line and hollow single model baselines for reference

只需将这些路由器替换为你的模型,即可试用其中任何一个

与任何基准测试一样,我们的模型路由器基准测试仅代表一般任务,而非你自己的实际工作。列出的所有路由器均可在 OpenRouter 上使用。在任何应用、测试框架中,或通过我们的 API,将它们替换为你的模型即可。