OpenRouter 发布 Agent 模型成本与质量权衡框架
OpenRouter 提出基于置信度的升级路由方案:让模型用结构化输出给自己的答案打 0-1 分,高分请求留在便宜模型,低分请求转给更强模型。指南强调分数只是自评,不是校准概率,0.85 不代表 85% 正确率,应使用排序而非绝对值。阈值需用自己的流量数据设定:先跑一批请求,按分数分档统计错误率,在错误率上升处切分。上线后需记录分数分布、升级率和未升级答案的错误率,模型或流量变化时重新调参。
推荐理由做 Agent 路由的可以直接照搬五步流程,用结构化输出拿置信分,按自己流量的错误率分档定阈值