GPT-6.1 Sol 在仅仅 7 天后取代了 GPT-6 Sol。它在 Intelligence Index 上的得分比 GPT-6 Astra 低 1 分,而每任务成本不到其四分之一。

定价与 GPT-6 Sol 一致,为每百万输入/输出 token $2/$10,只是缓存读取折扣从 90% 提高到 95%。因此,GPT-6.1 Sol 在智能体工作负载上的整体混合价格略低于 GPT-6 Sol。这代表着继 GPT-6 Sol 最初相对 GPT-5.6 Sol 的 50% 折扣之后的又一次降价。
关键要点:
➤ 达到接近 Astra 的智能水平:GPT-6.1 Sol 在 Intelligence Index 上相较 GPT-6 Sol 提升 4 分,相较 GPT-5.6 Sol 提升 5 分——仅比 GPT-6 Astra 低 1 分。它在智能体知识工作方面取得显著进步,在 AA-Briefcase v1.1 和 GDPval-AA v2.1 中分别提升 4 分和 5 分。其他显著提升包括 Terminal-Bench 4.0 跃升 12 分、Humanity’s Last Exam 跃升 5 分、GDP.pdf 跃升 6 分,以及 AA-Omniscience Accuracy 跃升 8 分,同时幻觉率从 60% 降至 54%。
➤ 推进成本效率前沿:在最大 effort 下,GPT-6.1 Sol 每个 Intelligence Index 任务的成本不到 GPT-6 Astra 的四分之一($0.72 对 $3.26)。它每任务成本也比 GPT-6 Sol($1.05)低 31%,比 GPT-5.6 Sol($1.99)低 64%。GPT-6.1 Sol 的所有 effort 级别都推进了成本效率帕累托前沿:在给定智能水平下,没有更便宜的模型。
➤ 推进 token 效率前沿,但输出 token 用量略高于 GPT-6 Sol:在各 effort 级别下,GPT-6.1 Sol 使用的输出 token 比 GPT-6 Sol 多约 10-30%。然而,由于 Intelligence Index 得分的提高,其低和中等 effort 级别在 token 效率上是帕累托最优的。
➤ Coding Agent Index 提升:在 Artificial Analysis Coding Agent Index 中,GPT-6.1 Sol 在最大 effort 下相较 GPT-6 Sol 提升 3 分,并比 GPT-6 Astra 低 2 分。
Coding Agent Index
GPT-6.1 Sol 在 Artificial Analysis Coding Agent Index 与每任务成本的帕累托前沿中占据了较低价格区间的主导地位。GPT-6.1 Sol(xhigh)的得分比 GPT-6 Astra 高 1 分,而每任务成本不到后者的 15%。这相比 GPT-6 Sol(max)提升了 6 分。我们观察到 xhigh 努力设置比 max 努力设置高出 3 分。

Token 效率
在 Intelligence Index 中,GPT-6.1 Sol 在各努力设置下比 GPT-6 Sol 多使用 10-30% 的输出 token。然而,由于智能水平的提升,其 low 和 medium 努力设置在 token 效率上达到帕累托最优。

AA-Omniscience
在 max 努力设置下,GPT-6.1 Sol 在 AA-Omniscience Accuracy 上跃升 8 分,同时幻觉率降低 6 分。

AA-Briefcase
GPT-6.1 Sol 在 AA-Briefcase 上提升了约 80 Elo。这得益于其 rubric 得分和 Analytical Quality Elo 的提升,而 Presentation Elo 略有下降。

各项评估结果
Artificial Analysis Intelligence Index v4.3.2 中各项评估的细分。

在以下网址将 GPT-6.1 Sol 与其他领先模型进行比较:artificialanalysis.ai/models/releases/gpt-6-1-sol