一项新的研究来自 Nvidia 研究人员,针对这些成本的处理不在模型层面,而是在harness,即模型与其环境之间的控制层,被 Codex、Claude Code 或 OpenClaw 等系统所使用。

Diagram of the SoL-Pi auto-research loop showing research environments, a research AI, an idea pool, and four retained mechanisms, alongside bar charts comparing score and API costs for Codex, Claude Code, Pi, and SoL-Pi on EdgeBench.
一个研究型 AI 分析智能体轨迹,提出 harness 修改,并只保留那些在保持性能的同时降低成本的修改。在 EdgeBench 上,SoL-Pi 相比 Codex 节省 50%,相比 Claude Code 节省 54.3%。| 图片:Nvidia

harness 控制着智能体如何观察状态、执行动作和处理反馈。迄今为止,大多数效率方法都专注于通过更快的注意力内核和服务基础设施、量化等模型压缩,或换用更便宜的模型来降低每个 token 的成本。

AI 探索 152 个方向以寻找更精简的控制逻辑

在实践中优化 harness 很难,因为工具使用、上下文管理、验证和中止逻辑都紧密耦合。在一个地方节省 token 的改动可能会在别处引发错误,或只是把成本推到后续阶段。通常,人类需要梳理冗长的执行轨迹,并将反复出现的失败模式转化为代码。

该系统名为 SoL-Pi,可自动化这项工作。一个研究型智能体观察另一个智能体的轨迹,提出修改,并在准备好的环境中测试它们。能力和效率检查决定哪些候选方案能存活下来。该方法借鉴了递归自我改进,据作者称。

Flowchart of the search pipeline from trajectory rollouts through map-reduce analysis, mechanism proposal, candidate implementation, independent review, and development validation to a separate held-out evaluation.
留出评估只在 harness 冻结后进行,且不会反馈到搜索过程中。| 图片:Nvidia

在 535 个可执行环境中,该系统探索了 152 个方向,包括源自 GitHub issue-pull-request 配对的 495 个任务和 40 个合成测试用例。总体而言,该过程生成了超过 3,000 次运行和超过 60,000 次智能体-环境交互。据研究人员称,这一规模显示了系统搜索的广度,但更多的搜索并不自动带来更好的结果。这里存在一个风险,因为早期工作表明,自动优化的 harness 往往会对训练任务过拟合,而在不熟悉的任务上几乎没有收益。

SoL-Pi 通过严格将搜索反馈与评估分离来解决这一问题。研究人员使用 EdgeBench 作为测试基准,并将其与搜索过程完全隔离。在其 51 个公开任务中,他们用 11 个对完成的候选方案进行一次性验证。其余 40 个保留用于最终评估,这些结果从未反馈到搜索中。

消除无用功的四种机制

搜索产生了四种机制。Action Fusion 将两个连续步骤合并为一个,例如代码编辑后接一次测试运行,从而省去一次完整的语言模型调用。Online Context Compact 在每个规划步骤后运行,只要不丢失重要信息,就精简累积的上下文。

ObservationPack 将较长的工具输出归档,并在后续步骤中插入一段简短摘要,而不是每次都重新发送全文。Evidence-Preserving Reducer 将大型错误和测试日志路由到一个更便宜的模型,由其提炼出关键发现,并配有自动验证步骤来捕捉任何遗漏的关键线索。

Four-panel diagram showing how Action Fusion merges consecutive API calls, Online Context Compact trims context after subtask completion, ObservationPack archives large tool outputs with short summaries, and Evidence-Preserving Reducer distills error logs through a cheaper model with automatic verification.
Nvidia 在 535 个可执行环境中搜索机制,并将 EdgeBench 留作最终评估。 | 图片:Nvidia

据研究人员称,在 EdgeBench 的 51 个公开任务上,SoL-Pi 的表现与原始 Pi harness 大致相当。token 用量下降多少取决于配置。最高效的变体结合了全部四种机制,token 用量减少 49%,并达到 Pi 得分的 93.7%。优先考虑性能、只选择最强单一机制的用户,其得分比 Pi 高出 5.3%,同时仍节省了 token。在两种变体中,token 用量下降 44.7% 到 49%。

Comparison table of Codex, OpenSquilla, Oh-My-Pi, OpenCode, Oh-My-Opencode, Pi, and two SoL-Pi variants running GPT-5.6 Sol, showing token traffic, costs, average score, and token efficiency.
SoL-Pi 的高效变体将 token 用量相比 Pi 减半,成本为 894 美元而非 1,339 美元,得分略低。 | 图片:Nvidia

按美元计算,作者估计,基于当前 API 价格,相比原生 Codex 和 Claude Code harness 每小时可节省 8.75 到 13.50 美元,相比 Pi 每小时可节省 4.36 到 5.71 美元。

研究人员构建该系统时仅使用GPT-5.6 Sol,然后将其应用于Opus 5没有任何改动。在那里,它以类似的节省保留了 Pi 94.3% 的性能。但在 Opus 5 下,这些机制触发的频率更低、力度更弱,研究人员将此归因于该 harness 仅在 GPT-5.6 Sol 轨迹上进行了优化。

在其他基准测试上,结果更加混乱

在 EdgeBench 之外,情况更加复杂。在 Terminal-Bench 4 的 63 个 CPU 任务中,SoL-Pi 仅解决了 15 个任务,而 Codex 和 Pi 各解决了 18 个。总成本仍比 Pi 低约四分之一。

在 2026 年数学奥林匹克(IMO 2026)的形式化验证 Lean 4 任务中,该系统以每个已解决任务的最低成本解出了六道题中的三道。在一项内核优化实验中,由 20 个 SoL-Pi 工作单元组成的集群相比同等的 Pi 集群将成本降低了 26.8%。

Architecture of an agent swarm with a Codex coordinator and five groups of four workers, alongside progress curves and bar charts comparing cycle counts and model costs.
在内核优化测试中,使用 SoL-Pi 工作单元的集群取得了最佳结果,成本比使用 Pi 工作单元的集群低约四分之一。| 图片:Nvidia

效率提升伴随着权衡,因为更短的上下文会降低提示缓存复用。在一次测试运行中,总成本仍从 1,339 美元降至 894 美元。展望未来,作者建议像预训练模型那样跨多个任务预训练 harness,并使用已经精简的 harness 来降低搜索其后继者的成本。他们将这种递归式效率提升称为一种愿景,而非当前研究的发现。

harness 对智能体成本的影响有多大,在工具公司 Composio 于 8 月进行的一项测试中变得清晰,该测试运行了Deepseek V4 Flash 在四个智能体框架上包括 Claude Code 和基于 Pi 的 Oh My Pi。尽管是同一个模型在完成任务,每个已解决任务的成本却相差近 3 倍。

定价和优化压力持续增长,因为智能体消耗的 token 越来越多。据 OpenRouter 分析师 Peter Walker 称,自 2026 年 2 月以来,智能体 token 使用量增长了 14 倍,其中近 70% 来自缓存提示。

不过,SoL-Pi 所使用的那种上下文压缩可能会产生副作用。一项研究发现,压缩平均仅保留 17% 的用户指令并行智能体也会推高成本。Codex 开发者 Eric Provencher 最近警告说,超过两个子智能体几乎总是会消耗大量 token,却无法提升质量,因为它们大部分时间都花在互相检查对方的工作上。