随着 GPT-6 Astra 在 Codex 中运行实验,Asana 在 GPT-6.1 Sol 上优化了其浏览器智能体的工作流,使其运行成本降低 76 倍、速度提升 5 倍。
Asana 帮助客户跨业务应用自动化工作,通过StackAI(在新窗口中打开),这是它收购的(在新窗口中打开)一个平台。使用 StackAI,客户可以构建无需编写代码即可浏览网站、填写表单和收集信息的工作流。在 Asana 的规模下,这些工作流中的微小低效会不断累积。
Asana 的 StackAI 首席技术官 Frank Hidalgo 博士着手让浏览器智能体运行得更快、更便宜。他指示 Codex 中的 GPT-6 Astra 调查该智能体、测试改进方案并比较结果。他估计这项工作手动完成需要一到两个月,实际只用了大约一周。
Asana 的 144 次运行研究(在新窗口中打开)测试了 GPT-6.1 Sol 和其他三个前沿模型,这里称为模型 A、B 和 C。在 GPT-6.1 Sol 上得出的优化工作流平均每次运行估计模型成本为 0.47 美元,耗时约四分钟,比模型 B 上的原始生产设置便宜 76 倍、快 5 倍。
“这就是人类与智能体团队在实践中的样子。一名工程师设定方向,GPT-6 Astra 运行实验,结果通过 Command 进入生产环境。这展示了 Asana 如何让人类与智能体团队成为现实。”
——Arnab Bose,Asana 首席产品官
用 GPT-6 Astra 识别浏览器智能体的低效之处
为了快速推进,Hidalgo 首先使用 Codex 中的 GPT-6 Astra 梳理代码库,并解释该智能体如何构建每个模型请求。GPT-6 Astra 发现,该智能体缓存了固定指令和工具定义,但没有缓存它收集到的不断增长的页面文本和截图历史,因此每个请求都以全价重新发送该历史。
该智能体还在几乎每一步都丢弃较旧的截图并裁剪文本。每次编辑都会改变历史,因此仅缓存历史本身不会有帮助,而丢失这些事实可能要求智能体重新访问它已经读过的页面。
从估计两个月的调研缩短到使用 GPT-6 Astra 的一周
Hidalgo 审查了 GPT-6 Astra 提出的修复方案,并选择了三个进行测试:
将缓存扩展到智能体的浏览历史
增加其可保留的文本量
批量移除截图,而不是在每一步都移除
GPT‑6 Astra 从快速测试入手,以确定哪些变量至关重要。由于代码并非为受控实验而设计,它随后重构了代码,使一个前端和一个后端能够并行支持多种工作流,每种工作流都有自己的设置。
Astra 开展了完整的研究:历史预算为 120,000 和 480,000 个字符,以及六种缓存和截图策略,每种策略在四个模型上各测试三次(见下表)。表现最佳的策略允许截图累积到 20 张后再削减回最近的一张。这使得在两次移除之间,更早的历史能保持更长时间不变。结合更大的历史预算,它成为了优化后的工作流。每种配置都执行相同的任务:从一个公开演示目录中为 32 本书各收集六个字段,这代表了部分 Asana 客户在 StackAI 中运行的任务。
模型 | 描述 | 价格 |
|---|---|---|
模型 A | 来自另一家前沿实验室的更小、更便宜的模型,于 2025 年秋季发布 | 价格为以下模型的一半GPT‑6.1Sol |
模型 B | 最初用于生产环境的模型,与模型 A 来自同一家实验室,于 2026 年夏季发布 | 价格与以下模型相同GPT‑6.1Sol |
模型 C | 模型 B 的更新版本,于 2026 年秋季发布 | 价格与以下模型相同GPT‑6.1Sol |
GPT‑6.1Sol | OpenAI 的模型 |
GPT‑6 Astra 运行了这些工作流,并检查了请求、使用记录和输出,另有独立的模型会话审查了这项工作。每个会话的请求、数据轨迹和结果都记录在Command(在新窗口中打开),即 Asana 的软件交付平台中,因此团队之后可以审查完整的研究。从 Command 中,研究结果被转化为工单,然后转化为拉取请求,这些更改随后进入了生产环境。
“这要是手工做,得花我一到两个月。有了 Codex 中的 GPT-6 Astra,大约一周就完成了:我会在睡前设置一个 /goal,早上再查看结果。”
——Frank Hidalgo,博士,Asana 的 StackAI 首席技术官
将模型成本降至每次运行 0.50 美元以下
对于 Model B,优化将估计的模型成本从至少 $36.21(部分原始运行在完成前就达到了步数上限)降低到每次运行 $1.24,减少了 29 倍。在 GPT‑6.1 Sol 上,优化后的工作流还要便宜 2.6 倍,为 $0.47。优化工作流中的每次运行都完成了任务并返回了正确答案。
3 次运行的均值。≥:基线包含被截断的运行,因此其均值是一个下界。
右侧两个折叠与 Model B 优化版进行对比。Model B 在同一研究的第一阶段运行,Model C 和 Sol 6.1 在第二阶段运行(虚线)。
仅在 GPT‑6.1 Sol 上,借助更大的历史预算,新的缓存和截图策略将成本降低了 4 倍,从每次运行 $1.97 降至 $0.47。每次调用便宜了约 3 倍,因为 89% 的输入来自缓存,价格仅为未缓存价格的 5%。运行速度也变快了:在 Model B 的原始设置上至少需要 22.5 分钟,而在 GPT‑6.1 Sol 上使用优化工作流大约只需四分钟。
3 次运行的均值,误差线为标准差。≥:均值包含一次被截断或未完成的运行,因此真实值至少有这么高。
柱状图使用蓝色主题。缓存效果请对照 480k 更大预算的柱子来解读。
运行标记和标准差误差线是根据源图像近似重建的;底层的运行数值和标准差不可得。
3 次运行的均值,误差线为标准差。≥:均值包含一次被截断或未完成的运行,因此真实值至少有这么高。
柱状图使用蓝色主题。缓存效果请对照 480k 更大预算的柱子来解读。
运行标记和标准差误差线是根据源图像近似重建的;底层的运行数值和标准差不可得。
该调查还揭示了历史管理如何影响智能体是否最终给出答案。给 GPT‑6.1 Sol 更多空间来保留其浏览历史,使给出答案的运行次数从较小历史预算下的 18 次中 3 次增加到较大预算下的全部 18 次,且每次都给出正确答案。对于 Hidalgo 而言,其商业价值在于让客户能够使用更快、更强大的模型,同时保持运营成本可持续。
“成本曾限制了我们能为客户提供哪些模型来处理这些工作负载。通过让智能体更高效,我们可以在降低运营成本的同时,为客户提供更好、更快的模型。”
——Frank Hidalgo,博士,Asana 旗下 StackAI 首席技术官
扩展实验与产品测试
Asana 已在 StackAI 中发布浏览器导航的更改,并正在开发工具,使类似的实验更容易重复。随着时间推移,团队计划将这种测试纳入平台的评估中,以便客户和内部团队在配置智能体时比较成本、运行时间和答案质量。
“发布速度不再是瓶颈;人类的注意力才是。我们正接近一个世界,在那里每位工程师都是领导着一群智能体的 PM。”
——Frank Hidalgo,博士,Asana 旗下 StackAI 首席技术官
Asana 现在正在 Codex 中使用 GPT‑6 Astra 在发布前测试产品功能:Astra 浏览平台,尝试不同的输入,并向人工 QA 审核员报告 bug。Hidalgo 将此视为新软件开发生命周期的基础,其中许多云智能体会话会并行测试功能。