智能体开发的惊人速度已使传统的性能工程方法难以为继。为了跟上步伐,我们构建了 Performance Factory,这是一个自主系统,利用 Codex 和我们模型的全套能力,以前所未有的速度发现并修复性能回退。Performance Factory 运行在云端,自动完成性能问题的调查与解决,使我们能够跟上路线图的雄心。

在 Performance Factory 中,我们的工程师为周期性任务定义工作流,并为执行这些任务的 Codex 智能体编写指令。具体而言,Regression Workflow 会在性能告警触发时创建一个任务。一个智能体调查性能下降的原因,将发现记录在任务中,并提出修复方案供工程师审核。部署之后,另一个智能体会接手同一任务,检查性能是否已恢复到基线。从调查到编写修复方案再到验证缓解效果,Performance Factory 中的这第一个工作流已经实现了修复性能回退全流程的自动化。在短短三个多月里,Regression Workflow 跟踪了 1,700 多次调查,并为 600 多个案例定位了根因。这相当于每天 17 次自动化调查。

在这里,我们将分享我们对 Codex 的使用如何演变为如今的 Performance Factory,介绍我们第一个投入运行的工作流,并分享在生产环境中构建和运行智能体工作流的早期经验。

从人工调查到自动化工作流之路

随着我们将 Codex 用于更多的性能工作,我们注意到团队的工作方式呈现出一种演进。我们希望其他服务团队在将智能体工作流引入其他领域时,能从我们的过程中有所借鉴。

软件工作从人工劳动,演进到与机器协作,再到智能体工厂。

1. Codex 之前。在 Codex 之前,工程师需要手动检查指标和日志、比对追踪记录、调试线上机器并阅读代码来排查性能变慢的问题。这项工作非常耗时,而且往往需要深入理解该服务才能知道该从哪里查起。相关信号很容易被遗漏。当我们反复遇到同类问题——比如 ChatGPT 首 token 延迟的回退——我们构建了 CPU 和内存分配分析器等高级工具,让这些排查工作更容易。随着时间推移,我们积累了 30 多个性能工具。

2. Codex 作为伙伴. 一旦我们有了Codex 作为伙伴,工程师就可以问“为什么这个变慢了?”,并与 Codex 一起排查,即使是在不熟悉的系统中。Codex 可以搜索大型代码库、找到相关的指标和追踪记录、跟踪跨服务的交互,并进行适当的性能分析,从而拼凑出发生了什么。但工程师仍然需要引导这个过程,知道该使用哪些性能工具以及如何引导排查。困难的排查对更多人来说变得更可调试,所需的专业知识和时间也更少。

3. 可复用的技能. 为了进一步自动化,我们将性能团队的排查流程固化到一个名为perf-forensics的共享技能中。它告诉 Codex 有哪些可用工具、何时使用它们,以及如何逐步排查性能变慢问题,使 Codex 能够从多个角度尝试解决问题:

  • 找出性能变慢开始的时间

  • 确定受影响的请求

  • 排查部署或配置变更是否可能是原因

我们测试并改进了perf-forensics技能,使用基于过往回退的评估。对于我们关注的回退类型(例如 ChatGPT 延迟和可用性下降),我们现在可以把告警交给 Codex,并在一次运行中得到诊断结果,而无需逐步引导它。

4. 人类代理. 随着我们不断添加和改进与性能相关的 Codex 技能,比如perf-forensics,我们开始感觉自己像是告警和 Codex 之间的代理。告警触发后,工程师只需把它连同正确的技能复制粘贴到 Codex 中,再把发现结果粘贴回 Slack。

5. 自动化排查接下来,我们将调查转移到云端,这样警报就能自动启动一个 Codex 会话。Codex 调查了变慢的原因,并将其发现发布在 Slack 线程中,但自动化到此回复就结束了。工程师仍然需要接手诊断、开发修复方案,并在部署后检查是否有效。随着警报不断累积,即使只是弄清楚哪些回归需要关注,也意味着要在 Slack 线程中翻找。

6. 工厂我们构建了 Performance Factory 来运行端到端的智能体性能工程工作流。它会跟踪每个活跃任务下一步需要什么,并在该步骤就绪时分配一个智能体。每个任务都会保留其状态和发现,因此工作可以在智能体和工程师之间传递,并在代码审查或部署后恢复。对于回归问题,工作从调查警报开始,到验证生产环境恢复结束。我们可以将常见的优化转化为定期在我们的服务中运行的工作流。一个发现潜在优化的工作流可以在另一个工作流中打开一个任务来测试并实施它。

Performance Factory 系统的四个部分

Performance Factory 由四个组件组成:一个带有可配置工作流的任务跟踪器、一个将就绪工作分配给智能体的调度循环、一个在云端运行 Codex 的 API,以及在某些变化发生时(例如 GitHub 审查评论发布或部署完成)唤醒智能体的订阅机制。

Performance Factory 由任务服务、调度循环、云端执行和订阅组成。

带有可配置工作流的任务服务

任务服务是工程师通过添加配置文件和用 Markdown 编写的供智能体遵循的提示来定义工作流的地方。配置列出了任务可以经历的状态、允许的转换,以及哪些步骤需要工程师参与。单独的提示告诉智能体在每个步骤该做什么。

一个代码变更任务包含一个配置文件,以及用于实施和审查的 Markdown 提示。

每项工作都会成为工作流中的一个任务,所有工作流都能在 UI 中看到。工程师可以看到哪些任务是开放的、跟踪进度,并把任务分享给可能掌握更多上下文或能帮助推进下一步的队友。

分配工作的调度循环

A调度循环会定期检查哪些任务已准备好进入下一步。它通过启动一个 Codex turn 并附上该任务当前状态的指令,为每个任务分配一个智能体。智能体在任务上记录进度,并在完成该步骤后将任务推进到下一个状态。

云端的 Codex

任务被分配后,智能体需要一个地方来执行工作,并能访问工程师会使用的相同工具。我们构建了一个内部 API,以编程方式在云端调用 Codex turn。该 Codex turn 运行在一个位于我们网络内的环境中,可以访问我们的代码仓库以及工程师使用的可观测性工具,例如指标、日志、追踪、CPU 性能分析和内存快照。

智能体以服务身份运行,因此我们可以限定其权限范围,并查看哪些操作来自我们的性能智能体。将智能体工作迁移到云端,使我们能够并行运行工作,而无需依赖工程师的笔记本电脑保持开机,也无需手动管理单个云开发机。

在发生变化时唤醒智能体的订阅

有些工作必须等待某个人或某次部署;在此期间,智能体不应持续运行。当任务需要等待时,它可以订阅事件,例如 GitHub pull request 上的评审评论或失败的 CI 检查,以便在可以重新接手工作时收到通知。当传入事件与订阅匹配时,任务会再次变为就绪状态,调度循环随后可以分配一个智能体来继续这项工作。

第一个工作流:从告警到恢复

发现、定位根因并解决回归问题,是我们在 Performance Factory 中构建的第一个工作流。我们称之为 Regression Workflow。一个性能回归会经历几个阶段:需要调查,已定位根因,已提出修复,以及已解决,因此我们构建了自动化工作流,以反映这些阶段并推动任务依次经过这些阶段。

当其配置的某个性能告警触发时,Regression Workflow 会开启一个任务,由智能体接手并推动其跨越这些阶段。该任务会在任何单个智能体的上下文之外记录其状态和关键发现,以便其他智能体或工程师接手这项工作。工程师可以在 Slack 或 Regression Workflow UI 中跟进工作、补充上下文并审查提议的变更。修复部署后,智能体会检查性能是否已恢复到原始状态,然后再将任务标记为已解决。

Performance Factory 回归工作流

检测到回归。

  1. 已检测系统
  2. 查找根因智能体
  3. 提出修复方案智能体
  4. 审查并部署工程师
  5. 验证恢复智能体
  6. 已解决

当前阶段:已检测

Regression Workflow 的步骤包括查找根因、提出修复方案、审查并部署,以及验证恢复。

智能体查找根因

查找根因是工作流中的第一个主要步骤。智能体首先弄清楚哪些指标变差了、它们何时开始变化,以及哪些服务请求受到了影响。perf-forensics技能让 Codex 能够使用我们性能工程师所用的工具,并提供了一套用于解决这些问题的操作手册。

当某个指标越过阈值时会触发告警,但回归可能早在数小时前就已开始。智能体会回溯数据,找出该指标最初变差的时间点。随后它会对比各组请求:是相似的请求确实变慢了,还是我们正在处理更多本就缓慢的请求?这些发现指向不同的原因。

一旦知道何时、何处去查,智能体就会检查部署和功能开关变更,然后阅读相关代码。它会核查某项变更实际何时到达受影响的请求,并利用日志或追踪来验证代码能否解释所发生的情况。

对抗性审查可强化诊断

早期,智能体有时会停在它们找到的第一个看似合理的解释上,而其中一些诊断后来被证明是错误的。为了捕捉这些错误,我们加入了一个对抗性审查:一个单独的 Codex 会话,试图推翻所提出的诊断。审查者会重新检查假设并测试反事实。如果某次发布导致了变慢,那么未受影响的类似请求是否保持健康?如果疑似变更被回滚,受影响的指标是否恢复?

在一次调查中,一个智能体将失败的 ChatGPT 对话追溯到图片下载错误,并标记已找到原因。Codex 审查者注意到,负责定位文件的内部服务已经恢复,而图片请求仍在失败。该诊断无法解释持续存在的失败,因此 AI 审查者重新开启调查,并记录了仍需确认的内容。

我们成功地将较大的任务拆分为聚焦的 Codex 轮次。在对 100 条根因建议的人工审查中,我们将 70% 评为准确,30% 需要进一步细化或未能完全确立因果关系。在回归工作流中,不同的轮次分别调查回归、质疑诊断并提出修复方案,通过相互制衡来提高准确率数字。

修复回归才是困难的部分

一旦诊断通过对抗性审查,工作流会要求 Codex 实施修复并打开一个拉取请求。工程师审查该 PR 并决定是否合并。我们投入了大量工作,使这一交接尽可能容易。每个任务都有一份报告,其中自动生成回归、其影响、根因和建议修复的摘要。我们调整了这些摘要,使其易于快速浏览,包括指标时间序列、CPU 火焰图和追踪,以帮助工程师快速理解发现并检查证据。工程师可以直接编辑 PR,或使用诊断来编写自己的修复。如果他们在 PR 上留下评论,工作流会唤醒一个智能体来处理这些评论。

Performance Factory report showing worker startup time more than doubling, with impact and recovery, root cause, and proposed fix.

一个回归任务的示例报告,展示了关键细节、根因和建议修复。

在工程师部署修复后,工作流会唤醒一个智能体,检查性能是否已恢复到先前的基线水平。如果已恢复,智能体便将任务标记为已解决。如果性能仅部分恢复,智能体会将原始的性能回退标记为已解决,并为剩余的变慢问题新开一个任务,因为后者可能由不同的原因导致。如果没有任何改善,智能体会记录所发生的情况,并将该性能回退发回进行调查。

把修复做对,比找到原因更难。例如,我们见过一些情况,智能体提出的改动比必要的更复杂,或者引入了新问题。与根因分析这一步类似,我们为每个提议的修复增加了一道对抗性审查,以检查它们是否针对根因,并帮助发现缺陷或意外后果。有些修复还需要更高层面的架构决策。例如,增加缓存可能提升性能,但会引入过期数据。这类改动需要了解该服务、能够权衡取舍的工程师给出指导。

我们正在利用这些案例构建一个评估与改进闭环。通过将智能体提出的修复与工程师最终合并的改动进行对比,我们可以更好地理解提议在哪些地方存在不足,构建评估,并改进工作流。我们还在研究使用合成性能测试,让智能体能够衡量提议的修复,并在请求工程师审查之前进行修订。我们也在探索智能体如何利用我们其他的智能体审查工具来识别低风险改动,并最终在没有人工介入的情况下交付这些修复。

我们的收获

构建和运行 Performance Factory 让我们学到了很多关于在生产环境中开发和运营智能体工作流的经验。以下是给正在构建自己的智能体工作流的团队的一些经验。

保护工程师的注意力

Codex 调查的原始输出可能是一大段难以解析的文字。要弄清智能体在主张什么,并找到相应的图表来确认数据是否支持这一主张,需要花费不少精力。我们希望工程师把注意力花在决策上,而不是重建智能体的工作过程。

智能体能调查的回归问题比团队有时间阅读的要多。我们的第一个版本给工程师提供了一个满是发现的 UI,但仍然需要有人来决定哪些信息重要。一个回归问题也可能在告警、监控和渠道中表现为多个事件。现在的工作流会关联相关事件,按团队关心的指标对它们分组,并对它们的预估影响进行排序。工程师可以专注于补充上下文、权衡取舍,并决定要发布什么。

评估对智能体的改动

更新调查技能或升级模型,可能会让智能体在某些情况下诊断得更好,而在另一些情况下更差,所以我们需要测试它们的影响,然后再更新它们。我们分别测试两件事:1)智能体调查得有多好,2)它的总结对工程师有多大用处。

评估调查

对于调查,我们会针对过去的生产事件进行回测。我们把这些事件转化为一套测试用例,在更改技能时可以重新运行。一个 Codex 智能体尝试调查并解决该事件,我们将智能体的行为与实际的过往解决数据进行对比。每个用例都从一个全新的 Codex 调查员和原始信号开始,并剥离可能泄露答案的细节。

历史测试需要谨慎。指标和追踪会过期,而恢复后收集的证据可能会泄露原因。只有当我们了解调查员能看到哪些证据时,测试才有用。智能体可以在设定限制内检查代码并查询生产遥测数据。它不能使用保存的记忆(早期调查的笔记)、阅读事件报告,或查看之前运行的结果。我们之后还会检查它的记录,寻找可能破坏测试的信息。

我们会评分问题何时开始、规模有多大,以及哪些请求受到影响。我们还会评估智能体如何使用证据来对可能的原因进行排序,并解释哪些仍不确定。智能体可能把时间判断对了,却归咎于错误的部署,所以我们会分别对这些进行评分。

评估智能体到工程师的交接

我们使用已保存任务的快照来评估任务摘要。这些快照特别适合做回溯测试,因为摘要不依赖会过期的外部指标或追踪记录。单独的评分器会检查:不熟悉该系统的工程师能否理解发生了什么以及为何重要、有用的图表是否被保留、以及所提出的下一步是否得到证据支持。

将反复出现的故障转化为自我修复

最后,我们的智能体需要监控,就像它们所调查的服务一样。一个损坏的性能分析器或缺失的权限,都可能让智能体无法验证是什么导致了变慢。这些故障在最终报告中很难被发现,因此我们每天运行一个智能体,翻查近期运行的消息和日志,寻找工具故障和访问错误。

我们使用 Performance Factory 来自我修复并解决这项检查发现的问题。当同一个工具错误阻碍了多项调查时,智能体会创建一个任务来修复它。如果原因明确,智能体会提出修复方案,工程师审查该变更并决定是否合并。在合并此类变更后,我们还会用评估来检查智能体能否越过此前阻碍它们的那一步。

下一步:更广泛的应用、主动监控

Regression Workflow 只是智能体工厂模式的一个实例,该模式让任务经过明确的状态推进。当有更多工作就绪时,智能体会推进任务;独立的审查者会质疑结论;当下一步决策需要判断时,工程师会介入。其他工作流可以复用同一套机制,只需不同的状态、指令和事件。

从一个工作流到多个工作流。Performance Factory 可以跨工作流协调智能体,一个工作流中的智能体可以为另一个工作流创建任务。

目前,我们的回归工作流在告警触发时启动。不过,我们正在为 Performance Factory 探索更主动的方式,即使没有告警触发也能发现性能下降和优化机会。我们希望智能体利用我们已经收集的大量细粒度性能数据,找出告警遗漏的回归问题或发现优化机会。通过对比不同类型的数据(多批 CPU 和内存性能剖析、堆转储,以及跨版本的请求追踪),智能体可能会注意到某个请求的 CPU 占用小幅上升。随后它可以在回归工作流中创建一个任务,追溯这一上升的根因,实施修复,并提交一个 PR 供工程师审核。

在已经明确要查找什么的情况下,我们正努力将已知信号编码进更多 Performance Factory 工作流。例如,我们的服务规格调整技能可以帮助智能体发现那些让服务运行的副本数超过实际所需的自动扩缩容设置。当我们学会识别这类模式后,我们希望为其构建工作流并在所有服务上定期运行,在快速变化的环境中持续优化。借助 Performance Factory,工程师从一次性能下降中学到的经验,可以影响我们下一次的调查和修复方式,即使是在数月之后、另一个服务中。

下次你使用 ChatGPT 时如果发现变慢,很有可能 Performance Factory 已经在查明原因。目前,瓶颈可能在于等待工程师审核并合并修复。我们已经在探索智能体能否自行完成这一过程。随着产品开发借助 Codex 不断加速,性能系统也需要变得越来越自主、自我改进才能跟上。Codex 已经帮助我们更快地构建 ChatGPT。现在它正在帮助我们保持 ChatGPT 的速度。