企业需要能在自身环境中良好运作的智能体。它们要求这些智能体所做的工作，受其使用的系统、遵循的规则以及数据状态的塑造。一个模型可能具备广泛的能力，却仍在特定环境中举步维艰：某个它处理不佳的工作流、某组它误用的工具组合，或某项它未能遵守的约束。这些正是企业需要改进的弱点。
难点在于如何把这些弱点转化为训练数据。单次失败能告诉我们一些信息，但训练一个模型需要许多新任务，在不同情境下锻炼同一种能力。这些任务还必须能在该环境中完成，类似于有人实际会提出的工作请求，并且要有可靠的方法来检验智能体是否成功。
在 ServiceNow CoreAI，我们构建了 AutoSynthData，将这些能力缺口转化为训练数据。它利用目标模型的失败和更强教师模型的成功来决定模型接下来应该学习什么，然后生成并验证锻炼这些能力的新任务。随着模型改进，课程会转向它仍然觉得困难的内容。我们以 EnterpriseOps Gym（Malay et al., 2026）来展示这一流程，使用已发布的数据集。我们首先描述智能体运行的环境，以及是什么让一个任务对训练有用。
什么让一个智能体任务有用？
智能体环境定义了智能体运行的世界：它可以观察和修改的状态、它可以调用的工具和 API，以及它的动作所产生的状态转移。
任务在这个环境中被实例化。我们使用以下抽象：
task = (system specification, user prompt, verifier)
系统规范
系统规范定义了智能体运行所遵循的约束，包括系统指令、环境策略，以及在适用情况下任务特定的初始化，例如预置的数据库状态或一组知识文章。
该规范必须与环境中的工具、状态和受支持的动作兼容。其指令应清晰明确，避免仅为制造难度而引入的任意约束。
面向智能体的任务
用户提示指定了用户希望智能体完成的任务，以及任何用户层面的约束。生成的任务应满足三个属性。
可行性。在当前环境中应至少存在一条轨迹，既满足用户提示，又遵守系统规范。这排除了依赖不可用工具、无法获取的知识、不可能的状态转换或策略禁止的操作的任务。
真实性。用户提示应类似于用户在目标环境中可能提出的请求。可执行行为的空间通常远大于真实工作流的空间。
难度。对于训练而言，任务应暴露当前智能体的弱点。已被可靠解决的任务提供的训练信号很少。因此，有用的区域是那些可行且真实、但尚未被稳定解决的任务。
验证器
验证器决定生成的轨迹是否成功完成任务。它应满足三个属性。
一致性。它应与用户提示、系统规范以及任务特定的环境状态一致。
可靠性。它应拒绝未能满足任务或违反相关约束的轨迹。
完备性。它应接受有效解，而不是只编码某一条特定的参考轨迹。
这些属性在训练期间直接相关。宽松的验证器可能奖励错误行为，而过于严格的验证器可能惩罚有效解。
概述
给定一个环境和目标模型，AutoSynthData 生成由系统规范、用户提示和验证器组成的训练任务。生成的任务以环境为基础，并被选择为当前模型提供有用的训练信号。
AutoSynthData 首先使用诊断任务在环境中评估目标模型，并识别它在哪些任务上难以完成的模式。一个更强的教师模型有助于刻画哪些任务是可解的，以及成功的行为是什么样子。AutoSynthData 将由此得到的能力差距转化为新的可执行任务，在环境中检查每个任务，并使用被接受的样本进行后训练。评估更新后的模型可以揭示哪些差距仍然存在，并指导下一轮生成。
从模型失败到课程
AutoSynthData 利用目标环境中的评估运行来识别模型接下来需要学习什么。在我们的 EnterpriseOps Gym 实验中，我们在评估任务上同时运行目标模型和一个更强的教师模型。我们检查这些运行以识别：
- 所测试的能力；
- 所涉及的工具和工作流结构；
- 目标模型在哪里失败，以及教师模型如何成功；
- 正确的最终状态必须满足哪些属性；
- 在保持所测试能力不变的前提下，哪些维度可以变化。
我们将这些发现提炼为经过净化的能力规格卡。评估任务指导模型应该学习什么，但生成器不会收到它们的原始提示、实体、轨迹或验证器细节。它收到的是这些规格卡，并用它们来创建具有不同提示、状态和解题路径的新任务。
生成并扩展任务
识别出能力差距告诉我们该教什么，但训练需要大量多样化的任务来锻炼这一能力。AutoSynthData 使用规格卡来生成这些任务。
假设目标模型在需要以下工作流的任务上表现不佳：
生成器创建锻炼这一工作流的新任务，变化实体、初始环境状态、工作流组合、工具组合、措辞和难度。然后，更强的教师模型为每个任务演示一条成功的轨迹。对于监督微调（SFT），这些演示教会目标模型如何在新情境中应用该能力。
AutoSynthData 分两个阶段构建数据集：首先生成并验证核心样本，然后将其扩展为新的变体。
目标
目标阶段根据能力规格创建核心训练样本集。工作器并行生成独立任务，完成一个后便领取新的目标。每个候选样本在被接受前都要经过验证、执行、求解器评估和修复。最终得到一批经过审查的样本，围绕目标模型需要学习的内容构建。
倍增
倍增阶段通过为已接受的目标样本创建新的变体来扩展数据集。每个变体都有自己的用户请求、环境状态、实体配置、参考轨迹和验证器，并且必须通过相同的验证和执行检查。倍增产生的样本不能作为另一个倍增样本的种子。这将扩展锚定在经过审查的目标集上，并限制跨代漂移。
实现细节
为支持这两个阶段，AutoSynthData 将生成控制与环境特定的执行分离。一个共享控制器协调生成、质量控制、覆盖率和数据集构建，而一个适配器负责环境执行、任务与状态管理、参考重放、确定性验证、求解器执行和任务分析。
并行目标生成与倍增共同提供了一条通往训练规模数据集的路径。它们的实用性取决于对每个候选样本施加的检查：任务必须可执行，解决方案必须有效，验证器必须能区分成功与失败。
高质量合成数据需要的不仅仅是生成
生成一个看似合理的请求不足以产生有用的训练数据。一个任务在目标环境中可能无法完成，其参考解决方案在执行时可能失败，或者其验证器可能奖励错误的最终状态。AutoSynthData 在接受任务用于训练之前会检查这些属性。
AutoSynthData 在两个层面审查质量：单个候选样本必须通过验证，批次必须提供有用的覆盖率和多样性。
样本级验证与修复
每个候选样本在进入训练数据集之前都必须通过一个质量控制循环。我们首先进行求解器评估以衡量难度。在此处使用的配置中，我们偏好目标模型在三次尝试中最多只解决一次、而更强的求解器在三次尝试中至少解决两次的任务。候选样本还要经过正向和负向验证以及一个有界修复过程。
正向验证
正向门控问的是：预期解决方案能否解决生成的任务？
该流水线在目标环境中执行参考轨迹，并根据候选样本的验证器检查结果状态。这会揭示提示、初始状态、解决方案和成功标准之间的不匹配。
负向验证
负向门控问的是：相关的错误结果是否会失败？
例如，它可以对预期结果的部分内容进行变异，并确认这些状态不再通过验证。这能捕捉到那些不要求预期行为就判定成功的弱验证器。
批判与修复
失败的候选样本在被丢弃之前会先交给批判者。批判者检查样本及其失败原因，寻找不一致的状态、不可能的工作流、错误的任务构建、糟糕的参考轨迹、薄弱的验证器逻辑，或与预期能力的不匹配。批判者的发现指导修复，重试次数有固定上限：
candidate
↓
failure
↓
critique / diagnosis
↓
targeted repair
↓
run the gates again
↓
accept or retry
修复后的任务必须再次通过相关检查。诊断指导对现有候选样本进行修复，而不是要求从头开始生成。
通过这些检查后，样本就有资格用于训练，但单个有效的样本仍可能构成重复或不平衡的数据集。因此 AutoSynthData 还会在批次层面审查生成过程。
批次层面审查
一个批次可能过度代表少数几个简单的任务族、遗漏某种能力，或反映出在低产出模式上花费了过多生成精力。
元审查会检查每个批次中被接受的样本、被拒绝的样本以及生成行为。它问：
- 哪些任务族被过度代表，哪些能力维度缺失？
- 是否反复出现相同类型的示例？
- 某些特定目标是否持续生成失败？
- 批评中是否出现了系统性问题？
- 下一批应该改变哪些指导？
控制器跟踪已接受数据集中的覆盖情况，减少在过度代表区域的生成，并将更多工作导向空白区域。当某个区域反复产生质量不佳的候选时，批评和元评审会指导生成策略的调整。这些调整在可用的生成预算和数据集规模要求内，平衡有用的学习信号、任务质量、覆盖范围、多样性和低冗余。
这些反馈循环共同改进单个任务及其构成的数据集：样本级检查指导候选修复，而批次级评审指导未来的生成。
推进训练前沿
有用的训练分布会随着模型改进而变化。AutoSynthData 将合成数据生成视为对接近目标模型能力边界的任务的搜索：足够困难以暴露弱点，但又足够可解，使教师能够提供可靠的示范。
后训练之后，我们在同一环境中评估更新后的模型。它现在能可靠解决的任务对下一轮训练用处较小；持续失败则指向仍需关注的能力。这些结果可以指导下一轮生成。
我们的实验聚焦于 SFT，但同样的机制可以支持强化学习（RL）：生成挑战当前策略并提供可靠学习信号的任务，训练，然后用更新后的策略移动生成目标。我们计划在 SFT 之外测试这种移动的、难度校准的前沿。
EnterpriseOps Gym 实验
我们使用 EnterpriseOps Gym 来测试这种方法能否在有状态的企业环境中改进模型的任务表现。我们在 Gym 的 Hybrid 和 ITSM 环境中生成训练任务，在接受的样本上微调目标模型，并评估得到的检查点。
Hybrid
我们在 EnterpriseOps Gym 的 Hybrid 域上测试了该流水线，使用Gemma-4-26B-A4B-it作为目标模型，Qwen3.8-27B作为教师。
AutoSynthData 在大约 18 小时内生成了 2,000 条合成训练样本。我们在这个数据集上微调了 Gemma，并在基准测试上评估了得到的检查点。最佳检查点是第 5 个 epoch。
混合结果
合成 SFT 检查点将平均 Pass@1 提升了 7.2 个百分点，相对提升 35%，并将验证器成功率从 63.01% 提高到 68.55%。它弥合了 Gemma 与参考模型之间原始 Pass@1 差距的 59%。
训练任务是根据能力规格新生成的；生成器没有收到原始评估任务。结果表明 EnterpriseOps Gym Hybrid 有所改善，这是本实验所使用的环境。
ITSM
我们还将 AutoSynthData 应用于 EnterpriseOps Gym 的 ITSM 领域，使用 Gemma-4-26B-A4B-it 作为目标模型，DeepSeek-V4.1-Flash作为教师模型。AutoSynthData 在 66 小时内生成了 1,994 条合成训练样本。生成耗时比上述后续 Hybrid 运行更长，主要是因为 ITSM 运行使用了更大的教师模型，并且早于提升吞吐量的流水线优化。
在 ITSM 上，合成 SFT 将平均 Pass@1 从 18.77% 提升到 27.18%，表明该方法在第二个领域也能提升性能。
闭环
对训练最有用的任务取决于环境以及在其中工作的模型。AutoSynthData 利用模型的失败来选择生成内容，针对环境验证新任务，并使这些任务可用于后训练。我们的 EnterpriseOps Gym 结果显示了该方法在受控环境中的价值。随着模型变化，同样的流程可以聚焦于仍然存在的差距。