今天,我们发布更新版的 Astra for Law,它在 Harvey LAB-AA 上达到最先进水平,并在 LAB: USCL(由Harvey⁠(在新窗口中打开)和Grubel⁠(在新窗口中打开))以及 Vals AI 的 Legal Research Bench 上表现位居前列。我们同时向所有 ChatGPT Enterprise 客户开放通过 Trusted Access Program 申请访问,包括通过 API。

Astra for Law 是GPT‑6.2 Astra⁠的一种模型配置,后者是我们最新、最强大的前沿模型。它将 GPT‑6.2 Astra 与扩展的法律搜索索引以及用于研究问题、权衡权威依据和撰写答案的指令相结合。今天的配置在 LAB-AA 测试中获得满分的频率比第二名 GPT‑6.2 Astra 高出近 40%。

自从我们在 9 月推出 Astra for Law⁠并向一小批律所开放以来,包括Cooley⁠、Ropes & Gray⁠和Sullivan & Cromwell⁠,我们的研究团队已快速创新,改进其法律推理能力,并将法律搜索索引扩大了三分之一以上。在Vals AI 的 Legal Research Bench⁠(在新窗口中打开)上,通过所有检查的研究答案占比在不到两个月内从约 46% 上升到 53.8%。

随着世界日益复杂,律师扮演着越来越重要的角色。他们塑造了我们所依赖的几乎每一个体系:他们谈判推动商业往来的协议,在法庭上捍卫人们的权利,并起草我们共同遵守的法律。这就是为什么我们将法律作为 OpenAI 的研究重点:把最好的智能交到最好的律师手中。

在 Harvey LAB-AA 中排名第一

Harvey 的 Legal Agent Benchmark(LAB)测试模型能否从头到尾完成一项法律任务。LAB-AA⁠(在新窗口中打开)是 Artificial Analysis 对该测试的版本。它让模型接受由 Harvey 开发的 120 项任务的严苛考验,覆盖 24 个法律领域——从起草证词提纲到审查商业租约,再到为收购中的所有权变更制定策略。要获得满分,答案必须满足任务的每一项要求,且不得产生幻觉,即提出源文件不支持的实质性主张。

Astra for Law 排名第一,在 20.8% 的任务上获得满分,领先于 GPT‑6.2 Astra 的 15.0% 和 Muse Wonder Full 的 13.1%。

Astra for Law 以 20.8% 排名第一,获得满分的频率约比 Muse Wonder Full 高 59%,是得分最高的非 OpenAI 模型。

Astra for Law 还以更少的输出获得了这一最高分每个任务的输出量少 54%相比评测中得分最高的非 OpenAI 模型,Astra for Law 平均每个任务输出约 64,000 个 token,而 Muse Wonder Full 为 139,000 个。对于按用量付费的法务团队来说,这可能意味着是控制在预算内还是严重超支。

每个点代表一种模型配置。位置越高表示获得满分的任务越多;越靠左表示输出 token 越少,输出 token 包括模型在推理和写作过程中生成的文本。Astra for Law 平均每个任务输出约 64,000 个 token,在 20.8% 的任务上获得满分,而 Muse Wonder Full 为 139,000 个 token 和 13.1%。图中没有任何配置能用更少的输出 token 达到 Astra for Law 的得分。

每个任务的幻觉比 Claude Opus 5.5 少 95%

在法律工作中,幻觉是不可接受的。一个凭空捏造的引证就可能让律师失去客户的信任、法庭上的公信力,以及多年积累的声誉。正因如此,减少幻觉一直是 Astra for Law 的优先事项。在 Artificial Analysis 最新的 LAB-AA 对比中,Astra for Law(与 GPT‑6)并列实质性幻觉率最低:每个任务 0.03 次,而 Claude Opus 5.5(非 OpenAI 模型中第二低的)为 0.59 次。值得注意的是,Astra for Law 在这项评测中的表现包括在满足全部通过标准的任务上零实质性幻觉。

Astra for Law 平均每个任务有 0.03 次实质性幻觉和 0.06 次轻微幻觉。Claude Opus 5.5 平均每个任务有 0.59 次实质性幻觉和 0.51 次轻微幻觉,实质性幻觉约为其 20 倍,轻微幻觉约为其 8.5 倍。

在同样的 120 项任务中,Artificial Analysis 统计了可能在实质性问题上误导读者的幻觉性陈述。Astra for Law 平均每项任务出现 0.03 个此类错误,在对比中并列最低,约为常规 GPT‑6.2 Astra(0.06)的一半。

测试的每一种 OpenAI 配置,其幻觉数量都少于 Claude Opus 5.5,后者是该指标上表现最好的非 OpenAI 结果。Opus 5.5 平均每项任务出现 0.59 个实质性幻觉,约为 Astra for Law 的 20 倍。

LAB 上的最佳表现者:USCL 的简报撰写

简报撰写是法律领域最复杂的长期流程之一,需要清晰的推理、研究和写作融为一体,才能产出优秀的论证。

Harvey 和Grubel⁠(在新窗口中打开)共同开发了LAB:USCL⁠(在新窗口中打开)用于测试模型能否在真实的美国联邦案件中研究并撰写简报。每个模型都在简报提交前介入,为同一当事方就同一问题撰写。在其中一个版本中,模型必须自己找到相关案例。在另一个版本中,模型会获得案卷记录和原律师引用的判例。AI 评分器使用经律师审核并校准的标准,对简报进行一对一比较。Astra for Law 在两个版本中都获得了最高分之一的成绩。

越靠右意味着简报获得的评分越高。当模型自行研究法律时,Astra for Law 得分为 1,844,Opus 5.5 为 1,817。在给定判例的情况下,两者实际上持平,分别为 1,883 和 1,882。

第一个结果(左侧的“研究与起草”)很重要,因为更好的法律研究是本次发布的核心改进之一。我们专注于改进这一结果,因为诉讼律师很少一开始就手握一份正确的案例清单。在这里,每个模型都必须判断哪些判决重要,并用它们撰写法院能够理解的论证。在这项任务上,Harvey 的评分者更青睐今天的 Astra for Law 撰写的简报,而非 Opus 5.5 和 Gemini 4 Argon 等其他领先前沿模型的简报。在 Vals AI 评估中,我们可以看到法律研究方面更明显的改进,接下来将讨论。

Vals AI 法律研究基准上的最佳表现者

我们已将法律列为 OpenAI 的研究优先事项,专门组建了一支研究团队,加速前沿法律智能的创新。他们进展的一个早期衡量指标来自Vals AI 的法律研究基准⁠(在新窗口中打开),其中执业律师就美国联邦和州法律设置问题。答案必须覆盖每一个必需要点并通过来源核查。9 月,Astra for Law 在约 46% 的问题上获得满分。在 Vals AI 11 月 16 日的评估中,它在 208 个问题中的 112 个上获得满分(53.8%),不到两个月提升了约 8 个百分点。在所有问题上,它获得了可用分数的 90.9%,包括部分得分。

在不到两个月内,Astra for Law 获得满分的法律研究问题占比从约 46% 升至 53.8%,提升了约 8 个百分点。

Astra for Law(绿色)位于 Vals AI 法律研究基准上表现最佳者的小集群中。

将 Astra for Law 构建为一种模型配置,让我们能够保持在最前沿,在本例中即GPT‑6.2 Astra⁠。在此基础上,我们根据从业者的反馈迭代完善 Astra for Law 的具体设置和指令,教它像资深律师一样推理和写作。我们还持续打磨其工具,例如法律搜索索引。自 9 月以来,我们将该索引扩大了 34%,新增超过 8000 万个新 URL,包括跨国际司法辖区,例如英国、澳大利亚和加拿大。如今,更新后的索引覆盖超过 3.1 亿个 URL,并覆盖超过 99.9% 已公布的美国具有先例效力的判例法⁠(在新窗口中打开)。

下图展示了该模型配置如何同时利用前沿创新的速度,并在此基础上构建使其对律师强大的特定要求。在 Harvey 自己的法律智能体基准上,GPT‑6 Astra 在4.6%的任务上满足了所有要求。GPT‑6.2 Astra将性能提升至三倍,完成了14.6%在相同条件下。使用法律配置后,这一数字升至16.2%,比 GPT‑6.2 Astra 多完成 11% 的问题。

这张图表同时展示了前沿智能的发展速度,以及模型配置带来的影响。满分率从 GPT‑6 Astra 到 GPT‑6.2 Astra 增长了两倍多,随后在法律配置下又提升了 11%。该测试来自 Harvey 自己的 LAB(与前面讨论过的 LAB-AA 不同)。

律师如何使用 Astra for Law

Astra for Law 最有趣的可能性,正由那些在日常工作中使用它的律师们塑造。在律所客户和 OpenAI 自己的法务团队中,早期用户正在围绕自己的执业领域构建参考资料、邀请对其论点发起更严苛的挑战,并寻找应对不断变化的立法的新方法。

例如,OpenAI 的早期用户正在使用 Astra for Law 来:

  • 为你的论点找到最强的对手。Astra for Law 的一个常见用途是充当陪练。一位竞争法律师向它提供对某条法规的解读,并要求它站在另一方进行论证,援引立法历史、法院判决以及其他语言版本的该法律。

  • 厘清建议与要求之间的界线。一位政策律师在研究一项拟议的监督法案时,想了解独立审查者会拥有多大权力。如果审查者要求整改,开发者是否必须执行?对于这类问题,这位律师会把每项义务的通俗英文表述与法案的原文措辞并列对照,从而快速判断文本支持哪一种解读。

  • 在与外部律师的第一次通话中,直接切入最难的问题。当企业考虑进入一个不熟悉的行业时,一位产品律师会使用 Astra for Law 梳理哪些规则适用于拟议中的活动。这样,律师就不必在第一次通话中花时间征求高层面的建议,而是可以直接把真正有争议的问题带给外部律师。

  • 把一堆政策文件转化为工作流。一位法律项目经理使用 Astra for Law,将监管程序和公司政策转化为供处理 incoming 案件的同事使用的工作流,使他们能够自动化决定何时索取更多信息、何时结案,以及何时上报给律师。

  • 构建你希望随法规一同提供的指南。一位竞争法律师将 Astra for Law 与 ChatGPT 的网站构建工具结合,用于为团队经常使用的立法添加注释。同事在阅读某一条款时,可以将鼠标悬停在术语上查看其定义,点击链接跳转到解释该术语的材料,并查看团队上次遇到该条款时给出的建议。

将 Astra for Law 引入你的执业

从今天起,所有 ChatGPT Enterprise 客户都可以通过管理控制台中的 Trusted Access Program 申请 Astra for Law。如果你的团队已有访问权限,请选择gpt-6.2-astra-law在 ChatGPT 中。客户还可以申请 API 访问权限,将 Astra for Law 集成到自己的工具中使用此表单⁠。

法律行业正处于一个转折点。随着技术改变企业的能力边界,世界变得日益复杂且相互关联,律师们拥有前所未有的机会来塑造我们理解当下这一刻的方式——不仅是为他们所服务的企业,也是为所有生活在他们参与制定的规则之下的我们。

我们相信,最优秀的律师配备最出色的智能,能够迎接这一刻。我们才刚刚开始。我们迫不及待想看到你们将这一职业带向何方。