研究通过让律师先借助 AI 辅助完成工作、再在不使用 AI 的情况下评估结果,将这两件事区分开来。这一设计让研究者既能衡量 AI 辅助工作的质量,也能衡量律师自身判断力在此后保持得如何。独立律所的盲审专利律师从五个维度对所有结果打分:可执行性、技术准确性、策略模糊性、完整性和清晰度。

这项由 Google 资助的研究中,三分之二的参与者获得了 Google Labs 一款尚未发布的 AI 助手“InFlow”的使用权限,其余三分之一则在没有任何 AI 的情况下工作。在两份专利权利要求起草任务中,只有实验组可以使用 InFlow,对照组则在无辅助的情况下完成相同任务。

在第三项名为“红线批注”的任务中,所有参与者都必须在没有 AI 的情况下批判性地审阅一份现有专利草稿。正如作者所解释的,起草衡量的是即时的 AI 辅助表现,而红线批注衡量的是内化的判断力,这是专利律师日常在没有任何工具的情况下执行的任务。

AI 主要改善初级律师的草稿

在起草任务中,实验组在第 10 天和第 90 天两个时间点都明显优于对照组,且效果体现在全部五个评分维度上。更高的分数主要来自差评减少和中等评分增多,而最高分几乎没有变化。

Six histograms comparing score distributions between control and treatment groups in drafting tasks after 10 and 90 days, broken down by all attorneys, juniors, and seniors.
在可以使用 AI 的情况下,初级律师的专利草稿获得的低分大幅减少。| 图片:NBER

对于经验少于七年的初级律师,收益远大于资深律师。研究者表示,这与越来越多表明 AI 能缩小经验较少与经验较多员工之间表现差距的研究一致,这种效应已在写作、客户服务和软件开发领域被观察到。

只有资深律师能保住 AI 优势

红线批注得出了相反的结果。实验组总体得分更高,但这一优势完全来自资深律师,初级律师则毫无收益,尽管他们在 AI 辅助起草阶段取得了最大的提升。

Three dot plots showing AI access effects in standard deviations for the overall score and five rating dimensions, broken down by all attorneys, juniors, and seniors across drafting at 10 and 90 days and redlining at 90 days.
在 AI 辅助起草阶段,初级律师受益最大。在无 AI 的红线批注中,只有资深律师保住了优势。| 图片:NBER

相反,初级人员的成绩出现了分化,中间分数段大幅减少,被更多差评和更多好评取代,而顶尖水平没有增长。作者将此解读为一种迹象:AI 加速了部分初级人员的技能培养,却替代了另一些人的技能培养,尽管该实验并未解释为何效果出现分化。

Three histograms comparing score distributions between control and treatment groups in redlining after 90 days for all attorneys, juniors, and seniors.
在没有 AI 的划线修改中,处理组的初级人员分数分布更宽,低分和高分都更多。| 图片:NBER

从 AI 中获益最多的律师,恰恰是留存持久技能最少的那批人,这促使研究人员提出:基线专业能力可能是将 AI 辅助实践转化为持久能力的前提条件。

一项补充文本分析提供了一种可能的解释。资深律师更常重构有缺陷的草稿,并将其修改建立在法律原则之上,而初级人员常常能发现严重缺陷却不加以修正,留下的批注读起来像是对 AI 助手的指令。由于这种行为在对照组中也出现,作者并未将其归因于 AI 训练出的习惯,而是视其为初级人员层面的基线缺陷,使用 AI 并未弥补这一缺陷。

这些结果在实践中的意义

作者指出了若干局限,包括:顶尖律师的高计费费率导致样本量偏小;参与律所不能代表整个专业服务业;缺乏基线技能测量;三个月的窗口期与建立专利专长所需的数年时间相比过短。

研究人员认为,只要专业工作仍然需要不借助 AI 的判断力,即时生产力提升与持久技能发展之间的张力就依然重要,而这种需求很可能长期存在。即便 AI 最终能支持划线修改,它可能也无法在客户会议和法庭程序中实时提供给律师,因为这些场合风险高,且判断需要当场做出。

类似模式也出现在其他领域。在软件开发中,一项Anthropic 研究发现借助 AI 学习新编程库的年轻开发者,在后续知识测试中的得分比不借助 AI 学习的人低 17%。在论文写作方面,MIT Media Lab 发现了认知债务的迹象,源于外包思考。而在管理咨询领域,一项BCG 研究早在 2023 年就表明,能力较弱的咨询顾问在使用 GPT-4 后提升幅度远大于表现优秀者。

斯坦福研究人员解释了入门级岗位的减少横跨多个行业的现象,他们认为 AI 基本可以替代学校和大学里的教科书知识,而这正是早期职业工作者带来的主要价值,而经验丰富的专业人士还具备 AI 难以轻易替代的实操专长。

这项专利律师研究汇入了关于专业能力侵蚀的更广泛讨论,一些研究者称之为“认知公地悲剧”。个体公司从自动化中获益,而人才发展受阻的代价却扩散到整个行业,这项研究为这一担忧增添了更多来自真实实践的实验证据。

Anthropic 最近表示,自 2025 年初以来,其工程部门的初级岗位比例从 21% 降至 14%。