我们推出 MedChemBench,这是一个评估 AI 模型在药物化学研究推理任务上表现的基准测试。它检验模型能否将分子结构与实验证据联系起来,以解释结果、比较化合物并预测其性质。构建能够可靠支持这项工作的 AI,是帮助科学家开发更好药物的一步。

这项工作最困难的部分之一是,改善分子的某一性质可能会使另一性质变差。一个化合物可能对某种疾病相关蛋白有强效作用,但吸收很差或在体内分解过快。药物化学家通过设计、合成和测试相关化合物来权衡这些取舍,然后决定下一步尝试什么。要让 AI 提供帮助,它需要将分子结构的变化与实验证据联系起来,并推理哪些化合物值得继续研究。

MedChemBench 通过 99 道取自已发表研究的问题来衡量这些能力。在 xhigh 推理设置下,GPT‑6.2 Astra 获得了可用分数的 84.5%,相比之下 GPT‑6 Astra 为 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑5.6 Sol 为 58.2%。GPT‑6 Astra 在重建分子结构和解释实验证据方面最强。对该模型而言,选择化合物并预测其数值性质则更为困难。

MedChemBench 评估的内容

MedChemBench 取材于 117 篇论文和专利,包含 761 个不同的分子结构。对于大多数问题,模型会获得研究项目某一选定时间点可用的上下文:生物学靶点、研究者的目标、迄今研究过的化合物,以及选定的实验发现。

该基准测试评估四个组成部分:

  • 分子结构。根据所提供的结构图和化学基团组装出的分子中,正确的原子连接和指定的立体化学。

  • 科学推理。有 supplied 证据支持的 explanation,例如选择某一化合物而非另一化合物的理由。

  • 排序与选择。满足既定要求的化合物排序和选择。

  • 性质预测。与源材料中报告的数值和类别一致,包括测量和计算的分子性质。

跨竞争性性质进行预测

MedChemBench 中的一道题借鉴了对 PRMT5 抑制剂的研究,PRMT5 是一种在癌症药物发现中被研究的蛋白质。模型会收到分子结构和早期实验的结果。它必须预测三种相关化合物的行为:它们在细胞中阻断 PRMT5 的强度、它们穿过细胞屏障的难易程度,以及它们在实验室检测中被肝酶分解的速度。

未提供给模型的后续实验显示了一种权衡。化合物 23 在更低浓度下即可在细胞中阻断 PRMT5,而化合物 24 更容易穿过细胞屏障,并在肝酶检测中分解得更慢。

同时预测这些性质,可以检验模型能否将分子结构与化合物行为的多个方面联系起来。这反映了药物化学中的一个核心挑战:对靶点更强的活性并不一定伴随更好的通透性或更慢的分解。

该基准测试检验模型能否正确重建分子结构,以及其预测与实验测量值的接近程度。预测会根据其与测量值的接近程度获得部分分数。提示中已提供的测量值也必须被正确复现。

微小的化学变化就可能产生不同的性质特征。该任务要求模型将结构与关于其行为的证据联系起来。

测试药物化学中的空间推理能力

在模型能够对化合物的性质进行推理之前,它需要正确识别分子。化学结构图编码了原子连接、环结构和立体化学。

MedChemBench 测试模型在根据所提供的结构图和化学基团重建分子时,能否保留这些信息。

有一道题要求模型从一个中心结构和两个相连基团组装出一个分子,同时保留一个 18 原子环。在全部十一个模型共享的最高推理设置(xhigh)下,GPT‑6 Astra 在全部十次回答中都正确重建了该化合物。GPT‑5.6 Sol 和 GPT‑5.6 Luna 在全部十次回答中均失败。

在示例答案中,GPT‑5.6 Sol 生成的是一个 15 原子环,而 GPT‑5.6 Luna 把分子拆成了两个互不相连的片段。

这些错误改变了所分析分子的身份。这个例子检验的是药物化学推理的一项基础能力:模型能否在解读化合物行为之前准确地表示该化合物。

图 1. 相同的输入,不同的分子

Molecular reconstruction comparison: GPT-6 Astra preserves the correct 18-atom ring, GPT-5.6 Sol produces a smaller ring, and GPT-5.6 Luna produces disconnected fragments.

这些针对化合物 17 的选定答案展示了一个正确的重建、一个更小的环,以及互不相连的片段。

在测量结构组件的基准测试中,Astra 在 xhigh 下获得了可用分数的 95.4%。这一结果表明其在重建任务所提供分子结构方面表现强劲。

我们在不同推理强度设置下评估了十一个 GPT 模型。在整个基准测试中,Astra 在共享的 xhigh 设置下获得了可用分数的 83.3%,相比之下 GPT‑6.1 Sol 为 82.0%,GPT‑6.1 Terra 为 75.1%,GPT‑5.6 Sol 为 58.2%。在最高强度下,GPT‑6 Astra 达到 83.8%。更高的推理设置提升了分数,但模型之间仍存在较大差异。下图绘制了性能与输出 token 的关系。

图 2. 性能与 token 用量的关系

每个点代表一个模型在一种推理设置下的表现,展示了从 GPT‑5.6 起的九个模型共 51 种组合。分数为 99 道题的平均值;误差条表示 95% 不确定性区间。Token 包括推理过程和最终答案。

组件结果区分了四种能力:重建分子、解释发现、选择化合物和预测测量值。这显示了模型在哪些方面最强,以及错误仍存在于何处。

图 3. 组件性能与 token 用量的关系

Astra 最明显的优势在于重建分子结构和解释科学证据。在我们预印本中选出的推理示例里,Astra 正确识别了结构变化,并权衡了这些变化对蛋白质结合、吸收和代谢的可能影响。

在筛选和预测仍然困难的方面,Astra 在 xhigh 下获得了 95.4% 的可用结构得分,但在化合物筛选和数值性质预测上仅获得约一半的得分。这些类别使用不同的任务和评分规则,但结果表明预测和化合物选择仍有很大的改进空间。

我们接下来的方向

这些结果并不能确定模型是否能够发现新药或改善实验室决策。无法排除模型此前接触过已发表的来源,而且每次回答都是一次性尝试,没有工具、反馈或新实验。虽然该基准测试评估的是基于历史证据的推理,而非真实世界的药物发现,但其结果有助于识别模型在哪些方面正在进步、哪些方面仍存在挑战。我们相信 MedChemBench 将支持持续进展,并期待随着我们的模型不断进步以服务该领域而分享最新进展。