目录

最新的 Claude 模型是在蛋白质序列上大规模训练的。给 Claude Fable 5.2 或 Claude Opus 5.5 一个鲜有研究的细菌蛋白的开头,它们就能预测下一个氨基酸。把蛋白质打乱顺序,它们就做不到了。我们测试过的其他模型都做不到这一点。就像蛋白质语言模型一样,它们在更大的蛋白质家族上表现更好,而且即使是在完全没有论文的家族中也能做到。Fable 5.2 击败了我们运行过的所有开源蛋白质语言模型,而 Opus 5.5 与其中最大的 ProtGPT3-10B 持平。

更新,2026 年 11 月 18 日。自第一版以来:

  • 训练截止日期之后发表的蛋白质。与 Leo Tianlai Chen 合作,56 个于 2026 年 8 月首次公开的蛋白质,在 50% 同一性及以上没有更早的近亲。最新的 Claude 模型仍能预测它们(附录 G)。
  • 更多蛋白质语言模型。ProGen3-3B 是我们运行过的最强开源模型,而 Fable 5.2 仍然击败了它;Prot-xLSTM 见附录 C。
  • 更多 GPT 模型。GPT-6.2 Sol 和 Astra 也没有表现出这种迹象。

动机

前沿 LLM 已开始在蛋白质任务上表现良好。Atharv Jayprakash 展示了 GPT-6 Astra 对 SOD1 变体的排序能力与 ESM-2 相当,PG-LLM 在许多蛋白质上也发现了同样的结果。这些模型是从 UniProt 等蛋白质序列数据库中学到的,还是从关于蛋白质的文字描述中学到的?

著名蛋白质无法区分这两者:GFP 被印在无数论文中,大多数前沿模型都能背诵它。所以我们测试了几乎没人写过的蛋白质。

方法:在鲜有研究的蛋白质上进行下一氨基酸预测

我们给模型一个蛋白质的开头,并要求预测接下来的氨基酸。然后我们在同一蛋白质的打乱副本上再问一次。打乱保留了字母但破坏了它们的顺序,因此准确率的差异衡量了模型对序列本身了解多少。

百分比是 Claude Opus 5.5 在全部 668 个蛋白质上的准确率。真实行及其答案来自测试集;打乱行是示意性的。

测试集是来自 167 个功能未知的 Pfam 家族的 668 个细菌和古菌蛋白质。没有任何家族有已解析的结构或超过三篇论文,也没有任何蛋白质在 UniProt 中有近亲。每个蛋白质在五个位置被截断。在每个截断点,模型写出接下来的 10 个氨基酸,我们对第一个打分。思考功能处于最低设置。附录 E有详细信息。

结果:只有最新的 Claude 模型能预测它们

实心点:聊天提示。空心点:FASTA 文本的原始下一 token 续写,通过补全端点或预填充回复实现,适用于允许此操作的模型。

Fable 5.2 在真实蛋白质上以 54% 的准确率预测下一个氨基酸,在打乱序列上为 9%。这一差距几乎存在于每个家族中,而不仅仅是少数简单家族。它出现在 Opus 4.7 中,在 Opus 5.5 中跃升,并在 Fable 5.2 中再次跃升。GPT、Gemini 和七个开源权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)则接近零,即使它们只是按训练方式直接续写原始 FASTA 文本也是如此。最新的 Claude 模型还能写出其他模型很少能做到的连续正确残基(附录 B)。

与蛋白质语言模型的比较

蛋白质语言模型仅从序列中学习,因此是天然的标尺。与 LLM 最接近的是那些从左到右读取蛋白质并预测下一个残基的模型:ProtGPT3(其 100 亿参数版本是最大的开源版本)和 ProGen3(其最大的公开版本有 30 亿参数)。在相同输入下,Fable 5.2 以大幅优势击败两者。Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。

ESM 模型被训练为能看到残基的两侧,因此对它们来说从左续写更难。附录 C包含全部九个模型。

证据表明这来自训练数据

如果模型从序列中学习,那么序列更多的家族应该更容易。为了在广泛范围内测试这一点,我们添加了 90 个较小的家族,每个家族少至 20 个蛋白质,总共 257 个家族。

确实如此。Opus 5.5 与两个蛋白质语言模型 ProtGPT3-10B 和 ProGen3-3B 一同上升,这两个模型仅用序列训练。Fable 5.2 上升最快,并在每个家族约 300 个蛋白质处趋于平稳。较早的 Claude 模型在较低水平上升,而 GPT 和 Gemini 则接近零。这些知识也能迁移到训练截止日期之后发表的蛋白质上,且在此之前没有近亲(附录 G)。

另外两种解释都不成立:

  • 论文。在完全没有论文的 128 个家族中,两个模型的表现与在整个集合上一样好。
  • 推理。大多数回答完全不涉及思考:API 报告显示,Fable 5.2 有 9% 的回答使用了思考 token,Opus 5.5 为 36%。没有思考的回答同样准确。GPT-6 Astra 和 GPT-6.1 Sol 每个问题要思考数百个 token,GPT-6.2 Sol 和 Astra 的回答与 Claude 一样简短,而四者都接近零。

著名蛋白质与变体排序

著名蛋白质则是另一回事。许多模型在这类蛋白质上表现良好,有几个模型能逐字母背出数百个残基(附录 B),因为这些序列遍布论文和网络。在第一轮将著名与冷门蛋白质并排测试中,Gemini 4 Carbon 在著名蛋白质上表现强劲,在冷门蛋白质上则几乎降到零。最新的 Claude 模型和 ProtGPT3-10B 保持住了水平,Fable 5.2 在两者上都是最强的。

这也解释了 SOD1 和 PG-LLM 的结果。对知名蛋白质的变体进行排序,可以依赖关于它的已有文献:哪些残基被埋藏、哪些替换会破坏螺旋、哪些突变会导致 ALS。在 PG-LLM 中,准确率不依赖比对深度,并随思考增多而提高,这两点都是该路径的迹象。我们的测试将其排除在外。GPT-6 擅长第一类任务,在第二类上较弱;最新的 Claude 模型则两者都擅长。

这意味着什么

最新的 Claude 模型认识几乎无人研究过的蛋白质家族。这需要大量序列数据,而不是几个例子:蛋白质序列是其训练数据中相当大的一部分。Opus 5.5 表现得像一个蛋白质语言模型,而 Fable 5.2 超越了我们能运行的最好的蛋白质语言模型。GPT 和 Gemini 完全没有表现出这一点。无论它们在训练中见过什么蛋白质序列,都不足以学会这些家族。

DNA 则不同。Opus 5.5 能预测人类和小鼠的编码序列,但预测不了基因组其余部分,而且几乎预测不了它所认识的那些蛋白质背后的细菌基因(附录 A)。它学到的是蛋白质,不是基因组。

我们很好奇这些知识还能支撑什么。Fable 5.2 预测鲜有研究的蛋白质的能力,胜过我们运行过的任何开源蛋白质语言模型,而蛋白质语言模型承载的不只是下一个残基的统计信息:ESM-2 的内部表示蕴含足够多的结构信息,在其上接一个小型折叠模块就能预测 3D 结构(ESMFold),其概率还能对突变效应排序。Claude 能否以同样的方式折叠蛋白质,或对其变体排序?

代码与数据

所有代码、测试集、模型输出和图表都在llm-bioseq-probe中。

引用本文

@misc{tu2026bioseq,
  author = {Tu, Xinming and Chen, Leo Tianlai},
  title  = {Claude was trained on protein sequences at scale},
  year   = {2026},
  month  = nov,
  url    = {https://xinmingtu.cn/blog/2026/claude-opus-5-5-protein-sequences/},
  note   = {Blog post}
}

附录

A. DNA

220 个核苷酸的窗口,展示 200 个、预测 20 个,取自 hg38、mm39 以及测试蛋白质背后的细菌基因,每个区域 500 个。非编码窗口不含重复序列,对照组对每个窗口做打乱并保留其二核苷酸计数。Opus 5.5 在 500 个人类编码窗口中,有 25 次把全部 20 个核苷酸都写对;盲猜做到这一点大约要一万亿次才有一次。Gemini 4 Carbon 在回答前会拦截大多数 DNA 提示,因此未展示。

B. 更长的续写

全部 10 个残基都正确。每个问题要求给出接下来的 10 个残基。在 668 个研究较少的蛋白质上,Claude Fable 5.2 在 88 个真实切割位点上全部 10 个都答对,Opus 5.5 在 12 个上全部答对,而在任何打乱的位点上两者都答不对。如果它们的残基是基于各自逐残基准确率的独立猜测,那么靠运气分别只能答对 15.8 个和 0.57 个。

连续答对。在打乱的蛋白质上,Fable 5.2 和 Opus 5.5 连续答对的残基都不超过 3 个。一旦进入状态,它们就更有把握:在答对一个残基后,Opus 5.5 有 47% 的概率答对下一个,连续答对四个后有 68% 的概率。

背诵知名蛋白质。在研究充分的蛋白质的 158 个位点上,要求每个模型一次性给出接下来的 200 个残基。

GPT-6.1 Sol 从未达到 100 个残基,GPT-5.5 从未超过 2 个。

C. 蛋白质语言模型

模型 读取方式 输入 真实 打乱 真实减打乱,百分点(95% CI)
ProGen3-3B 从左到右 切割位点之前的残基 43.7% 11.1% +32.5(29.3 至 35.7)
ProtGPT3-10B 从左到右 切割位点之前的残基 38.4% 10.7% +27.7(24.2 至 31.1)
ESM C 600M 两侧 切割位点之前的残基 24.1% 11.2% +13.0(10.7 至 15.2)
ProtGPT3-1.3B 从左到右 切割位点之前的残基 22.3% 10.7% +11.6(8.9 至 14.4)
ProtGPT2 从左到右 切割位点之前的残基 19.0% 8.8% +10.2(8.3 至 12.2)
ESM3-open 1.4B 两侧 切割位点之前的残基 19.6% 11.0% +8.5(6.4 至 10.7)
ESM-2 650M 两侧 切割位点之前的残基 17.3% 10.3% +7.0(5.2 至 8.9)
Prot-xLSTM 102M 从左到右 切割位点之前的残基 12.9% 10.3% +2.5(1.0 至 4.2)
ESM-2 650M 两侧 切割位点两侧的残基 45.7% 11.1% +34.6(31.8 至 37.3)

ProtGPT3-10B 答对的比 Opus 5.5 更多(38.4% 对 34.9%),但在打乱顺序的蛋白质上也答对更多(10.7% 对 7.5%),因为它更了解氨基酸组成;两者之间的差距,也就是每个模型对顺序的了解,结果相同。Prot-xLSTM 被训练为在给定一组同源蛋白后读取一个蛋白质;仅凭蛋白质本身,如此处所示,它接近零,不过上下文中有一个同源蛋白就能让它在血红蛋白 β 上从 14% 提升到 81%。最后一行是填空而非续写:ESM-2 还能看到切口之后的残基,而 LLM 从来拿不到这些。每个模型都先通过了在知名蛋白质上的合理性检查。从左侧续写泛素和血红蛋白 β 时,ProGen3-3B 的残基正确率为 98% 和 87%,ProtGPT3-10B 为 100% 和 84%;在给出整个蛋白质并遮蔽一个残基时,ESM-2 在泛素上得到 80%,ESM C 和 ESM3-open 为 100%。掩码设在 token id 上,因为 ESM SDK 的“_”字符不是 ESM C 的掩码 token。ProtGPT2 使用多残基 token,因此一个残基的概率是以它开头的各 token 之和;ProGen3 和 ProtGPT3 每个残基使用一个 token。

D. 鲁棒性

  • 跨家族。该差距在 98% 的家族中对 Fable 5.2 为正,对 Opus 5.5 为 94%。
  • 家族规模。在全部 257 个家族上,家族差距与其规模对数之间的 Spearman 相关系数对 Opus 5.5 为 0.50,对 ProGen3-3B 为 0.48,对 ProtGPT3-10B 为 0.46,对 Fable 5.2 为 0.38,对 Fable 5.1 和 Opus 4.7 至 5 为 0.30 至 0.48(所有 p < 10-6);对 Opus 4.5 和 4.6 约为 0。
  • 论文。在完全没有论文的 128 个家族中,差距对 Fable 5.2 为 45.9 分,对 Opus 5.5 为 26.8 分,而在全部 167 个家族上分别为 45.1 和 27.4。对 Opus 5.5 而言,该差距在那里仍随家族规模上升(Spearman 0.28,p = 0.001),而跨家族来看它与论文数量无关(Spearman 0.05)。
  • 提示格式。要求 Opus 5.5 先复制序列再续写,在同样的 400 个问题上得到的差距与标准提示相同(12.0 对 12.0 分;该子集来自 10 个家族)。
  • 拒答。非回答(Opus 5.5 为 0.1%)被排除在外;将其计为错误只会使其差距变化不到 1 个百分点。GPT-4o、DeepSeek、Qwen、Kimi、GLM 和 gpt-oss 常常拒绝猜测;用最佳猜测提示后它们会作答,结果相同。
  • 无指令。单独发送序列时,GPT-5.5 和 Opus 5.5 几乎总是描述它而不是续写它(各 400 道题的样本),因此聊天模型需要该指令。
  • Claude Fable 5。Anthropic 的使用政策过滤器拦截了 Fable 5 的 44% 的问题,因此它被排除在主要数据之外。在它作答的问题上,其差距为 13.9 个百分点;将拦截的问题计为错误则得到 11.6,而只保留在真实蛋白和打乱蛋白上均作答的题目则得到 14.6,接近 Fable 5.1 的 14.9。Fable 5.1 和 5.2 被拦截的比例分别为 2.5% 和 0%。
  • 重复运行。再次提问同样的 400 道题,Fable 5.2 在真实蛋白上得分 57.5%,在打乱蛋白上得分 9.5%,而第一次分别为 57.5% 和 8.5%。
  • 第一轮。一项涉及 25 个模型、37 个家族的较小规模运行(一半知名、一半冷门)得出了相同的图景,并确定了主运行的设计。

E. 方法

选择蛋白质。我们从所有名称中包含“未知功能结构域”(DUF)或“未知功能蛋白”的 Pfam 家族出发,保留那些在 PDB 中没有结构、该家族登录号在 Europe PMC 中最多有 3 条命中、且至少有 300 个成员蛋白的家族。我们按规模将它们分箱(300 至 1,000 个蛋白、1,000 至 3,000、3,000 至 10,000、超过 10,000),每箱随机抽取 50 个家族;超过 10,000 的只有 17 个家族符合条件,因此该集合共有 167 个。我们从每个家族中选取 4 个来自 UniProt 的蛋白,这些蛋白未经审核(TrEMBL)、来自细菌或古菌、长度为 120 至 800 个残基、仅使用 20 种标准氨基酸、非低复杂度(香农熵高于每残基 3.9 比特),且在其 UniRef90 簇中独一无二,即没有其他 UniProt 蛋白与它们有 90% 或更高的同一性。这样得到 668 个蛋白。

较小的家族。在家族规模测试中,我们在三个更小的区间(20 至 60、60 至 150 和 150 至 300 个蛋白质)中按相同标准各多抽取了 30 个家族,每个家族 4 个蛋白质,共 360 个蛋白质。每个模型得到的提示词和评分方式与主测试集相同。

切割。每个蛋白质在其 Pfam 结构域内(最长的结构域跨度,至少 40 个残基)随机选取 5 个位置进行切割,切割点距结构域两端至少 10 个残基,且切割点之前至少有 30 个残基:共 3,340 次切割。切割点之前的所有内容为前缀;紧随其后的残基为答案。

提问。模型收到这条消息,前缀以每行 60 个字符的形式呈现(以下示例来自其中一个测试蛋白质):

Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.

>sequence
MRSGGQPLHPQPAHRFHYRTAARPRAAWILGCVLHLADAEEGARFWWQYAAGAGDDAAAY
CLYLHCLVLGDSYAAALWREQTSLDTPPHDFDDTSVPTVLRILSRLTPA

每个模型通过各自的 API 运行,在接受的情况下温度设为 0,思考功能关闭或设为最低档(对于 Opus 5.5 和 Fable 系列模型,为低强度,此时模型仍会自行决定是否思考),不使用工具,每个问题只采样一次。Claude Fable 系列模型通过 OpenRouter 运行,因为 Anthropic 的 API 仅向保留数据的工作区提供这些模型。拒绝猜测的模型(GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-oss)还额外获得了一个版本,其中添加了“即使不确定也请给出你最好的猜测。不要解释或拒绝。”;这些运行结果单独标记。

思考。当 API 报告某条回复产生了思考 token 时,该回复即被视为进行了思考:thinking_tokens在 Anthropic 的用量报告中,reasoning_tokens在 OpenRouter 的用量报告中。思考文本本身不予保留;只对可见的回复进行评分。Fable 5.2 在 9% 的问题上进行了思考,Opus 5.5 为 36%,Fable 5.1 从未思考。在不思考的情况下,Fable 5.2 在真实蛋白质上的正确率为 54.7%,在打乱序列上为 8.8%(思考时为 48.2% 和 10.6%),Opus 5.5 则为 35.3% 和 6.9%(34.1% 和 8.6%)。

评分。我们读取回复中所述的最后一个序列:一行连续的大写氨基酸字母,单独成行或位于诸如“Answer:”之类的标签之后,跳过单词、列表以及 thinking 标签内的任何内容。如果它开头复述了前缀的结尾,则丢弃该复述。它的第一个字母即为预测的下一个氨基酸。因长度限制而被截断的回复,只有在以序列开头时才计入。未给出序列的回复被排除并计数(Opus 5.5 为 0.1%)。只对第一个残基评分;完整的 10 个残基用于精确续写和连续片段。所有模型以及真实和打乱后的蛋白质都使用同一个读取器。

打乱对照。每个蛋白质的残基被打乱一次,随机种子由其登录号固定,并在打乱后的序列上询问同样的 5 个切割位置。打乱保留了整个蛋白质的组成并破坏了顺序,因此一个只知道哪些氨基酸常见的模型在两者上得分相同。

统计。对每个家族,我们计算真实切割和打乱切割上正确首个残基的比例,并取差值,以百分点计。一个模型的结果是该差距在 167 个家族上的均值。区间为对家族的 95% 自助法(10,000 次重采样),主要检验是对家族的单侧符号翻转置换检验,家族规模趋势是家族差距与其规模对数之间的 Spearman 相关系数。

原始续写。对于允许的模型,同样的前缀在没有任何指令的情况下发送,即文本“>sequence”后接 FASTA 行,通过纯补全端点(Fireworks 上的开源权重模型)或作为模型自身回复的开头(Gemini 2.5 Pro)。模型写出的第一个字母按上述方式评分。

蛋白质语言模型。它们得到相同的前缀且没有提示。ProGen3、ProtGPT3、ProtGPT2 和 Prot-xLSTM 从左到右读取它并给出下一个 token 的概率;ESM 模型看到前缀、代替下一个残基的掩码以及序列的结尾。在每种情况下,预测都是 20 种标准氨基酸中最可能的一个。

API 总成本约为 730 美元,外加蛋白质语言模型几美元的 GPU 时间。

F. 沿途观察到的安全行为

Gemini 4 Carbon 直接拦截了约 75% 的 DNA 提示词。OpenAI 在第一轮以可能的生物滥用的理由拒绝了 23 个 GPT-6 请求,在主运行中拒绝了 17 个 GPT-6.1 Sol 请求,并拒绝了 GPT-6.2 Astra 主集问题中的 6.6%(GPT-6.2 Sol:0.6%)。Claude Sonnet 4.5 拒绝了 97% 的以蛋白质序列开头回复的请求,Anthropic 的过滤器以网络内容为由拦截了 Claude Fable 5 的 44% 的问题。

G. 训练截止日期之后发表的蛋白质

Leo Tianlai Chen 从 31 个蛋白家族构建了一组 56 个蛋白质,这些家族于 2026 年 8 月首次公开,晚于假定的 7 月 1 日训练截止日期,并且在 50% 同一性及以上没有更早的相关序列。模型不可能见过它们或任何接近的东西。两个 Claude 模型仍然能预测它们,Fable 5.2 领先于两个蛋白质语言模型,而 GPT-6.2 Sol 保持为零。每个模型在这组上的得分大约是在主集中同一家族上得分的一半,这对于如此远缘的蛋白质来说是意料之中的。最新的 Claude 模型所学到的东西能够迁移到家族的新成员上。

这些蛋白质在其来源处标注了日期,且没有一个在 50% 同一性及以上匹配到更早的 UniRef50 簇。筛选遵循主集的规则。由于只有 56 个蛋白质,只有约 14 个点或以上的差距才能被可靠地检测到,而且 7 月 1 日的截止日期是一个假设。