我是一名皮肤科医生。我测试了 GPT-6 Astra 和 Claude Fable 5.1 诊断皮肤癌的能力，发现它们的准确率低于我的预期。我将其与一个 10 年前的 CNN 做了对比，结果令我惊讶的是，后者更胜一筹。

这是一例黑色素瘤。

Clinical photograph: Invasive melanoma on the ear, under 0.8 mm thick.Dermoscopic image: Invasive melanoma on the ear, under 0.8 mm thick.

图 1。耳部浸润性黑色素瘤，厚度小于 0.8 mm。两个 LLM 都将其判定为脂溢性角化病，并称可以出院。CNN 则判定为黑色素瘤。左侧为临床照片，右侧为皮肤镜图像。图片：MILK10k，MILK 研究团队，CC BY-NC。

我把这两张图像——一张临床照片和一张皮肤镜（皮肤显微镜）图像——展示给了 GPT-6 Astra 和 Claude Fable 5.1，它们是 2026 年 10 月可用的两个最强 AI 模型。两者都说这是脂溢性角化病，一种无害的疣状增生，并称患者可以出院。随后我把它们展示给 Inception v3 的微调版本，这是一个卷积神经网络（CNN），由 Google 于 2015 年首次发表，并在此处基于公开皮肤科图像进行了微调。该 CNN 根据皮肤镜视图得出了正确答案。

它是我交给这三者的 200 个经活检证实的病变之一。该 CNN 对其中 125 个（62%）给出了正确诊断（在 6 种可能中）。两个前沿 LLM 分别对 84 个和 85 个（42%）给出了正确诊断。一个十年前、仅微调了约二十分钟的网络，在识别皮肤癌上击败了它们两者。

测试#

这些病变来自MILK10k，这是一个通过国际皮肤成像协作组织于 2025 年发布的公开数据集，其中每个病变都被拍摄两次：一张临床特写和一张通过皮肤科医生使用的照明放大镜拍摄的皮肤镜图像。我随机抽取了 200 个病变，全部经组织病理学确认：

  • 100 个不应出院：30 个黑色素瘤、25 个基底细胞癌、25 个鳞状细胞癌（包括 Bowen 病）和 20 个光化性角化病。
  • 100 个可以安全出院：50 个良性痣（色素痣）和 50 个脂溢性角化病。

每个病变都做了活检，包括良性的，因此这些病变更难诊断：一个被某人决定切除的痣，就是让临床医生担心的痣。

Clinical photograph: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly.Dermoscopic image: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly.

一位 75 岁男性躯干上的基底细胞癌。三个模型都回答正确。

Clinical photograph: Invasive melanoma under 0.8 mm thick, with very little pigment. GPT-6 Astra called it a basal cell carcinoma with 95% confidence.Dermoscopic image: Invasive melanoma under 0.8 mm thick, with very little pigment. GPT-6 Astra called it a basal cell carcinoma with 95% confidence.

厚度不足 0.8 mm 的浸润性黑色素瘤，色素极少。GPT-6 Astra 以 95% 的置信度称其为基底细胞癌。Claude Fable 5.1 和 CNN 称其为黑色素瘤。

Clinical photograph: Seborrhoeic keratosis on the leg. Both models called it an actinic keratosis and said it should not be discharged.Dermoscopic image: Seborrhoeic keratosis on the leg. Both models called it an actinic keratosis and said it should not be discharged.

腿部的脂溢性角化病。两个 LLM 都称其为光化性角化病，CNN 则称其为鳞状细胞癌：三者全错，不过三者都会选择保留观察而非直接排除。

图 2。200 个测试病变中的另外三个。左侧为临床照片，右侧为皮肤镜图像。图像：MILK10k，MILK 研究团队，CC BY-NC。

两个 LLM只拿到了这两张图像，没有其他信息，并被要求以临床医生的使用方式，给出六种诊断中最可能的一种（或“不确定”）、一个置信度、第二选择，以及该病变是否可以安全排除、无需治疗、活检或随访。两个模型在默认设置下收到相同的提示词，且都没有拒绝任何一个病例。

CNN是刻意不采用最先进水平的。我使用了在日常照片上预训练的 Inception v3，然后在来自以下数据集的 68,011 张皮肤镜和临床图像上微调了全部层：ISIC Archive，在单块 H100 GPU 上完成。这 200 个测试病变，以及同一病变或同一患者的其他所有照片，都在训练前从其数据中移除（包括验证集），因此它从未见过这些图像，它们也没有被用于选择模型或设定阈值。它对每个病变的两张图像分别打分，以皮肤镜图像占大部分权重的方式将两者结合，并从同样的六种诊断中选择。

你可以自己试试这个 CNN。值得注意的是，该模型小到可以完全在手机浏览器中通过 WebGPU 运行。不会上传任何内容，其随机样本按钮抽取的正是这同样的 200 个病变。

诊断：62% 对 42%#

图 3。两个 LLM 和 CNN 的首选正确诊断，三者从同样的六种诊断中选择。标签显示的是该组织学类型病变中答对的数量占该类型病变总数的比例。

总体而言，以及大多数诊断上，CNN 的正确率更高。若允许给出第二选择，它达到 200 例中的 173 例，而另外两者分别为 134 和 138。在 30 例黑色素瘤中，它识别出 13 例，而另外两者分别为 8 和 11。差距最大的是无害病变：它识别出 50 颗痣中的 37 颗和 50 例脂溢性角化病中的 26 例，而 GPT-6 Astra 为 16 和 13，Claude Fable 5.1 为 33 和 6。在基底细胞癌上它比 GPT-6 Astra 少一例，在光化性角化病上则落后于两个 LLM。

这些模型的失败方式也各不相同。每个 LLM 都有一个偏好的答案：GPT-6 Astra 将 75 个病变判为基底细胞癌，而实际只有 25 个是，其中包括 30 例黑色素瘤中的 14 例；Claude Fable 5.1 将 53 个病变判为光化性角化病，而实际只有 20 个是。CNN 在黑色素瘤上的错误则方向相反：在它判错的 17 例中，有 8 例被判为痣，6 例被判为脂溢性角化病。

结果汇总于一张表#

GPT-6 Astra Claude Fable 5.1 CNN（Inception v3）
正确诊断（200 例中） 84（42%） 85（42%） 125（62%）
第一或第二选择正确 134 138 173
首选为黑色素瘤（30 例中） 8 11 13
保留的不安全病变（100 例中） 97 96 在其预设阈值下为 77；匹配后为 98 或 99
放行的安全病变（100 例中） 32 22 在其预设阈值下为 76
放行的黑色素瘤（30 例中） 3 4 在其预设阈值下为 18；匹配后为 2 或 1

注意事项#

  • 样本量小。200 个病变足以显示模式，但不足以对接近的结果进行排名，而 30 例黑色素瘤使最关键的数字存在很大的不确定性。每个 LLM 病例只运行了一次；不同运行之间答案会有变化。
  • 困难病例。每个病变都做了活检。在来自档案的普通图像上，CNN 区分应放行和不应放行的病变的能力要好得多（ROC 曲线下面积 0.96，而此处为 0.86）。
  • 数据污染。MILK10k 自 2025 年起公开，因此 LLM 可能在训练中见过它；如果有影响，那也只会对它们有利。CNN 则肯定没有见过。
  • 并非最先进。Inception v3 是一个基线。最先进的皮肤癌诊断 AI 使用在更多数据上训练的视觉 transformer 集成模型，基于它们构建的受监管产品表现要好得多。

以患者身份提问#

当以患者身份提问、仅提供临床照片并问“我需要看医生吗？”，两个 LLM 几乎在所有情况下都建议去看医生，包括无害的病变：在另外 100 例经活检证实的黑色素瘤中，分别有 99 例和 98 例如此建议。

结论#

一个使用过时架构的小型、老旧、专用网络在识别皮肤病变方面远胜于两个前沿 LLM。

自己运行#

病例、提示词、每个 LLM 的回复以及评分代码都在一个下载包中，而 CNN 在这里。

我设计了测试并做出了临床判定。分析和初稿是用 Claude Code（Anthropic 的编程工具，运行在 Claude 模型上）生成的；所测试的两个 LLM 中有一个也是 Anthropic 的。评分由脚本对照组织学完成。

图像来自 MILK10k 数据集（MILK 研究团队，International Skin Imaging Collaboration），依据 CC BY-NC 许可使用。

Magnus Lynch 医生是 Guy's Hospital 的顾问皮肤科医生和 Mohs 外科医生，以及 King's College London 的荣誉 Reader（相当于副教授）。他的临床工作涵盖皮肤癌、Mohs 及面部重建手术和激光；他的研究涵盖皮肤癌和疤痕的细胞生物学以及 AI 在皮肤科中的应用。完整简介。