一种新的 AI 工具仅通过分析你的脑部扫描就能猜出你正在看什么——并以惊人的精度重建出该图像。它也能反向运作，根据一个人正在看的东西预测其大脑活动。
例如在上图中，每一对里左侧的图像是用户实际看到的——右侧对应的则是模型根据脑部扫描重建出的图像。
Michal Irani 与她在以色列雷霍沃特魏茨曼科学研究所的同事共同开发了这一工具，她希望她的“读心”工具最终能揭示更多关于大脑运作方式的奥秘，或许还能用来帮助闭锁综合征患者沟通，或让科学家重建梦境的内容。
Judy Illes 是加拿大不列颠哥伦比亚大学的神经伦理学家兼神经病学教授，她并未参与这项研究，她称这项工作“非常出色”。她说：“（利用这种方法）从治疗上帮助患有神经系统疾病的人……这个想法极其令人兴奋。”
但其他科学家警告说，类似的方法可能被用来揭示人们的内心想法和心理意象，而且可能是在未经其同意的情况下。“这些结果看起来非常令人印象深刻，”加州大学圣塔芭芭拉分校的神经科学家 Tommy Sprague 说。
“但如果存在一种方法能偷偷提取关于你正在想什么的信息，那么……150 年的科幻小说随时都可能成真，而这在很多方面都令人担忧。”
窥视大脑
多年来，神经科学家一直在研究重建人们所见之物——以及他们脑海中正在发生之事——的方法。最初的尝试生成的图像模糊且难以理解。随着技术的进步——无论是 fMRI 扫描本身，还是用于解读结果的工具——这些年来成果不断改善。
Irani 和她的同事首先分析了公开可用的脑部扫描数据。其他研究人员此前已经收集了志愿者的扫描数据，这些志愿者躺在 fMRI 扫描仪中时被展示了数百张图像。
fMRI 使用一块巨大的磁铁来追踪含氧血液在脑中的流动。在 fMRI 扫描中“亮起”的脑区被认为是当下特别活跃的区域。它们并不是特别精确——在典型的 fMRI 扫描仪中，每个被高亮的活跃“体素”大约覆盖 3 立方毫米，包含约 16,000 个神经元。
但 Irani 和她的同事使用了用更高分辨率扫描仪收集的较新数据集——她说，每个体素大约覆盖 1 立方毫米的神经元。这些数据集展示了志愿者在观看各种图像时脑活动是什么样子。
其他团队也做过这件事，还有若干其他工具被用来根据脑扫描数据重建图像。但 Irani 说，它们还不够好。假设一个人看到了一根香蕉。她说，这些模型可以生成一张香蕉的图像，但它看起来会不一样。“它不会有相同的结构、相同的位置。”
更好的解码器
该团队想要更贴近地重建所看到的图像。第一步是用已有的数据训练一个 AI 模型，这些数据来自 8 个人，每人在高分辨率 fMRI 扫描仪中观看了约 9,000 张图像。
关键在于，他们的“大脑解码器”有两条分支——一条预测图像的结构（例如颜色在哪里），另一条预测其内容（例如盘子里的香蕉）。这些预测让一个扩散模型——一种最以通过逐步清理杂乱的噪点像素来生成视频和图像而闻名的 AI——能够生成对这个人所看到内容的准确得多的再现。
但为了改进模型，他们需要更多数据——远超实际可获得的数据。
为了绕开这个问题，她和她的同事反向训练了另一个模型——一个能够从图像预测脑活动的编码器。团队随后将编码器和解码器一起使用，以改进这两个工具。
它的工作方式是这样的：从一张新图像开始，比如一张豹子的图像。然后使用编码器预测一个人看到那张图片时 fMRI 脑部扫描会是什么样子。接着用解码器再次重建图像。Irani 说，起初那张图像可能看起来不太像豹子。但以这种方式反复训练模型，最终会带来显著的改进。
这种方法还使团队能够用任意数量的图像来训练他们的模型，即使这些图像可能从未在 fMRI 扫描仪中展示给任何人。Irani 说，大约 70% 的训练数据来自最初并未与 fMRI 扫描配对的图像。
通过结合多项研究的数据，他们还得以识别出似乎在所有个体之间共享功能的大脑区域。例如，一个区域似乎对食物的图像有反应，而另一个区域则对运动的图像有反应。Irani 是一名计算机科学家，她说她现在正与神经科学家合作，“看看我们是否真的能利用我们开发的这些工具来真正发现关于大脑的新东西。”
由此产生的“通用大脑编码器”只需最少的校准就能处理来自新个体的扫描。在其他尝试中，一个工具通常需要大约 40 小时的新个体 fMRI 数据，才能用来预测他们看到的东西。Irani 说，她的解码器只需要 1 小时的数据。这一发现于上个月在纽约举行的认知计算神经科学会议上展示。
Sprague 说，这可能使它对于研究大脑的神经科学家很有价值。“我们谁都负担不起为一个新受试者进行 40 小时的成像，”他说。“这大约是每小时 600 到 1000 美元。”他说，像这样的工具可以加速研究。
最先进水平
编码器和解码器并不完美。“当然我们也有失败的时候，”Irani 说。在一次 Zoom 通话中，她指出了一张蛋糕的图像，她的工具将其重建为三明治堆，还有一张狗在浴缸里的图像，被重建为一只颜色相似的、在浴缸里的山羊。
但它们代表了最先进的技术水平。在一项对比测试中，该工具被发现远优于此前描述过的同类工具。“总而言之，我们确实以显著优势超越了其他工具，”Irani 说。她补充道，“读心”只是对他们所做之事的一个“可爱又时髦的名字”。
Irani 现在计划将研究从图像扩展到视频和音频。她希望能够重建人们正在思考或想象的内容，以及他们梦境中的画面。“这是我们目前还没有做到的，”她说。“但我们正在努力实现它。”
她说，这样的工具或许还能让那些“闭锁”且完全瘫痪的人仅凭大脑活动进行交流。它还可以帮助科学家解开一些围绕我们心智内部运作的持久谜团，比如 PTSD 闪回究竟是什么样子。
这样的进展不可避免地引发了关于心理隐私的疑问。如果某个恶意行为者能够重建一个人的心理图像，回放他们的想法或他们见过的某些东西，那该怎么办？
“如果你在 10 年前问我这个问题，我会大笑不止，”Sprague 说。让一个人躺在扫描仪中保持不动并主动参与一个研究问题已经够难了，更不用说违背其意愿了。但 Irani 和其他科学家正在研究类似的方法，以从 EEG——通过电极帽甚至耳机收集的脑电活动测量数据——中解码大脑活动。
而随着模型不断改进，分析以这种方式收集的大脑活动将变得更加容易。“我们必须对伦理考量更加严肃一些，”Sprague 说。他认为 Irani 的方法在预测一个人正在思考但并未观看的图像方面，很可能会“相当有效”。
德国慕尼黑工业大学的神经科学家兼哲学家 Marcello Ienca 表示，转向 EEG 将是一个“游戏规则改变者”。一旦 EEG 设备针对用户自己的大脑完成校准，企业就可能相对容易地从该用户的大脑中提取额外信息——而且可能是在未经其同意的情况下。Ienca 还可以想象，一些法院会允许将心理图像重建作为法律证据。
“我毫不怀疑，你知道，这是善意的研究，但我认为同样很明显的是，它可能被挪用于……在伦理和社会层面有问题的商业用途，”他说。
Irani 承认使用 EEG 存在被滥用的可能。但她目前并不担心。“我尽量只往好的方面想，”她说。