OpenAI 前研究员称可解释性经典证据被误读
曾参与提出「叠加」理论的 OpenAI 前研究员 Cammarata 发文，重新解读机械可解释性领域的两个经典案例。他认为 InceptionV1 中著名的「猫脸-车头」神经元实际是 V 形检测器：尖形物体激活它，圆形物体则抑制它，因此它并非叠加的例子；「Zoom In」论文中藏在狗神经元里的车，在他看来只是按朝向分组产生的普通泛化。他把 InceptionV1 后层的混乱归因于架构过时和分析工具薄弱，并用「递归泛化」解释残余歧义：识别「iy」的神经元后来会响应「do it yourself」。该观点在研究者中引发…
推荐理由可解释性两大经典证据被原作者之一推翻，做机制可解释性研究的人需要重新评估叠加理论的实验基础。