Goodfire 研究员称大模型内部机制远比预想更易理解
Goodfire 研究员 Nick Cammarata 发布 2.6 万字长文,提出 LLM 的内部机制可能远比此前认为的更容易理解、监控和控制。他此前在 OpenAI 参与开创机制可解释性技术,曾用探测单个神经元的方法研究图像识别模型 Inception v1。该文在 AI 圈引发两极反应:有研究者称其可能被记为科学史上的重要时刻,斯坦福的 Chris Potts 则认为这只是一个猜想,并未让理解 LLM 的难题变得更容易。Cammarata 本人表示没料到外界反应如此之大。
推荐理由想了解机制可解释性争议的人可以看:一边是「五年认知跃迁」的狂热,一边是斯坦福研究者的直接否定。