2023 年，在ChatGPT发布之后，我很清楚，研究要想成功，就需要比Microsoft Research内部通常情况更有组织。其他研究团队投入的支持和专注度足够大，以至于即使一个人提出了一个聪明的想法，也很可能来得太晚且缺乏说服力，因为一个人无法足够快地推进，而一个人能搭建的基线也不够强，不足以真正证明一个想法值得起飞。其他几个人也有类似想法，于是我们组织起来，在 MSR 内部创建了 AI Frontiers 这个子组织。
在 AI Frontiers，我们积极尝试组织连贯的研究工作。这并不完全是“自上而下”或“自下而上”，而大多处于混乱的中间地带。当然存在分歧，解决分歧有时相当具有挑战性。算力可用性也常常是严重瓶颈。但总体而言，我大致认为该组织在开展开创性工作方面是成功的，尤其是考虑到 AIF 规模很小（约 50 人），并且与我们之前能做的事情相比。AIF 的大部分工作是在弄清楚如何让智能体运作，例如Autogen编排框架和Fara计算机使用智能体。不过在纽约，我们中有几个人有兴趣开发新的基础能力，例如Next Latent目标，它能实现外推，Dion3它创建了一个优化/改进的 Muon，或者Full Bandwidth Transformer它通过递归高效地让模型功能强大得多。
我们还积极尝试与 MSR 的其他部分分享。例如，AIF 决定开发一个monorepo，默认与整个 Microsoft Research 共享。例如，这个 monorepo 中包含了我上个月在COLM 主题演讲中谈到的、经过验证且能力出色的边缘规模预训练代码库。这看似是个小细节，但创建一个结构良好的模型创建流水线所需的工作量相当大，我知道至少有 4 个团队（另外 3 个不在 MSR 内部公开的仓库中）在尝试开发模型构建流水线。
九月初，我们被重组进了Microsoft AI。表面上看这说得通，因为把两个不同的 AI 组织放在一起能创造更好地集中力量的机会，而且 AIF 在一些地方领先于 MAI，当然反过来也一样（MAI 规模大得多）。但实际上存在重大问题，因为 MAI 中来自 ex-Inflection的领导层的理念是不兼容的。那里的核心理念是扩展（scaling），并且是激进地不做研究。这可能会让一些人感到震惊，他们自然认为做出更好模型的方式是通过研究，但有大量证据表明更大的模型就是更好的模型——就它们所做预测的质量而言，而从商业角度看，规模回报远比研究回报更可预测。在一个只重扩展的环境里，主要精力自然放在获取/制作/精炼数据上，这与我们当时在做的事情相去甚远。除了关注点不兼容之外，还有大量证据表明他们其实并不真的想要我们。
发现自己身处这种境地很难受。我认为只重扩展的路线既方向错误又不好玩。这是一种可以理解的失败模式——扩展很直接，人们常常在多個相互竞争的理想（比如创新和规模）之间做取舍时，短视地全盘采纳一个而放弃另一个。但研究回报是真实且显著的。例如，字节跳动的实验表明一种全带宽 Transformer的变体可能堪比两倍大小的模型，这意味着在同等能力下训练和推理成本可大幅节省。算算账吧——考虑到该行业投资已接近一万亿美元，把训练和推理成本减半值多少钱？
所以我尽可能妥善地安置了我的人，然后离开了。我很幸运，世界上还有许多其他人能够看到研究和创新的价值，而这正是我内在兴趣的核心。AIF 其他每一位创始领导团队成员似乎都得出了类似的结论。
这确实留下了一个问题：为什么不回到 MSR？我和一些人聊过，但无法绕开两个严重的障碍。第一，我就是不习惯待在一家我所做的研究没有通往实际应用路径的公司。我在 MAI 时无法让创新落地（甚至无法被认真考虑），所以从 MSR 取得成功的前景看起来相当渺茫。第二，我担心 MSR 的基本约定已经破裂：做好工作，好事就会发生。据我所知，我们做了好工作，却被未经同意地重组掉了。不幸的是，如果 MSR 的领导层不培养出有效组织起来应对当下局势的意愿，我不会惊讶于这类事情继续发生。
所以 AI Frontiers 结束了。我很遗憾地说，明年那里不会有实习机会了——我曾在许多场合享受与实习生共事。也向被我留下的人们致以最美好的祝愿。不难想象，如果掌权者能多长一点智慧，未来的微软会再次对研究变得有吸引力。