在开始之前,我想感谢我的读者,让我的新书《Co-Existence》连续两周成为《纽约时报》畅销书。如果你还没读过,可以在这里获取一本。

在公开上线之前,我有机会大量使用了新的 Claude Fable 5.2,它非常令人印象深刻,延续了已经非常出色的 Opus 5.5。事实上,AI 已经变得如此之好,以至于值得一问:Anthropic 的最新模型(以及 OpenAI 和 Google 不可避免地将很快发布的竞争模型)是否跨过了边界,成为了通用人工智能(AGI)?AGI 是一个备受争议的术语,有许多可能的定义。在这篇文章中,我采用的定义是:“在你能用计算机完成的大多数智力任务上,和大多数人类专家一样出色的 AI。”这明确排除了许多人类工作,包括与物理世界和其他人的互动,以及大多数实际工作——在这些工作中,“使用计算机”只是众多任务之一。不过,即使有这些限定条件,构建一种有限形式的 AGI 一直是 AI 开发者的目标。

为了不让你悬念太久,我认为答案是:这“几乎”是 AGI,或者是我所称的锯齿状 AGI。即使在我有限的定义之内,在许多任务中仍然存在重要领域,AI 的锯齿状程度足以远远落后于人类能力。但这种锯齿状不再关乎简单的错误或幻觉,这使得它更难描述。所以我想在这篇文章中尝试做到这一点,向你展示 Fable 能做什么,以及差距在哪里。作为开始,我问了这个新模型:“我写 OneUsefulThing 以及其他一些东西,我需要你创造出在你发布时我能与人们分享的最令人印象深刻的东西。它需要能嵌入到一篇文章中,前言你可以随意写。它需要对人们产生一种直击内心的冲击,以展示你能做什么以及能力范围。它应该能迅速抓住他们。在这件事上要极其聪明。”

Fable 让我在你把它的视频看到最后之前不要透露任何内容。

这是一次性完成的,除了提示词之外我没有给出任何反馈。这里有创造力(包括在反转结局中)、判断力、趣味性和聪明才智。我认为,这已经达到了人类专家仅用代码制作电影的水平,这种表现我以前会将其与 AGI 联系在一起。

AGI 中的“G”

代码和视频创作一直是 AI 发展的重点领域,那么 Fable 5.2 真的是通用智能吗?为了测试这一点,我给这个 AI 在不同领域设置了一系列高难度挑战:

仅凭一条提示词就黑入硬件:我桌上有一个带几个发光按键的小型 USB 键盘,叫 Codex Micro(讽刺的是,它本来是为配合 ChatGPT 使用而打造的),我让 Fable 把它变成一台游戏机。据我所知,这没有任何公开说明,于是它阅读了控制该键盘的两个应用的代码,弄清了如何设置每个按键的颜色、读取旋钮和摇杆,并编写了六款游戏,包括 Simon 和一款用旋钮玩的保险箱破解游戏。Fable 立刻理解了我的需求,设计出适合该键盘极为有限性能的、有趣且可玩的游戏,并且在第一次尝试时就完全独立地想出了如何把它改造成功。

创办一家企业:现在我们走出编程等领域,进入更纷繁复杂的商业世界。我告诉 Fable“创办一家企业帮我赚钱,我希望一年内至少赚到 20,000 美元。这每月最多占用我 20 分钟,其余的都你来做。”作为回应,Fable 筛选了 22 个点子,想出了 Prebid Brief,这项服务会告诉设备销售代表哪些公园和水务项目正在获得资助或处于设计阶段,甚至在这些项目公开招标之前。它读取了 201 个市和县政府机构的公开议程,以此制作了最初几期内容。它还建立了档案,记录各城市已经拥有什么、这些东西有多旧,以及他们花了多少钱。你可以在这里看到它想出的方案,包括其营销计划和拟议定价。Fable 开始设置定时任务来搭建这家企业,并询问是否可以开始向地方政府发送公共记录请求。到那时,我让它只做一个演示,而不是真的启动这个点子。

我是一名创业学教授,所以我一直在评估商业计划。如果这是我带的 MBA 学生在学期末交出来的作品,我会印象深刻。它合理、考虑周全,有可能行得通,尽管它绝不是稳赚不赔的生意(AI 自己的估计是 20%-40% 的成功概率)。我在弄清它是否真能运营这家企业之前就停止了实验,因为我担心它会拿走钱却无法提供有质量的回报。它似乎以为很容易搭建的持续基础设施尚未到位,我也不知道它会如何应对销售和营销所需的众多环节。不过,我猜想,如果每周投入几个小时的人工工作来填补空缺,我或许能真正尝试做这门生意。所以,如果 AGI 意味着 AI 能持续独立地运营一家企业,我们很可能还没到那一步。话又说回来,如果一个人承诺帮我创办企业赚钱,却要求每月占用我 20 分钟的注意力,我在信任他之前也会有一些疑问。

重建史上最难的人文课程:1941 年,诗人 W. H. Auden 在密歇根大学开设了一门课,其教学大纲后来被互联网称为史上最难的课程之一。当他公布期末考试时,他的学生委员会宣布它“不可能且不人道”。“欧洲文学中的命运与个体”要求阅读 6000 页材料、完成严苛的作业,还要背诵长诗并翻译其他诗作。我们对这门课的了解大多散落在留存下来的学生笔记和 Auden 的信件中。我让 Claude 以一种有趣且引人入胜的方式重建了这门课,让你学到诗歌知识,而不是受到惩罚。它做出了 Fate and the Individual。该网站为 Auden 清单上的 35 部主要作品各设一个页面,还包括他在黑板上写的内容、他播放的唱片,以及他布置的作业。它还通读了 Auden 所有已发表的学术著作,并用他在其他来源中对这些诗作的论述为诗歌添加了注释。Claude 完成了研究、设计、写作和编码,让评论家智能体审阅了每一个字,让事实核查员将各项说法与来源进行比对,并把开源代码放在 Github 这里(还制作了这个预告视频)。

如果你热爱文学,这些结果真的很有意思,而且我认为,考虑到其中融合了学术研究、网页设计和文学分析,人类要花上几个月才能做出来。我自己做了交叉核对,并借助其他先进 AI 检查,没有发现它的工作中有重大错误。但在品味和判断力方面,仍然存在一些参差不齐的地方。Fable 的第一个版本准确但毫无趣味:一个带测验的十五周课程网站。我告诉它,它做出来的是“一场穿过最无聊网页的残酷苦旅”,并让它做出点美的东西。它第一次尝试时做了一个儿童游戏,你得去摇铃,所以我不得不给出更多反馈。当我让它解释一首诗的节奏或用词为何重要时,它写出了自信的解读,却没有考虑奥登对此说了什么。每一次,修复都只花了 AI 几分钟,但它自己完全没有发现这些问题。那么,这是品味上的差异,还是我没能明确说出我想要什么,抑或是 AI 弱点的迹象?有时候很难分辨。

Do original academic research: I asked Fable to find an unsolved empirical problem in entrepreneurship research, find the data, preregister its hypothesis and methods, write the paper, and have other agents critique it. Soon, I had “The One-Dollar Company,” which you can read here. The analysis estimated that when Colorado cut its LLC filing fee from $50 to $1, new company registrations rose about 17 percent, and when the UK raised its fee from £12 to £50, they fell about 17 percent. Those changes in registrations were not matched by comparable changes in several later records of business activity, suggesting the new businesses were not high quality. Its a neat result, and Fable picked the question, found the public data and natural experiments, and wrote the analysis plan and code. It did not actually preregister the study: the plans stayed inside the project, and some were written after earlier results.

与我尝试过的许多 AI 论文不同,这篇论文用一个巧妙的研究设计处理了一个重要课题。初读之下,它超出了我对二年级博士生的预期。但它也还不能按现状发表。它长达 182 页,因为每一条批评都引出了一项新的分析,而内容从未被删减(这是我们很快会再谈到的一个主题)。我还让 GPT-6 Pro(对复杂学术工作进行一次性评审的最佳模型)充当同行评审,它两次发现了需要解决的问题。这些修订导致文字更加 convoluted,并且文本中被插入了“Claudespeak”,这又需要更多轮修改。就目前而言,我怀疑这篇论文已经接近对文献的真正贡献。这本来需要数月的人工工作,但我花了不到一小时的时间就把它推进到了这个阶段。然而,这遗漏了研究中相当大的一部分工作:没有人完整核查过结果,包括我在内。AI 现在产出研究的速度已经超过了任何人阅读它的速度,这在许多学术领域造成了一场危机。

第二个项目进展得更顺利。我让 Fable 复现一项研究,该研究声称故事遵循几种基本的情感弧线,然后探究情节是否存在任何普遍性。它阅读了来自世界各地的 1,186 个故事,并搭建了一个关于故事本质的精美网站,结论是故事“不共享单一的形状或情节,但大多数都由相同的少数几个部分构成,而最典型的故事是一个关于巫师和一根魔法香蕉的夏威夷民间故事。”我遇到的主要问题同样是 Claudespeak,在我提醒了几次之后就修正了。

通过 Portal

在我最喜欢的一个实验中,我给 Claude 一段描述:一段无尽的、无需动手的旅程,穿越由传送门连接的 3D 世界,并告诉它"照这个做,让它令人惊叹"。二十小时后,一个上线网站上出现了 204 个世界。现在已有超过 450 个,包括一个百万镜厅、一个源自卡尔维诺《看不见的城市》的系列、古代世界七大奇迹,以及一个在杀死恐龙的小行星撞击前 40 秒的场景。还有以 M.C. 埃舍尔、洞穴壁画、葛饰北斋的《巨浪》、贝叶挂毯、一本立体书和一个孩子的蜡笔画为原型的世界。每一个都由代码实时绘制,背后没有任何预制 3D 模型或图像文件。我的提示词要求组建艺术家智能体、编码智能体和评估者团队。到第十天,已经有一个首席 AI 智能体和 28 个其他智能体团队并行构建。Claude 估计该项目涉及 25,000 次智能体运行,不过绝大多数只做单一任务,比如评判一张图像(我仍然庆幸早期试验期间没有人向我收取 token 使用费)。

我列出了一份地点清单(荒野与海洋、城市与室内、书籍、画家、AI 内部笑话)以及一些功能需求(为感到晕船的人提供减少动态效果的模式、一个可供选择的图像画廊)。但其他一切都是 Claude 的,包括各个世界的创意工作。而且它们真的很有创意。在 The Valley Unzips 中,山丘是用牛仔布缝制的,一条一英里长的拉链正在被拉开。Bouncy Castle Town 由尼龙房屋构成,只有在风扇持续运转时才能立住;而 Keep Refrigerated 则是从果蝇的视角看冰箱门打开时的冰箱内部。在一个我个人最喜欢的 The Drawer Cliffs 中,你沿着一条河峡谷向上飞,峡谷两侧的岩壁是三百米高的抽屉柜。虽然我要求 AI 加入 AI 测试的内部笑话,比如骑自行车的鹈鹕,它却想出了一群骑着自行车的鹈鹕,并内置了一个关于 AI 进步的笑话:你从过去超越车队,那里的自行车画得完全不对,然后到达前方现在正确的鹈鹕。当我把这类作品展示给那些职业生涯都在电子游戏行业度过的朋友时,他们对结果印象深刻。再一次,这感觉像是 AGI。但这里也隐藏着参差不齐之处。

在最初的两天里,智能体们构建了 328 个独特的世界。以我人类的眼光来看,其中一些的质量似乎有点参差不齐,智能体之间缺乏协调导致了重复。例如,三个独立的智能体团队各自创造了一个由盘旋动物(驯鹿、蝠鲼、鹳)组成的旋风——这显示出 AI 的另一个弱点,即它们会一遍又一遍地回到相似的主题上。我告诉 AI 停止构建,并打磨它已有的世界。几天后,我注意到它每天制作的世界不再是数百个,而是大约十几个。我让几个智能体去探究发生了什么,它们发现了令人惊讶的事情。

AI 建立了一个官僚体系。

智能体们决定,我要求“打磨”现有世界,意味着每个新版本都必须在由一组评审智能体针对十二张测试截图进行的盲投中击败旧版本。于是,制作新版本的团队开始针对那些特定截图来优化世界。在注意到这一点后,主智能体禁止了这一取巧做法,并为评估新版本制定了更严格的规则。到第二天早上,就出现了一本规则手册(我从未要求过),包含 84 个章节。随着 AI 遇到问题,规则不断被添加,且从未删减任何文字。十二天后,它已有 204 个章节、87,500 个单词。很快,启动一个新世界需要获得批准的创意、三名 AI 评审员,以及对照规则手册的完整代码审查。总共大约需要一天时间。仅阅读规则手册就消耗了智能体工作上下文的一大部分。

于是,我做了你可能会对任何陷入僵局的机构做的事:请来了顾问。我让 Fable 组建了一个独立的智能体团队,从外部审视整个流程。他们的结论太长、太密集,我懒得读,但似乎奏效了,将流程加速回每天三十个或更多世界,同时保留了大部分质量控制。

几乎达到 AGI

那么,按照我有限的定义,这是 AGI 吗?它确实既是人工的,又是智能的。它还出人意料地通用。仅在这篇文章中,一个模型就担任了电影制作人、硬件黑客、创业者、文学学者、社会科学家和 3D 世界构建者,并且在每一个角色中都做出了令人印象深刻的工作。在许多单项任务上,我认为它达到了我一开始设定的标准:与大多数人类专家一样出色。

当然,我挑选的都是高度数字化的任务,AI 可以自主行动,不需要与其他人过多互动。当我感到不放心让 Fable 去联系真实客户时,你开始看到这种做法的局限性。而且,还有那些失败。几年前,锯齿状的前沿意味着失败往往是明显编造的事实或无法完成基本数学运算。Fable 的失败则不同:它做了一门准确但毫无乐趣的课程,写了一篇 182 页的论文,反复回到它最喜欢的那些想法上,还把一项创意项目淹没在规则和审批之中。我在一所商学院任教,我见过有才华的人和优秀的组织做过上述每一件事。如果建立官僚体系就会让你失去通用智能的资格,那我们很多人都会有麻烦。

但仍然存在差距,这也是为什么我的答案是这算是「几乎」AGI。最关键的是,AI 自己并没有注意到这些问题。它没有看出那门课程枯燥乏味,也没有意识到自己被自己的规则手册缠住了手脚。这并不是因为缺少检查。Fable 几乎在每个项目上都安排了批评者、事实核查员或评审,但这些检查发现的是错误并添加了修正。它们没有一个去问这项工作是否太长、太重复,或者毫无乐趣。这一切都落在了我身上,如果我没有盯着并采取行动,结果往往会不那么令人印象深刻(不过也谈不上是失败)。知道自己作品不够好,是成为专家的很大一部分,而这恰恰是 Fable 最不可靠的地方。我仍然不会信任它独自经营一家企业,尽管如果它的计划来自我的一群 MBA 学生,我会印象深刻。

然而,有些问题其实源于我自己(那本规则手册源自于我含糊的「润色」要求),还有些可能只是品味上的差异。我们让学生思考一个问题究竟来自团队本身,还是来自团队的管理方式。很多时候我也说不清。这不是我曾经需要就软件提出的问题。

不过,这些项目中的每一个之所以能实现,都是因为我把一个想法交给了 AI。有时这就足够了,但对于耗时更长的项目,我一路上的反馈最终变得非常重要。因为每个 AI 项目都由我发起并主导,Fable 让我感到自己很有能力,能够指挥它做出我以前根本不会考虑去做的东西。因此,我认为 Jagged AGI 的这个阶段令人兴奋,尽管我也有点焦虑地想知道它能持续多久。

立即订阅

分享

1鉴于 Anthropic 的 IPO 很可能即将进行,有必要重申,我不从任何 AI 实验室拿钱,也不会从这次 IPO 中获得经济利益。Anthropic、OpenAI 或 Google 从未提前询问过我会写什么,Anthropic 也没有看过这篇文章。我有时会获得模型的早期访问权限,包括 Fable 5.2,在获得访问权限期间,token 使用不计费,但除此之外,我自费购买自己的账户。换句话说,这些是我真实的人类观点。