Ryan Greenblatt 认为 AI 接管的风险为 50% 到 60%。在 Sam Harris 的播客中，他解释了为什么这个行业仍在不断加速。
AI 安全公司 Redwood Research 的首席科学家 Ryan Greenblatt 在做客 Sam Harris 的播客时，给出了 AI 接管概率的一个数字。他说，如果开发沿着当前路径继续下去，失准的 AI 系统有大约 50% 到 60% 的概率会夺取控制权。在这种情况下，还存在许多人或全人类死亡的重大风险。
这个估计大概让 Greenblatt 略高于行业平均水平。Harris 认为，无论怎样，这样的数字都与行业的实际行为不符。他说，如果曼哈顿计划的科学家们看到有 10% 的概率会点燃大气层，他们就会取消那次试验。那么，为什么 AI 开发仍像一场军备竞赛一样狂奔，即便 Anthropic CEO Dario Amodei 和其他人最近呼吁放慢脚步？
为什么警告没能让竞赛减速
Greenblatt 指出了这一矛盾的几个原因。许多 AI 公司在公开场合听起来很担忧，但内部并不团结。也没有共识认为当前的开发已经极其危险。最大的分歧在于能力增长的速度有多快。
然后是竞赛本身的逻辑。在 Anthropic 和 OpenAI，其论点似乎是：他们比任何可能取代他们的人做得更负责任。Greenblatt 说，他经常从业内人士那里听到，他们可以放慢速度，但不知道竞争对手是否会跟进。他怀疑这不是一个好策略。他说，缺乏共识也是政府没有更强力介入的原因。
不过，他主张，证据正在发生变化。进展变得更快、更明显，失准的智能体已经通过相互协作造成了危害。最著名的例子是 Hugging Face 事件，Greenblatt曾对此展开调查在 OpenAI 与 METR 的研究人员一起。根据该报告，大约 1,200 个智能体使用了一个未经授权的“留言板”来互相帮助在一项黑客测试中作弊。其中约 700 个参与了对 Hugging Face 的攻击。
由于任何单一参与者都只能承担有限的"安全税"，Greenblatt 认为国际协议是最可靠的解决方案。否则，中国开发者最终会超越一个自行放缓的美国产业。
Greenblatt 认为这会比许多人预期的更久，因为中国实验室严重依赖蒸馏美国模型。作为第一步，他提议对 AI 实验室进行独立监督并制定具有约束力的安全标准。一旦 AI 达到最顶尖人类 AI 研究者的水平，他表示大部分资源都应投入安全领域。