Niemeijer 被认为是该游戏历史上获得荣誉最多的玩家。他赢得了四次世界冠军、15 次荷兰全国冠军和两次线上世界冠军,并在世界排名第一的位置上停留了超过 600 周。George Franka 是自 1997 年以来唯一一位参加过每一届世界锦标赛的玩家,他称 Niemeijer 是“有史以来最伟大的 Stratego 玩家”。
Stratego 对 AI 来说是一项格外严峻的考验,因为双方都要将各自的 40 枚棋子面朝下布置。根据该论文,可能的布局超过 10^33 种。在这类信息不完美的博弈中,一步棋的价值不仅取决于之后棋局如何发展,还取决于此前以及决策过程中发生了什么,第一作者 Samuel Sokota 在 X 上写道。

据 Sokota 称,源自扑克 AI 的方法确实绕过了这个问题,但仅限于隐藏信息很少的情况。在德州扑克中,只有 1,326 种可能的起手牌,而根据该论文,这些方法所需的计算量会随隐藏信息量的增加而增加。因此,Stratego 是人类仍优于 AI 的最后几款主要竞技类桌游之一。
一份大学预算击败了 DeepMind 数百万美元都未能做到的事
DeepMind 此前正是在这款游戏中未能突破顶尖人类玩家的水平。根据该论文,其 DeepNash 系统在 1,024 个 TPU 节点上训练了两到三个月,这是相应的 DeepNash 作者回忆的。Ataraxos 的作者估计,按 2025 年的价格计算,这需要花费 300 万至 450 万美元。
相比之下,Ataraxos 在 16 块 Nvidia H100 GPU 上只需一周时间,另外还需要在 4 块 GPU 上再花四天来运行其所谓的信念网络。按 2025 年的价格计算,总花费不到 8000 美元。研究人员估计,其计算成本约为对手的 1/500,自对弈局数为 1/30,训练样本数为 1/100。他们将此归功于自己编写的定制 GPU 模拟器,但也归功于高得多的样本效率。Sokota 写道,该团队受限于学术计算资源,多年来积累了大量技巧。
两套系统之间没有进行过正面对比。研究人员表示他们曾提出搭建必要的基础设施,但 DeepMind 告诉他们这不可能,因为 DeepNash 的代码已经无法运行。在 2023 年的世界锦标赛上,DeepNash 赢下了 28 局中的 19 局,但输给了大多数顶尖选手,包括 Niemeijer。
迫使 AI 变换打法可以防止它陷入僵局
Ataraxos 不依赖任何人类数据,完全通过自我对弈学习。根据论文,关键在于系统被推动去变化打法的力度有多大。训练期间的一个额外条件让 AI 分散其布局和走法,而不是早早锁定一套固定策略。这被称为正则化。作者表示,这在 Stratego 中很重要,因为高水平对局需要大量随机性,而打法可预测的玩家会被利用。
研究人员随着训练的推进放松这种压力,并相应调整学习步长的大小。早期,Ataraxos 大幅变换打法,以大步长学习。后期,它的打法更加审慎,只做小幅修正。这可以防止学习过程原地打转或变得混乱,而这在不完全信息博弈中往往会发生。研究人员将正则化比作能量储备。如果 AI 消耗得太快,它会在早期快速取得进展,但随后失去继续学习的能力,并且往往变得容易被利用。
Ataraxos 还使用一个信念网络来预测对手的隐藏棋子是什么。在每一步棋之前,AI 用它生成可能的游戏状态,推演候选着法,并专门为那个决策额外运行一步学习。作者表示,此前的工作跳过了这类搜索,因为在如此多的隐藏信息下这被认为太难了。
尽管存在内置劣势,AI 仍大获全胜
研究人员将对抗 Niemeijer 的系列赛分散在三周内进行,以避免疲劳并给他时间准备。Niemeijer 知道 Ataraxos 不会适应他的风格。他因参赛获得 1000 美元,外加每胜一局 100 美元、每平一局 50 美元,因此他有经济动机去发挥最佳水平。
作者写道,将平局计为半胜后,85% 的有效胜率在最高水平上是前所未有的。三届世界锦标赛亚军 Max Roelofs 表示,顶尖水平的差距极其微小,因为这款游戏迫使玩家冒险。AI 还在结构性劣势下对弈。Niemeijer 可以在多局中适应它,但它无法适应他。根据论文,三届世界冠军 Vincent de Boer 认为这是一个重大障碍。
在 2025 年 Stratego 世界锦标赛期间的表演赛上,Ataraxos 还在对阵锦标赛选手的 40 局中赢下 38 局。选手们形容它的风格难以捉摸。AI 会做出人类认为风险太大的诈唬,而当它落后时,它会顽固地拖延,以至于一些选手觉得它无礼。它似乎还幸运得近乎诡异,因为它的棋子似乎总是恰好在正确的位置。对阵 Niemeijer 的对局可在网上获取。
该方法远不止适用于 Stratego
研究人员用同样的方法构建了其他系统。在 Barrage Stratego 变体中,他们的 AI 在对阵四名排名最高选手中的三位时赢下了四个 50 局系列赛,这三位都是两届 Barrage 世界冠军。在合作卡牌游戏 Hanabi 中,它在每个变体中都创下新纪录,而在双人版本中,它所需的算力比此前领先者少了两个数量级。在中国卡牌游戏斗地主中,它击败了此前的基准系统 PerfectDou 和 DouZero。
作者从这些结果中得出了一个宏大的结论。他们认为,大量隐藏信息不再是强化学习和搜索的障碍。只要能为许多战略决策问题构建快速且准确的模拟器,实际可用的 AI 就有望触手可及。论文指出,金融市场、军事冲突和谈判都是信息不完美的情境示例。
研究人员承认了一个局限。由于搜索只模拟单个学习步骤,其性能无法仅靠增加计算时间而持续提升。更复杂的搜索方法可能会改变这一点。团队已将Ataraxos 的代码公开发布。