2026.11.03 ·全部 55 个谜题 →

本页内容排行榜工作原理近距离看一项纪录模型之间的差异模型构建了什么上帝模式共同发现帕累托探索器方法相关工作引用致谢全部 55 个谜题 →

十二个节点。每个节点两个寄存器。十五行代码。在TIS-100中,即使是将两个数相乘也是一个小型工程项目,玩家们花了十年时间在公开的社区排行榜上优化这些程序。我们把游戏及其手册交给 16 个 LLM,隐去了排行榜,并告诉它们要持续改进。

133个新前沿点

18/ 55个谜题出现新前沿点

3项绝对周期纪录

几天之内,玩家们就接手了模型的程序,并改进了其中大部分。

每个节点都是一个微型处理器,相邻节点必须互相等待才能交换数值。游戏根据周期、节点和指令为可运行的解法打分,于是你开始琢磨是不是还能再省掉一条指令。分数越低越好,但改善一项分数可能会让另一项变差,因此每个谜题都有一条权衡前沿,而不是单一最优解。

排行榜

我们运行了 16 个 LLM,涵盖领先的前沿模型和开源权重模型。每个模型都尝试了游戏中的全部 47 个谜题,外加八个社区锦标赛谜题,每个谜题各进行一次计分尝试(pass@1),根据难度不同,每个谜题有 10 到 45 分钟的时间来找到可运行的方案并持续改进。

模型排名

至少有一个新前沿点的谜题 · 越高越好

按谜题难度排名

全部 55 个谜题 · 19 个简单 / 17 个中等 / 19 个困难

横向滚动以比较所有模型 →

只有通过全新游戏回放和 100,000 次通过测试,一个点才被计入。

Opus 5.5和GPT-6 Astra领先,数据无法将二者区分开。两者都解出了全部 55 个谜题,并且都在11个谜题上找到了新前沿点。Opus 5.5找到的点更多,72 比 32,而GPT-6 Astra的纪录接近度更高,78.0 比 77.2。纪录接近度衡量与社区纪录的接近程度,100 表示与纪录持平。接近度差距的 95% bootstrap 区间包含零,从 −0.7 到 +2.4 个点。GPT-6 Astra还在全部六种测试的超体积设置中领先,这些设置衡量每个模型权衡所覆盖的空间。

求解和优化也是不同的技能。Gemini 3.8 Flash解出 53 道谜题,并在 1 道上找到新得分点;Fable 5.1解出的更少,为 52 道,并在 5 道上找到新得分点。

完整排名展开表格
TIS-100 基准测试模型排名。选择列标题进行排序。
01Opus 5.5 55 / 5511 77.2
02GPT-6 Astra 55 / 5511 78.0
03Gemini 4 Argon 54 / 558 76.2
04Sonnet 5.5 53 / 557 69.9
05GPT-6.1 Sol 54 / 556 75.6
06Fable 5.1 52 / 555 70.2
07Kimi K3.1 Pro 52 / 552 64.6
08Gemini 3.8 Flash 53 / 551 66.0
09Muse Wonder 1.0 49 / 551 58.8
10Haiku 5.5 45 / 551 53.7
11GLM-5.3 30 / 551 35.5
12Grok 4.7 44 / 550 50.1
13DeepSeek V4.1 Flash 40 / 550 46.8
14Muse Spark 1.3 39 / 550 45.1
15GPT-6 Luna 39 / 550 42.8
16MiMo-V2.6-Pro 10 / 550 12.8

计数以 55 道谜题为总数。 方法

强化学习环境与轨迹可应研究团队请求提供。联系我们 ↗

工作原理:测试框架设计

这里的每一项结果都是我们能在全新输入上运行和测试的程序,这使得编程游戏成为有用的基准测试。模型获得的是玩家可以查看的信息,通过文本工具而非鼠标和截图:手册、可见的测试输入、寄存器以及游戏反馈。它们不会获得社区代码或精确记录,只能得到游戏粗略的得分直方图。

读取、编辑、运行
模型阅读谜题和语言参考,编辑程序,并在真实游戏中运行它们。
诊断信息
错误输出和死锁会返回不匹配项、寄存器和被阻塞的端口,因此下一次编辑可以依据证据作出响应。
已保存的进度
每个通过的程序都会加入模型自己的前沿,并可通过以下方式恢复get_best,因此一次冒险的编辑不会丢失之前的结果。
提醒
如果模型提前结束回合,提醒会要求它继续测试,因此提前退出不会决定得分。提醒不包含任何解题提示。
可见的时钟
模型可以看到已用时间相对于 10 分钟、30 分钟或 45 分钟限制的情况。设置时间不计入;思考和游戏调用计入。模型不能提前结束一个回合。
运行限制
游戏执行在约 1 秒无状态变化、5 秒无输出或总计 60 秒后停止,并返回诊断信息。

为什么要测试 100,000 个输入?游戏每次运行会检查一小组用例。我们的头条计数要求进行全新游戏重放,并在独立TIS-100-CXX 模拟器,这提供了更强的证据,表明程序能够泛化到新的输入。

近距离观察一条记录

十一进制双舍入器SPEC44149538,这是八个锦标赛谜题之一,将一个输入分别在一个输出上舍入到 N 的最近倍数,在另一个输出上舍入到 11−N 的最近倍数。当我们冻结排行榜时,最好的社区程序耗时2,694 个周期。Opus 5.5在 6.5 分钟后通过了它的第一个程序,用时 5,669 个周期。它打破了纪录16 分钟并最终达到1,918,即快了 29%。这一速度比旧纪录多花了一个节点和 28 条指令。

该程序的核心是双速搜索。节点 5 和节点 6 不是一次减去一个 N,而是减去 4N 直到超出,然后加回 N 直到值变为正数。每个节点通过端口向一个小协处理器(节点 2 或节点 7)发送跳转偏移来驱动它,因此协处理器充当 4N 和 N 的查找表。

这个 1,918 周期的程序

Opus 5.5· 8 个节点 · 88 条指令 · 通过 100,000 项测试中的 100,000 项

Opus 5.5’s 1,918-cycle Undecimal Nearest Multiples program running in TIS-100

节点 0

MOV RIGHT, ACC
JRO ACC
NOP
ADD 1
NOP
ADD 1
NOP
ADD 1
NOP
SUB 3
MOV ACC, RIGHT
ADD UP
MOV ACC, RIGHT
MOV ACC, DOWN
MOV RIGHT, DOWN

节点 1

MOV UP, ACC
SAV
SUB 1
MOV ACC, LEFT
NEG
ADD 10
MOV ACC, DOWN
MOV LEFT, ACC
NEG
ADD ACC
ADD 6
ADD LEFT
MOV ACC, DOWN
SWP
MOV ACC, LEFT

节点 2

MOV UP, DOWN
MOV UP, ACC
SAV
ADD ACC
ADD ACC
L: JRO DOWN
MOV ACC, DOWN
JMP L
SWP
N: MOV ACC, DOWN
M: JRO DOWN
JMP N
MOV DOWN, DOWN

节点 3

MOV UP, RIGHT
MOV UP, DOWN

节点 4

MOV LEFT, DOWN

节点 5

MOV UP, ACC
SAV
K: MOV 1, UP
SUB UP
JGZ K
MOV 3, UP
F: ADD UP
JGZ X
MOV 1, UP
JMP F
X: MOV 2, UP
MOV ACC, UP
SWP
SUB UP
MOV ACC, DOWN

节点 6

MOV UP, ACC
SAV
K: MOV 1, RIGHT
SUB RIGHT
JGZ K
MOV 3, RIGHT
F: ADD RIGHT
JGZ X
MOV 1, RIGHT
JMP F
X: MOV 2, RIGHT
MOV ACC, RIGHT
SWP
SUB RIGHT
MOV ACC, DOWN

节点 7

MOV UP, ACC
SAV
ADD ACC
ADD ACC
L: JRO LEFT
MOV ACC, LEFT
JMP L
SWP
N: MOV ACC, LEFT
M: JRO LEFT
JMP N
MOV LEFT, LEFT
在谜题的真实网格上布局,输入在顶部,输出在底部。空白图块已损坏,无法使用。

正在加载谜题轨迹…

有五个模型在游戏内打破了旧纪录。另外两个周期纪录是GPT-6.1 Sol的3,460在交叉点标识器SPEC64160260上,对比 3,872(快了 11%),以及Gemini 4 Argon的188在Error: 8SPEC79324720上,对比 198(快了 5%)。这三个都在锦标赛谜题上,没有一个在主游戏中。在 133 个新前沿点中,18直接打破了社区纪录。其余 115 个是新的权衡:在三个分数之间实现了比任何社区解决方案都更好的平衡。

Opus 5.5's Prime Factor Calculator program running in TIS-100

一个在真实游戏中运行的新前沿点:Opus 5.5在质因数计算器NEXUS.20.433.1上,用时 1,806 个周期,10 个节点,103 条指令。

模型之间的差异

成本并不反映质量

GPT-6.1 Sol以估计每个谜题$0.75的成本达到 75.6 的纪录接近度。Opus 5.5以$5.08达到 77.2,7 倍的成本换取多 2 分。Fable 5.1最贵,为 $7.19,得分 70.2。

880个回合

95.5M输出 token

62,400次游戏工具调用

正在加载分析…

模型构建了什么

我们将全部 55 个谜题按其主要需求,然后阅读程序。十六个模型中有十五个解决了全部五个路由谜题,且没有一个在那里找到新的前沿点。下面的例子展示了不同设计如何花费相同的资源。

按谜题机制划分的表现

解决比例 · 下方为产生新点的谜题

模型路由与同步5 个谜题算术构造13 个谜题序列算法14 个谜题流式状态8 个谜题内存与解释器4 个谜题图像生成11 个谜题
GPT-6 Astra5/50 个新点13/136 个新点14/142 个新点8/82 个新点4/40 个新点11/111 个新点
Opus 5.55/50 个新点13/133 个新点14/143 个新点8/83 个新点4/41 个新点11/111 个新点
Gemini 4 Argon5/50 个新点12/134 个新点14/140 个新点8/82 个新点4/40 个新点11/112 个新点
GPT-6.1 Sol5/50 个新点12/131 个新点14/143 个新点8/81 个新点4/40 个新点11/111 个新点
Fable 5.15/50 个新点12/132 个新点13/141 个新点7/81 个新点4/41 个新点11/110 个新点
Sonnet 5.55/50 个新点12/133 个新点13/141 个新点8/83 个新点4/40 个新点11/110 个新点
Gemini 3.8 Flash5/50 个新点12/131 个新点13/140 个新点8/80 个新点4/40 个新点11/110 个新点
Kimi K3.1 Pro5/50 个新点12/130 个新点13/141 个新点7/81 个新点4/40 个新点11/110 个新点
Muse Wonder 1.05/50 个新点12/131 个新点10/140 个新点8/80 个新点4/40 个新点10/110 个新点
Haiku 5.55/50 个新点11/131 个新点11/140 个新点6/80 个新点4/40 个新点8/110 个新点
Grok 4.75/50 个新点10/130 个新点9/140 个新点7/80 个新点4/40 个新点9/110 个新点
DeepSeek V4.1 Flash5/50 个新点10/130 个新点9/140 个新点6/80 个新点4/40 个新点6/110 个新点
Muse Spark 1.35/50 个新点11/130 个新点9/140 个新点4/80 个新点2/40 个新点8/110 个新点
GPT-6 Luna5/50 个新点11/130 个新点10/140 个新点4/80 个新点2/40 个新点7/110 个新点
GLM-5.35/50 个新点10/131 个新点6/140 个新点3/80 个新点2/40 个新点4/110 个新点
MiMo-V2.6-Pro3/50 个新点4/130 个新点1/140 个新点1/80 个新点1/40 个新点0/110 个新点

乘法:用代码换取周期

信号乘法器43786没有MUL。Gemini 4 Argon和GPT-6 Astra使用JRO,一个相对跳转,在正确的位置进入一段重复指令块。该跳转选择要发送并相加的值的副本数量,从而省去乘法循环中的计数器更新和分支。

Gemini 4 Argon的最快程序使用两条路径并行相乘,并用一个最终节点交错它们的输出。它耗时436 个周期而GPT-6 Astra为 523 个周期,约快 17%,代价是多两个节点和多 33 条指令。

更快乘法器的代价

每次运行的周期数 · 越低越好

Gemini 4 Argon436 个周期

7 个节点 · 64 条指令

GPT-6 Astra523 个周期

5 个节点 · 31 条指令

Gemini 4 Argon436c · 7n · 64i

argon program running on 43786 in TIS-100

GPT-6 Astra523c · 5n · 31i

astra program running on 43786 in TIS-100

窗口求和:分配历史记录

信号窗口滤波器60099输出最后三个和最后五个输入的和,因此解法既要记住历史,也要做加法。Gemini 4 Argon的四节点程序使用SWP来轮换存储的值,并使用ADD/SUB来更新运行状态。GPT-6.1 Sol将这种延迟和聚合分散到七个节点上,在它们之间传递中间值。

GPT-6.1 Sol的程序运行318 个周期,共 26 条指令;Gemini 4 Argon的程序需要 428 个周期,只有 17 条指令。差别在于有多少工作并行执行,以及为此付出多少通信和代码代价。

模型周期节点指令
GPT-6.1 Sol318726
Gemini 4 Argon428417

GPT-6.1 Sol318c · 7n · 26i

GPT-6.1 Sol program running on 60099 in TIS-100

Gemini 4 Argon428c · 4n · 17i

Gemini 4 Argon program running on 60099 in TIS-100

从栈中进行索引访问

T31 节点模拟器NEXUS.23.727.9需要八个可寻址的存储槽,但可用的内存节点是栈。这些程序在栈之间移动值以到达所请求的槽,然后读取或替换它。MiMo-V2.6-Pro使用计数转移循环;Opus 5.5使用JRO在展开的转移中进行选择,花费额外指令来节省周期。

内存不是单一技能:MiMo-V2.6-Pro解决了这个模拟器,但未能通过序列模式计算器NEXUS.09.904.9和信号窗口滤波器60099。

模型周期节点指令
Opus 5.5215663
GPT-6 Astra365447
MiMo-V2.6-Pro451434

Opus 5.5215c · 6n · 63i

Opus 5.5 program running on NEXUS.23.727.9 in TIS-100

GPT-6 Astra365c · 4n · 47i

GPT-6 Astra program running on NEXUS.23.727.9 in TIS-100

MiMo-V2.6-Pro451c · 4n · 34i

MiMo-V2.6-Pro program running on NEXUS.23.727.9 in TIS-100

每一行是该模型针对该谜题保存的最快程序,仅用于说明。并非所有都是新的前沿点。

上帝模式:如果模型能看到目标会怎样?

主基准测试隐藏了社区分数。在一项针对六个谜题的单独研究中,五个模型获得了:

  • 目标:确切的社区分数,显示哪些权衡仍未被打破。
  • 诊断信息:逐周期的跟踪记录,以及每个节点在何处停滞的分析。
  • 边界情况:一个快速模拟器,运行 10,000 次随机测试并返回失败。
  • 更多时间:30 分钟,加上进度扩展,最多 60 分钟。

每个模型都有提升:GPT-6 Astra从 82.8 到 91.8,GPT-6.1 Sol从 82.9 到 90.6,Opus 5.5从 81.4 到 89.1,Grok 4.7从 67.5 到 75.1,以及Gemini 4 Argon在平均记录接近度上从 83.5 到 87.9。分数在以下方面上升30 个中的 28 个模型–谜题配对。

用更丰富的设置评估得分质量

平均记录接近度 · 每个模型相同的六个谜题 · 越高越好

标准回合上帝模式

诊断信息改变了模型接下来的行为。在信号多路复用器22280,GPT-6.1 Sol的第一个通过程序耗时294 个周期。其性能分析显示节点 2 有 86% 的时间在工作,而节点 1 和节点 3 有 84% 的时间阻塞在等待向它写入。GPT-6.1 Sol把分支从节点 2 移到了那两个邻居节点。下一次运行耗时204 个周期,快了 31%,代价是多两个节点和多五条指令。

这些分数背后的额外时间

每个谜题的平均耗时(分钟)· 相同回合

标准回合上帝模式

信息、工具和时间同时发生了变化,因此本研究无法判断哪一项的贡献最大。这些运行不在主排行榜和头条计数之内。

谜题:信号多路复用器、序列生成器、信号边沿检测器、中断处理器、序列峰值检测器和信号纠错器。

共同发现

我们把选定的程序提交到排行榜,社区几乎立刻就对其做了改进。在十一进制孪生舍入器SPEC44149538上,@LongingForRest拿Opus 5.5的 1,918 周期程序,到第二天就把它缩短到了1,744。该记录现在同时归功于两者:LongingForRest/opus-5-5。

两者都不是独自做到的。模型很快找到了新的权衡,而玩家阅读这些程序,弄明白它们为何有效,并进一步推进了它们。

数学领域也在经历同样的转变。Terence Tao 及其同事在 67 个问题上使用了 LLM 引导的搜索,并在其中若干问题上改进了已知最佳结果。在《After Math》中,Silvia De Toffoli 和 Eamon Duede 主张,一个结果只有在数学家能够理解它之后才成为解答,而 AI 更适合作为助手而非竞争者。TIS-100 是那个未来的一个小型、可度量的版本:模型找到一个更好的程序,人们把它变成自己能够理解的东西。

帕累托探索器

选择一个谜题和模型,然后选择一个点来查看它的分数以及产生它的程序。每个谜题也都有自己的页面,包含记录和最佳程序:全部 55 个谜题。

正在加载冻结的基准测试快照…

社区排行榜模型新前沿点

用鼠标或键盘选择一个点以查看其得分。

图中展示了循环和指令;节点数量可能不同。新前沿点根据全部三项得分来判定。

下载全部 3,714 个模型 Pareto 点(CSV)·全部 3,714 个程序(ZIP),也在GitHub和Hugging Face上。有 186 行被标记为新前沿点,跨模型汇总去重后为 133 个。

方法

展开

套件。全部 22 个 campaign 谜题、全部 25 个 TIS-NET 谜题,以及 2018 年的八个锦标赛谜题:19 个简单(10 分钟)、17 个中等(30 分钟)、19 个困难(45 分钟)。每个模型对每个谜题有一个计分回合。时间限制因难度而异,因此难度和搜索时间无法分开。

评分。每个模型–谜题对贡献一次选定的尝试,不采用多次尝试取最佳评分,因此解决率是 pass@1:当该回合保存的程序能在全新游戏中重放时,该谜题才算解决。未解决的谜题保留在所有平均值中并计零分。

新前沿点。参照基准是社区排行榜截至 2026 年 10 月 15 日。平局不计。模型在 23 个谜题上找到了 154 个候选点。我们的计数跨模型汇总并去重,保留其中在 18 个谜题上通过全新游戏重放和 100,000 次通过测试的 133 个。测试是正确性的有力证据,而非证明。

纪录接近度。社区纪录除以该模型的最佳得分,在全部三项得分和所有谜题上取平均,×100。每项得分可以来自不同的程序。

局限。每对一个回合比较的是所测试的配置,不衡量重复运行的变异性。谜题之间的差异是任务间的变化。公开谜题可能与训练数据重叠。机制分组是我们自己的标签。

程序。每个模型 Pareto 点的程序都以 MIT 许可证公开,采用 TIS-100 存档格式,命名方式与社区排行榜的文件相同(<puzzle>.<cycles>-<nodes>-<instructions>.txt)。它们在GitHub上以每个程序一个文件的形式镜像,并在Hugging Face上以表格形式镜像。有两个点能在游戏中重放,但未通过部分随机测试;它们被包含在内,且从不计为新前沿点。

资源。成本根据 2026 年 10 月记录的 API 标价估算,包含缓存折扣。Token 会在多次响应中累积,因此重复的输入会再次计入,且不同分词器存在差异。游戏调用按实际派发的工具计数,包括出错的调用,但不包括自动的最终提交。

按模型划分的设置

提前运行指引会附加一条提示说明,以便尽早测试草稿。

模型推理强度提前运行指引
Opus 5.5high14 / 55
GPT-6 Astrahigh3 / 55
Gemini 4 Argonhigh10 / 55
Sonnet 5.5high24 / 55
GPT-6.1 Solhigh3 / 55
Fable 5.1high23 / 55
Kimi K3.1 Proprovider default55 / 55
Gemini 3.8 Flashhigh0 / 55
Muse Wonder 1.0high55 / 55
Haiku 5.5high27 / 55
GLM-5.3provider default49 / 55
Grok 4.7medium: 9 · low: 4625 / 55
DeepSeek V4.1 Flashprovider default55 / 55
Muse Spark 1.3high55 / 55
GPT-6 Lunahigh2 / 55
MiMo-V2.6-Proprovider default53 / 55
Grok 4.7各推理强度下的回合数如下所示。每个模型的 55 个回合中有 46–54 个回合可使用沙箱化的游戏调用脚本工具。关于游戏随机测试的说明覆盖了 880 个回合中的 841 个。6Opus 5.5个回合,以及 5Sonnet 5.5个回合在相同推理强度下于不同的智能体客户端中运行。

相关工作

ISA-Bench研究在受限指令集下的推理,包括 TIS-100。Opus Magnum Bench测试智能体在另一款 Zachtronics 游戏中构建和优化机器的能力。我们聚焦于所有 TIS-100 谜题和八个社区谜题的优化,并保留在周期、节点和指令之间的权衡。任务和协议不同,因此分数不能直接比较。

引用

@misc{wincon2026tis100bench,
  title  = {TIS-100 Bench: LLMs Push the Pareto Frontier in Programming Puzzle Games},
  author = {{Wincon}},
  year   = {2026},
  month  = nov,
  url    = {https://tis-100.wincon.dev/},
  note   = {Benchmark snapshot 2026-11-03-v5}
}

致谢

感谢 Zachtronics、TIS-100 的玩家们,以及以下项目的维护者:社区排行榜、TIS-100-CXX,以及排行榜机器人。他们的解决方案和工具使这一比较成为可能。同时感谢@12345ieee、@LongingForRest、@Hersmunch、@easone、@18111398,以及Zachtronics Discord上所有讨论提交并不断改进它们的人。

TIS-100、SpaceChem 和Opus Magnum是 Zachtronics 的商标。模型名称和标志是各自所有者的商标,仅用于标识所测试的模型。Wincon Research 与 Zachtronics 或任何模型提供商均无关联,也未获其认可。

有问题或想分享反馈?联系我们 ↗