清除条件
共 1 条
Hacker News · AI2 天前模型论文研究海外

16 个大模型挑战 TIS-100 编程游戏,Opus 5.5 与 GPT-6 Astra 并列领先

一项测试让 16 个大模型在 TIS-100 汇编解谜游戏中各做一次尝试(pass@1),每题限时 10 到 45 分钟。Opus 5.5 和 GPT-6 Astra 都解出全部 55 题,并各在 11 题上刷新前沿点;Opus 5.5 找到 72 个新前沿点,GPT-6 Astra 为 32 个,但 GPT-6 Astra 的纪录接近度更高(78.0 对 77.2),两者差距的 95% 置信区间包含零。Gemini 4 Argon 解出 54 题、8 个新前沿点。解题与优化是两种不同能力:Gemini 3.8 F…

推荐理由看 16 个模型在同一游戏里的解题与优化能力排名,以及 pass@1 加前沿点这套评测方法怎么设计。