其中六个模型各与街机幽灵对战了 100 局。看看它们的排名,观看它们的对局,或亲自与它们对战。

jev 1.130 最高分0 幽灵经典

观看

排行榜

每个模型与经典幽灵对战 100 局。

=1 表示并列:这些分数在彼此的误差范围内。

用你自己的模型跑基准测试

jevman 是开源的,任何位于 HTTP 端点之后的模型都可以参与:托管模型、微调模型,或运行在你笔记本电脑上的模型。

  1. 01

    把你的模型放到端点之后

    在每个路口,游戏都会以 JSON 形式发送迷宫并请求一个方向,如果你的模型能给出概率,也会一并提供。仓库里有一个 34 行的示例端点可供起步。

  2. 02

    运行基准测试

    一条命令即可按排行榜的规则进行对局:实时,每个答案 2 秒,经典幽灵,三条命或 5 分钟。

  3. 03

    提交 pull request

    CI 会回放你提交的每一局并核对其分数。你的模型随后以自报成绩加入排行榜。

方法

对局
每个模型与经典脚本幽灵对战了 100 局,每局直到它失去全部三条命为止。对局上限为 5 分钟,以确保每次运行都能结束,但没有一局接近上限:最长的一局持续了 2 分 24 秒。
决策
在每个路口,游戏都会向模型提出一个问题,以迷宫、豆子和幽灵作为状态。模型返回每个方向的概率,Pac-Man 据此做出选择。
截止时间
耗时超过 2 秒的答案会被一个简单的备用规则替换,计入备用移动。
分数
排名使用平均分,并带有 95% 的误差范围(±2 个标准误),彼此在误差范围内的模型视为并列。最高分是某个模型单局的最佳成绩。
校验
每一局都会被记录并可精确回放,因此任何结果都可以被核查。