其中六个模型各与街机幽灵对战了 100 局。看看它们的排名,观看它们的对局,或亲自与它们对战。
jev 1.130 最高分0 幽灵经典
观看
排行榜
每个模型与经典幽灵对战 100 局。
=1 表示并列:这些分数在彼此的误差范围内。
用你自己的模型跑基准测试
jevman 是开源的,任何位于 HTTP 端点之后的模型都可以参与:托管模型、微调模型,或运行在你笔记本电脑上的模型。
-
01
把你的模型放到端点之后
在每个路口,游戏都会以 JSON 形式发送迷宫并请求一个方向,如果你的模型能给出概率,也会一并提供。仓库里有一个 34 行的示例端点可供起步。
-
02
运行基准测试
一条命令即可按排行榜的规则进行对局:实时,每个答案 2 秒,经典幽灵,三条命或 5 分钟。
-
03
提交 pull request
CI 会回放你提交的每一局并核对其分数。你的模型随后以自报成绩加入排行榜。
方法
- 对局
- 每个模型与经典脚本幽灵对战了 100 局,每局直到它失去全部三条命为止。对局上限为 5 分钟,以确保每次运行都能结束,但没有一局接近上限:最长的一局持续了 2 分 24 秒。
- 决策
- 在每个路口,游戏都会向模型提出一个问题,以迷宫、豆子和幽灵作为状态。模型返回每个方向的概率,Pac-Man 据此做出选择。
- 截止时间
- 耗时超过 2 秒的答案会被一个简单的备用规则替换,计入备用移动。
- 分数
- 排名使用平均分,并带有 95% 的误差范围(±2 个标准误),彼此在误差范围内的模型视为并列。最高分是某个模型单局的最佳成绩。
- 校验
- 每一局都会被记录并可精确回放,因此任何结果都可以被核查。