Snorkel 用 Modal 沙箱每月跑数百万次 Agent 模拟
AI 数据公司 Snorkel 在 Modal 上运行 Agent 评测:每月执行数百万次模拟,峰值达每小时数万个沙箱,Modal 同时提供 GPU 和 CPU 沙箱,用于复现多容器系统、GPU 训练环境等真实场景。Snorkel 是 Terminal-Bench 的贡献者,评测覆盖编码、基础设施、ML 工程等任务。此前团队靠人工估算沙箱的 CPU 和内存配置,常因资源不足导致 Agent 任务失败;改用内存突发(memory bursting)后成本降低 20%。
推荐理由做 Agent 评测的人可参考:沙箱要同时支持 GPU 和 CPU,内存突发能省 20% 成本