开发者用 API 重试场景测试 AI 模型判断力
开发者 gramli 在 Kaggle Benchmarking Challenge 中设计了一个基准测试：给 AI 模型若干 API 失败场景（含请求、响应和上下文），要求模型判断是否重试，输出 YES、NO 或 YES_AFTER_DELAY 及一句理由。场景涉及 HTTP 方法、状态码、幂等键、限流等细节，例如带幂等键的 POST /payments 返回 503 时应延迟重试。评分只看决策，不看理由，理由用于判断模型是否真正理解场景。原文未给出具体模型名称和测试结果。
推荐理由做 API 重试和容错逻辑的开发者可以借鉴这套场景设计，用幂等键、状态码组合检验模型判断是否可靠。