Karpathy 分享「陆地还是水域」评测:LLM 凭经纬度判断海陆
Karpathy 在 X 上介绍了一个简单评测:给 LLM 一个经纬度坐标文本,只问「Land or Water?」,重复 16,200 次后把结果画成图。他表示模型能答对,这种能力来自对互联网数据的压缩。该帖引用了 @celestepoasts 发布的各版本 Claude 测试结果图。原文未给出具体准确率数字。
推荐理由一个零成本可复现的评测玩法,用 1.6 万个坐标点就能直观看出模型的空间知识边界
Karpathy 在 X 上介绍了一个简单评测:给 LLM 一个经纬度坐标文本,只问「Land or Water?」,重复 16,200 次后把结果画成图。他表示模型能答对,这种能力来自对互联网数据的压缩。该帖引用了 @celestepoasts 发布的各版本 Claude 测试结果图。原文未给出具体准确率数字。
推荐理由一个零成本可复现的评测玩法,用 1.6 万个坐标点就能直观看出模型的空间知识边界