很酷的评测。只需问 LLM“陆地还是水域?”,并以文本形式给它一个经纬度坐标。问 16,200 次,绘制成图像。模型知道答案。来自对互联网的压缩。
[引用 @celestepoasts] 所有 claude 的结果 https://t.co/bS5jvCC2YJ
原题:Cool eval.
Karpathy 在 X 上介绍了一个简单评测:给 LLM 一个经纬度坐标文本,只问「Land or Water?」,重复 16,200 次后把结果画成图。他表示模型能答对,这种能力来自对互联网数据的压缩。该帖引用了 @celestepoasts 发布的各版本 Claude 测试结果图。原文未给出具体准确率数字。
推荐理由一个零成本可复现的评测玩法,用 1.6 万个坐标点就能直观看出模型的空间知识边界
很酷的评测。只需问 LLM“陆地还是水域?”,并以文本形式给它一个经纬度坐标。问 16,200 次,绘制成图像。模型知道答案。来自对互联网的压缩。
[引用 @celestepoasts] 所有 claude 的结果 https://t.co/bS5jvCC2YJ
本文内容转载自 X @karpathy,由 AI(deepseek-chat)翻译整理,版权归原作者所有。
阅读原文 ↗ https://x.com/karpathy/status/2105909609487872075X @karpathy · 10/02 14:35 · 热度 3232 · 已取全文
标题与摘要由 AI(deepseek-chat)改写,可能有误,以原文为准。