研究 Qwen3.8 27B 用文字做加法 —— 一项基准测试检验了本地 `Qwen3.8-27B-Q4_K_M.gguf` 模型能否将正整数相加，并仅用英文单词表达精确结果，使用了 5,070 个禁用推理的案例，以及与中等推理配对的 169 个案例进行对比。在禁用推理的情况下，它达到了 23.57% 的数值准确率，性能从一至三位操作数的 97.04% 下降到十至十三位操作数的 6.44%，尽管格式合规率达到了 96.17%。
Colin Frasier在 Bluesky 上发帖讲述他两年多前做的一个实验，用 GPT-4o 来测试它在越来越大的数字上能多好地“计算总和但用文字返回答案”。以下是他分享的那些结果图表：
我相信 GPT-4o 没有作弊使用计算器，尤其是因为它算错了那么多，但我受到启发，在本地硬件（一台 DGX Spark）上重新运行了这个实验，以在完全受控的环境中探究这一效应。
我把他的图片粘贴到一个 Codex Remote 会话（GPT-6 Astra）中，让它使用Qwen3.8-27B-Q4_K_M.gguf运行同样的实验。以下是禁用推理时每个组合运行 30 次尝试的结果：
然后我在启用推理的情况下又运行了一次。这花费了长得多的时间每个组合，所以我没有每个方格运行 30 个样本，而是只运行了一个——这导致热力图在视觉上远没有那么美观，因为每个方格要么是 100% 要么是 0%：
它在 169 次尝试中答对了 167 次，而且由于这些都是一次性的，我相信再运行一次会产生不同的结果。
这里是报告的一个版本其中包含了一些较大计算中的推理轨迹，里面有这样的文本：
Wait, let me redo this more carefully.
4,299,366,105,622
6,088,794,067,970
Let me align them:
4 2 9 9 3 6 6 1 0 5 6 2 2
6 0 8 8 7 9 4 0 6 7 9 7 0
Adding from right to left:
Position 1 (units): 2 + 0 = 2
Position 2 (tens): 2 + 7 = 9
Position 3 (hundreds): 6 + 9 = 15, write 5, carry 1