本文提供了一份分步指南,介绍如何衡量在本地 GPU 上,思考为一个小模型带来了什么,以及在时间上付出了什么代价。Gemma 4 E2B 通过 llama.cpp 在 8 GB 的 RTX 3050 上运行,在关闭思考和开启思考两种情况下,对同一份 QAT 权重的两个 4-bit 构建(各自带与不带 drafter)回答每一道 GSM8K 测试题以及全部 30 道 AIME 2025 题目。
https://github.com/xbill9/gemma4-dev/tree/main/docs/gemma4-e2b-thinking-3050
简而言之:思考让 GSM8K 上的耗时翻倍,而分数变化均未超出随机波动;drafter 则几乎将耗时减半,且分数完全没有变化。
发现
思考的代价。在 GSM8K 上,开启思考后每道题生成的 token 数是原来的 2.15 到 2.22 倍,耗时是原来的 2.18 到 2.31 倍。在 AIME 上,耗时是原来的 1.44 到 1.71 倍。
思考带来了什么。没有任何可测量的收益。在四种配置下,GSM8K 的分数变化分别为 −11、−1、+12 和 +18 道题,且均未通过配对检验(p = 0.0982 到 1.0)。AIME 提升了零到四道题,同样在随机波动范围内。
drafter 带来了什么。使用 Google 的 QAT drafter 后,每个单元格的完成时间都快了 1.55 到 2.04 倍,在 GSM8K 上使用 repack 时生成速度为每秒 195.1 个 token,对比 109.2 个 token。在八项配对检验中,分数变化均未超出随机波动。
两个权重构建。精确的 Q4_0 repack 与 Google 的 QAT Q4_0 文件在每一项配对检验中得分持平。repack 为 2.62 GB,对比 3.35 GB;加载占用 3,610 MiB,对比 4,306 MiB;生成速度快 6.5% 到 9.7%。
该如何使用。
- 🟢 用 drafter 部署 E2B。这是这里唯一一项每次都能带来收益的改动。
- ⚠️ 在 E2B 上做小学水平的数学题时保持思考关闭;对于高难度数学,先在你自己的题目上测量。
- 🟢 两种 4-bit QAT 构建给出的答案相同;repack 更小也更快。
注意事项。每种设置只运行一次,temperature 为 0。AIME 的 30 道题只能显示出较大的效应。
测量了什么
早先的文章,高思考还是低思考?将托管的 Gemini 和 Gemma 模型分别设置为最低和最高的思考设置。在本地 GPU 上,账单是时间而不是金钱,而 Gemma 4 的聊天模板只有两个思考设置:关闭和开启。
其余一切保持不变。一个模型 Gemma 4 E2B,一张卡,交叉三个因素:
| 因素 | 设置 |
|---|---|
| 思考 | 关闭、开启(enable_thinking在聊天模板中) |
| 权重 | Google QAT 权重的精确 Q4_0 重新打包、Google 的 QAT Q4_0 GGUF |
| 草稿模型 | 无、Google 的 E2B QAT 助手作为精确 Q4_0、草拟 2 个 token |
| 问题 | GSM8K 测试,1,319;AIME 2025 I 和 II,30 |
即 16 次运行,18.81 小时 GPU 时间,每条回复都已保存。
此时你应该已经具备……
- 一张 8 GB 的 NVIDIA 显卡,这里是驱动 615.78.08 上的 RTX 3050 OEM
- 用 CUDA 构建的 llama.cpp,这里是 commit
7182ef71e - Python 3 及
huggingface_hub,tokenizers和scipy - 一个克隆的gemma4-dev
第 1 步 — 同一权重的两个构建,以及一个草稿模型
Google 训练 Gemma 4 E2B 以 4 比特运行(量化感知训练,QAT),并以 Q4_0 GGUF 发布。重新打包版本,xbill9/gemma-4-E2B-it-qat-q4_0-exact-gguf,将相同的 QAT 4 比特值存储在更小的文件中。
| 文件 | 字节 | 服务时的显存占用 |
|---|---|---|
重新打包,gemma-4-E2B-it-q4_0-exact.gguf
|
2,620,370,912 | 3,610 MiB |
Google,gemma-4-E2B_q4_0-it.gguf
|
3,349,516,256 | 4,306 MiB |
草稿模型,gemma-4-E2B-it-qat-assistant-q4_0-exact.gguf
|
59,236,000 | +192 MiB |
草稿模型是 Google 的小型 E2B QAT 助手模型,以精确 Q4_0 存储。它猜测接下来的两个 token,主模型在一个步骤中校验它们,因此被接受的猜测以一个步骤的代价产出。
每次运行都以相同方式服务:完整的 131,072 token 上下文,一次一个请求,温度 0,每条回复限制 32,768 token,包含思考。
第 2 步 — 运行全部十六次
cd local-llamacpp-3050oem-2b-q4_0/benchmarks/runs/2026-11-16-thinking-e2b-3050oem
setsid nohup ./run.sh > nohup.out 2>&1 < /dev/null &
run.sh为每对权重和草稿模型启动一次服务器,并在其上运行四个单元格:GSM8K 思考关闭、AIME 关闭、AIME 开启、GSM8K 开启。评分脚本要求在其最后一行给出最终答案作为Answer: <number>并在该数字匹配时将回复标记为正确。每条回复在完成时保存,因此resume.sh会从停止处继续一次已停止的运行。
运行自身的日志,driver.log,每个单元格显示一行:
2026-11-16 17:04:42 64, 1890 MHz END gsm8k repack-none thinking=off rc=0 {"task": "gsm8k", "max_tokens": 32768, "n": 1319, "right": 1189, "accuracy": 0.9014, "errors": 0, "truncated": 0, ...
第一个单元格 0.9014,与同一构建在 10 月于这张卡上关闭思考时的得分一致,当时回复限制为 2,048 token。
第 3 步 — 得分
analyze.py从保存的回复构建每张表。
GSM8K,1,319 道题
| 权重 | 草稿模型 | 思考关闭 | 思考开启 |
|---|---|---|---|
| 重新打包 | 无 | 0.9014 | 0.8931 |
| 重新打包 | 是 | 0.9007 | 0.8999 |
| 无 | 0.8916 | 🥇 0.9052 | |
| 是 | 0.8908 | 0.8999 |
全部八个都位于 0.8908 和 0.9052 之间,且每个 95% 区间都与其他所有区间重叠。
AIME 2025,30 道题,答对题数
| 权重 | 草稿模型 | 思考关闭 | 思考开启 |
|---|---|---|---|
| 重新打包 | 无 | 7 | 🥇 10 |
| 重新打包 | 是 | 7 | 🥇 10 |
| 无 | 6 | 6 | |
| 是 | 5 | 9 |
每个单元格中有 2 到 5 条 AIME 回复触及 32,768 token 上限,计为错误。关闭思考时,它们在写答案的过程中耗尽;开启思考时,它们在仍在思考时耗尽。有一条 GSM8K 回复也是如此,且是在开启思考时。
第 4 步 — token 都去哪了
tokens.py用 Gemma 4 E2B 的分词器统计每条已保存回复中的思考 token 和答案 token。除固定的回合结束标记和思考标记外,其计数在每条回复上都与服务器一致。
| GSM8K 关闭 | GSM8K 开启 | AIME 关闭 | AIME 开启 | |
|---|---|---|---|---|
| 思考 token,均值 | 0 | 601 到 615 | 0 | 7,668 到 10,240 |
| 答案 token,均值 | 399 到 408 | 270 到 280 | 5,812 到 6,548 | 846 到 1,105 |
思考把解题过程从答案转移到了思考文本中。在 GSM8K 上,答案缩短约三分之一,并在其前面新增约 600 个思考 token。在 AIME 上关闭思考时,E2B 在答案本身中解题,每条回复 5,812 到 6,548 个 token;开启思考时,这部分解题过程转移到思考文本中并变长。
在 1,319 道 GSM8K 题目中的 1,301 到 1,307 道上,以及 30 道 AIME 题目中的 26 道上,开启思考在每种配置下都使用了更多 token,远超随机水平(八项配置的符号秩 p 均低于 0.0012)。
第 5 步 — 时间与草稿模型
| 权重 | 草稿模型 | GSM8K 关闭 | GSM8K 开启 | AIME 关闭 | AIME 开启 |
|---|---|---|---|---|---|
| 重新打包 | 无 | 1.36 h | 3.15 h | 0.53 h | 0.80 h |
| 重新打包 | 是 | 🥇 0.77 h | 1.69 h | 🥇 0.26 h | 0.40 h |
| 无 | 1.52 h | 3.32 h | 0.58 h | 0.83 h | |
| 是 | 0.84 h | 1.89 h | 0.31 h | 0.54 h |
草稿模型让每个单元格快了 1.55 到 2.04 倍。主模型在 GSM8K 上接受了 0.80 的草稿 token,在 AIME 上接受了 0.83 到 0.86,GSM8K 生成速度从 99.1–109.2 token/秒提升到 178.4–195.1。
每道题上,使用重新打包、草稿模型并关闭思考时,GSM8K 耗时 2.11 秒;使用 Google 的文件、无草稿模型并开启思考时,耗时 9.05 秒。
第 6 步 — 有哪个差异大于随机水平?
每个单元格都运行了相同的题目,因此每次比较都是针对一种设置答对而另一种设置答错的题目进行的精确配对检验。
| 比较,GSM8K | 仅之前答对 | 仅之后答对 | p |
|---|---|---|---|
| 开启思考,重新打包,无草稿模型 | 51 | 40 | 0.2945 |
| 开启思考,重新打包,草稿模型 | 40 | 39 | 1.0000 |
| 开启思考,Google,无草稿模型 | 44 | 62 | 0.0982 |
| 开启思考,Google,草稿模型 | 42 | 54 | 0.2615 |
| 草稿模型,最大变化 | 34 | 27 | 0.4426 |
| Google 而非 repack,变化最大 | 29 | 45 | 0.0805 |
在每种设置下,思考让 79 到 106 道 GSM8K 题目的答案发生改变,且两个方向都有,胜负结果接近持平。在 AIME 上,没有任何比较的结果优于 p = 0.125。24 项测试的完整表格见RESULTS.md。
🔎 提示:在开启思考之前先开启 Drafter
两者都会改变回答所需的时间。Drafter 带来了 1.55 到 2.04 倍的加速,且未超出随机范围地改变任何答案;思考则耗费了 1.44 到 2.31 倍的时间,同样未超出随机范围地带来任何答案改善。如果一个小型本地模型要思考,就为它配一个 Drafter,这样额外产生的 token 就能以接近两倍的速度输出。
对比与比较
| 思考关闭 | 思考开启 | |
|---|---|---|
| GSM8K 分数范围 | 0.8908 到 0.9014 | 0.8931 到 0.9052 |
| AIME 答对,共 30 题 | 5 到 7 | 6 到 10 |
| GSM8K 时间,使用 Drafter | 🥇 0.77 到 0.84 小时 | 1.69 到 1.89 小时 |
| 每道 GSM8K 题目的思考 token 数 | 🥇 0 | 601 到 615 |
| 超出随机范围的分数变化 | — | 无 |
| Repack | Google 文件 | |
|---|---|---|
| 文件大小 | 🥇 2.62 GB | 3.35 GB |
| 显存占用,无 Drafter | 🥇 3,610 MiB | 4,306 MiB |
| 生成速度 | 🥇 快 6.5 到 9.7 个百分点 | — |
| 分数 | 水平 | 水平 |
那么,选哪个?
对于小 GPU 上的 Gemma 4 E2B,请开启 Drafter。它在两种构建和两项任务上把每次运行的时间缩短了 1.55 到 2.04 倍,仅消耗 192 MiB 显存,且未改变任何分数。
小学数学请保持思考关闭。在 GSM8K 上它使时间翻倍,而分数变化未超出随机范围,在一种构建上下降,在另一种上上升。
在难题数学上,开启思考使 AIME 答对题数增加零到四道。在 30 道题上这可能是随机波动;在付出 1.44 到 1.71 倍时间之前,请先在你自己的难题上测量。
在两种 4-bit 构建之间,选择 repack:答案相同、文件更小、显存占用更少、生成更快。
总结
本文的目标是测量思考在本地 GPU 上为 Gemma 4 E2B 带来了什么,以及在时间上付出了什么代价。解决方案的关键是固定模型和显卡,将思考与权重构建和 Drafter 交叉组合,在每个单元格中使用相同的 1,349 道题。结果如下:
- ⚠️ 思考在 GSM8K 上耗时增加到 2.18 到 2.31 倍,在 AIME 上增加到 1.44 到 1.71 倍。
- ❌ 没有任何思考带来的分数变化超出随机范围:GSM8K 为 −11 到 +18 道题,AIME 为零到四道题。
- 🟢 草稿模型让每次运行快了 1.55 到 2.04 倍,且分数变化未超出随机波动范围。
- 🟢 精确的 Q4_0 重打包与 Google 的 QAT 文件得分持平;重打包版本小 0.73 GB,快 6.5 到 9.7 个百分点。
- ⚠️ 关闭思考后,E2B 会把推理过程写进答案:每条 AIME 回复 5,812 到 6,548 个 token。
- ⚠️ 每次运行有 2 到 5 条 AIME 回复触及 32,768 token 上限。
范围:一台台式机中的一块 8 GB 的 RTX 3050 OEM,llama.cpp7182ef71e,仅 Gemma 4 E2B,2026-11-16 和 17 各运行 16 种设置各一次,temperature 为 0,一次一个请求,完整 131,072 token 上下文窗口,32,768 token 回复上限。GSM8K 为全部 1,319 道测试题,AIME 2025 为试卷 I 和 II。时间针对此显卡,会随频率和温度变化;更大的模型 E4B 和 12B 另行测量。
在本地 GPU 上衡量思考与草稿模型对比的策略,通过逐步增量方法得到了验证。
参考文献
- GitHub 上的 gemma4-dev
- 本次运行:回复、日志、分析
- 评分脚本
- 高思考还是低思考?Gemini 4 与 Gemma 4 在难题上的表现,成本优先
- Gemma 4 E2B QAT 的精确 Q4_0 重打包
- Google 的 Gemma 4 E2B QAT Q4_0 GGUF
- 精确 Q4_0 E2B QAT 草稿模型
- llama.cpp
希望你喜欢!