本文提供了一份分步指南,用于衡量在难题上额外思考能带来什么收益,以及需要付出什么代价。七个模型,Gemma 4 26B 和 31B、Gemini 3.5 Flash-Lite 和 3.8 Flash,以及 Gemini 4 Hydrogen、Carbon 和 Argon,通过 Gemini API 对同样的 15 道竞赛数学题作答两次:一次使用各自接受的最低思考设置,一次使用最高设置。

https://github.com/xbill9/gemma4-dev/tree/main/docs/gemini-high-vs-low

简而言之:最高思考设置的成本约为最低设置的四倍,而在这些题目上几乎没带来任何收益。


发现

成本。两种设置合计花费 $7.47:最低设置 $1.53,最高设置 $5.95,是前者的 3.9 倍。本次运行的预算按最坏情况 $33.23 编制。

模型 最高 ÷ 最低
Gemini 3.5 Flash-Lite 2.61x
Gemini 4 Argon 3.24x
Gemini 4 Carbon 3.93x
Gemini 3.8 Flash 4.20x
Gemini 4 Hydrogen 4.75x

额外成本来自额外思考:每道题的平均思考 token 数在 Argon 上从 215 增至 4,129,在 Hydrogen 上从 2,468 增至 15,062。在付费模型上,最高设置每道题的耗时也是最低设置的 3.2 到 5.9 倍。

它在 Gemini 4 上带来了什么。什么也没有。Hydrogen、Carbon 和 Argon 在两种设置下都解出了全部 15 道题,因此额外成本换来的仍是同样的 15 个答案。

它在较小模型上带来了什么。Flash-Lite、3.8 Flash 和两个 Gemma 4 模型各自多解出了一到两道题。在 15 道题上,增益需要达到约 35 个百分点,随机性才不再是可能的解释;最大的增益是 13 个百分点,即两道题,因此这些增益可能只是随机波动。

最便宜的正确答案。Argon 在最低设置下,每道题 $0.0162。Hydrogen 和 Carbon 在最高设置下每个正确答案分别花费 $0.1232 和 $0.1297,是前者的 7.6 倍和 8.0 倍,而得分相同。

该如何利用这一点。

  • 🟢 对于 Gemini 4 上的高难度数学题,从最低设置开始。
  • ⚠️ 对于较小的模型,在支付 2.6 到 4.2 倍费用之前,先在你自己的题目上测试最高设置。
  • ⚠️ Carbon 和 Argon 的价格将在 2026-12-01 翻倍,这会进一步拉大差距。

注意事项。一次运行 15 道题只能说明额外思考的成本;它无法对彼此差距在两道题以内完成的模型进行排名。Google 将 Carbon 的最高设置定位为用于调试和架构等长时间多步骤工作,而本次运行并未测试这些。


测量了什么

先前的对比,Gemini 4 还是 Gemma 4?视情况而定。在最低思考设置下运行了 1,319 道 GSM8K 数学题和 400 次 BFCL 函数调用,其中 Argon 得分为 0.9841,Gemma 4 31B 为 0.9735。这些题目足够简单,更多思考几乎没有帮助空间。本次运行使用更难的题目,并覆盖思考范围的两端。

模型 最低设置 最高设置 每 100 万 token 的输出价格
Gemma 4 31B、26B minimal high 免费层
Gemini 3.5 Flash-Lite minimal high $2.50
Gemini 3.8 Flash low high $3.75
Gemini 4 Hydrogen low xhigh $7.50
Gemini 4 Carbon low high $10.00
Gemini 4 Argon low high $10.00

3.8 Flash 或 Gemini 4 模型无法关闭思考,因此它们的最低设置是low。输出价格包含思考 token。Carbon 和 Argon 将于 2026-12-01 涨至每百万输出 token $20。


此时你应该已经……

  • 一个 Gemini API 密钥位于~/gemini.key,位于 Gemini 4 Carbon 和 Argon 模型的付费层
  • Python 3 及huggingface_hub和scipy
  • 一个克隆自gemma4-dev

第 1 步 —— 十五道难题

这些题目是 AIME 2025 I 的全部 15 道,来自opencompass/AIME2025数据集的一个固定修订版本。每个答案都是 0 到 999 的整数。有一个答案公布为336^\circ,读作 336。

cd benchmarks/gen-eval
python3 build_hard_set.py aime
wrote /home/xbill/gemma4-dev/benchmarks/gen-eval/data/aime2025.jsonl: 30 records

该文件包含 AIME 2025 I 和 II,并在data/hard_manifest.json中带有 SHA-256;本次运行使用前 15 道,即试卷 I。评分脚本,benchmarks/gen-eval/gen_eval.py,要求最终答案单独占一行,格式为Answer: <number>,当该数字匹配时即判定回复正确。


第 2 步 —— 每个模型的最高思考级别

Google 的思考页面仅列出了xhigh用于 Hydrogen。每个模型和级别发送一个小请求,以确认 OpenAI 兼容端点接受什么:

docs/gemini-high-vs-low/evidence/top-levels.sh
gemma-4-31b-it         high   ok  thinking 225 answer 27 finish length
gemma-4-26b-a4b-it     high   ok  thinking 253 answer 0 finish length
gemini-3.5-flash-lite  high   ok  thinking 243 answer 9 finish length
gemini-3.8-flash       high   ok  thinking 118 answer 66 finish stop
gemini-4-hydrogen      high   ok  thinking 80 answer 67 finish stop
gemini-4-hydrogen      xhigh  ok  thinking 150 answer 78 finish stop
gemini-4-carbon        high   ok  thinking 253 answer 3 finish length
gemini-4-carbon        xhigh  rejected: Thinking level XHIGH is not supported for this model. Please retry with other thinking level.
gemini-4-argon         high   ok  thinking 241 answer 15 finish length
gemini-4-argon         xhigh  rejected: Thinking level XHIGH is not supported for this model. Please retry with other thinking level.

最低设置是先前运行所使用的:minimal用于 Gemma 和 Flash-Lite,以及low用于 3.8 Flash 和 Gemini 4 模型。Google 将low列为这四个模型的最低级别。本次运行发送reasoning_effort: none,端点接受该值,且先前运行测得它的思考效果与low相同。


第 3 步 —— 运行不可超出的预算

思考本身没有固有的上限。单次请求成本的唯一上限是它的输出限制,因为思考和回答共享这一限制。因此,一次运行的最高成本在开始前就已知:每次回复都用满限制,乘以输出价格,再加上输入。

每个模型都获得相同的限制,32,768 个 token,这是 Carbon 和 Argon 在单次非流式请求中产生的最大值。budget_run.py打印出该最坏情况,拒绝最坏情况超出预算的运行,并将问题以每轮三个的方式同时发送给所有模型,在每轮之前检查已花费加上下一轮的最坏情况。

python3 budget_run.py models-high.json aime2025 aime-high --budget 20 --limit 15 --dry-run
15 questions x 7 models, output limit 32,768: worst case $16.62, budget $20.00

两个设置各 $16.62,最坏情况下为 $33.23,低于合计 $40。


第 4 步——运行两个设置

docs/gemini-high-vs-low/evidence/run.sh high low

每个分支日志的最后一行,aime-high.log和aime-low.log:

{"task": "aime2025", "spent_usd": 5.9455, "budget_usd": 20.0, "worst_case_usd": 16.62, "wall_s": 9749.6}
{"task": "aime2025", "spent_usd": 1.5255, "budget_usd": 20.0, "worst_case_usd": 16.62, "wall_s": 12953.1}

每个请求有 20 分钟限制,最多重试三次。免费层上的两个 Gemma 4 26B 请求在全部四次尝试中都超时,问题 2 在minimal,问题 13 在high;两者都计为错误。每个付费模型在两个设置下都回答了每个问题。


第 5 步——得分

derived.py从保存的回复构建每张表。

模型 答对,最低 答对,最高 在最高设置下的增益 / 损失
Gemma 4 31B 12 13 +2 / −1
Gemma 4 26B 9 11 +4 / −2
Gemini 3.5 Flash-Lite 9 11 +2 / −0
Gemini 3.8 Flash 12 14 +2 / −0
Gemini 4 Hydrogen 🥇 15 🥇 15 +0 / −0
Gemini 4 Carbon 🥇 15 🥇 15 +0 / −0
Gemini 4 Argon 🥇 15 🥇 15 +0 / −0

问题 14 是区分各代模型的那一题:Hydrogen、Carbon 和 Argon 在两个设置下都解出了它,而其他四个模型在两个设置下都未解出。

触及 32,768 token 限制的回复几乎都是 Gemma 的:Gemma 4 26B 在minimal有四次、在high有三次,Gemma 4 31B 各一次和两次,3.8 Flash 在high有一次。在minimalGemma 的回复在写答案时触及限制;在high它们是在思考时触及限制。


第 6 步——额外思考的成本

模型 成本,最低 成本,最高 最高 ÷ 最低 平均思考 token 数,最低 → 最高
Gemini 3.5 Flash-Lite $0.1937 $0.5049 🥇 2.61x 0 → 12,624
Gemini 3.8 Flash $0.2053 $0.8616 4.20x 2,801 → 14,210
Gemini 4 Hydrogen $0.3893 $1.8485 4.75x 2,468 → 15,062
Gemini 4 Carbon $0.4947 $1.9459 3.93x 886 → 11,613
Gemini 4 Argon $0.2425 $0.7847 3.24x 215 → 4,129

成本为全部 15 道题的总和,按 API 返回的 token 数乘以标价计算。

每道正确答案的成本也呈现同样的趋势。在最低设置下,Argon 为 $0.0162,Hydrogen 为 $0.0260,Carbon 为 $0.0330;在最高设置下,分别为 $0.0523、$0.1232 和 $0.1297,对应同样的 15 道正确答案。

Hydrogen 在最低设置下仍会针对这些问题进行思考,平均每道题 2,468 个 token,与它在 GSM8K 上的表现一致。Argon 在两种设置下思考得最少,而且在最高设置下,它的思考量仍少于其他模型在各自设置下的思考量:每道题 4,129 个 token,而其他付费模型为 11,613 至 15,062 个 token。


第 7 步——差异是否大于随机波动?

该审计遵循ablation-stat-auditorresearch-kit 中的 skill,这是一个用于检查研究统计的 Claude Code 插件:对分数在同一组问题上进行精确配对检验,对每道题的输出 token 进行符号秩检验,并计算 95% Wilson 区间,全部在audit_stats.py中计算。

模型 答对题数,最高设置 [95% 区间] 答对题数,最低设置 [95% 区间] 分数的配对检验 输出 token,最高 / 最低
Gemma 4 31B 13 [62.1, 96.3] 12 [54.8, 93.0] p = 1 182,736 / 79,971,p = 6.1e-05
Gemma 4 26B 11 [48.0, 89.1] 9 [35.8, 80.2] p = 0.688 246,381 / 211,934,p = 0.389
Gemini 3.5 Flash-Lite 11 [48.0, 89.1] 9 [35.8, 80.2] p = 0.5 201,684 / 77,200,p = 0.000183
Gemini 3.8 Flash 14 [70.2, 98.8] 12 [54.8, 93.0] p = 0.5 229,292 / 54,290,p = 6.1e-05
Gemini 4 Hydrogen 15 [79.6, 100.0] 15 [79.6, 100.0] p = 1 245,907 / 51,350,p = 6.1e-05
Gemini 4 Carbon 15 [79.6, 100.0] 15 [79.6, 100.0] p = 1 194,037 / 48,915,p = 6.1e-05
Gemini 4 Argon 15 [79.6, 100.0] 15 [79.6, 100.0] p = 1 77,914 / 23,694,p = 6.1e-05

区间是百分比。在 15 道题的情况下,相对于固定分数,增益需要达到约 25 个百分点,或者两次运行之间需要相差 35 个百分点,才能从随机波动中凸显出来。这里最大的增益是两道题,即 13 个百分点。因此,每个模型的分数变化都可能是随机波动,而额外 token 对除 Gemma 4 26B 之外的每个模型都超出了随机波动范围;Gemma 4 26B 在最高设置下于 15 道题中的 11 道上使用了更多 token,因为它有四个最低设置的答案也跑到了上限。这些区间覆盖的是抽取了哪 15 道题,来自每个模型和设置的一次运行;同一运行重复时分数会变动多少并未测量。


第 8 步 — 时间

模型 每题耗时中位数(秒),最低 最高
Gemini 3.5 Flash-Lite 9.8 32.8
Gemini 4 Hydrogen 13.5 73.2
Gemini 4 Argon 18.0 57.4
Gemini 4 Carbon 22.7 134.3
Gemini 3.8 Flash 22.9 96.2
Gemma 4 31B 62.5 291.6
Gemma 4 26B 476.2 358.8

在付费模型上,最高设置耗时是最低设置的 3.2 到 5.9 倍。免费层级的 Gemma 模型在两种设置下都是最慢的,本次运行的时长由它们决定。


🔎 提示:按最坏情况做预算,然后测量真实情况

运行之前,唯一能知道的数字就是最坏情况:题数 × 模型数 × 输出上限 × 价格。这里算出来是 $33.23,而本次运行实际花费了其中的 $7.47。根据预算设定输出上限,并分轮次发送题目,这样一旦停止,每个模型都停在同一批题目上。


对比与对照

最低设置 最高设置
两组,7 个模型 🥇 $1.53 $5.95
Gemini 4 的分数 🥇 15, 15, 15 🥇 15, 15, 15
较小模型的分数 9 到 12 11 到 14
超出随机波动的额外 token — 每个付费模型
耗时中位数,付费模型 🥇 9.8 到 22.9 秒 32.8 到 134.3 秒

1,000 道此类题目会花费多少

根据实测的每题成本,按标价计算:

模型 最低 最高
Gemini 3.5 Flash-Lite $12.91 $33.66
Gemini 3.8 Flash $13.69 $57.44
Gemini 4 Argon $16.16 $52.31
Gemini 4 Hydrogen $25.95 $123.23
Gemini 4 Carbon $32.98 $129.73

按 2026-12-01 的价格,Carbon 变为每 1,000 道 $65.96 和 $259.45,Argon 为 $32.33 和 $104.62。Gemma 4 在免费层级为 $0,但受免费层级的速度和速率限制。


那么,选哪一个?

对于 Gemini 4 模型上的高难度数学题,请从最低设置开始。Hydrogen、Carbon 和 Argon 在该设置下解出了全部 15 道题,而最高设置为了得到相同的答案,成本增加了 3.24 到 4.75 倍,时间增加了 3.2 到 5.9 倍。

对于较小的模型,最高设置各自多解出了一到两道题,在 15 道题上太少,无法排除偶然性,而 Flash-Lite 的成本为 2.61 倍,3.8 Flash 为 4.20 倍。在为此付费之前,请先在你自己的问题上进行测量。

在这组题上,每道正确答案成本最低的是最低设置下的 Argon:$0.0162。它在最高设置下的思考量也最少。

Google 将 Carbon 的最高设置定位用于高难度、多步骤的工作,例如架构设计、调试和安全审计。所有 Gemini 4 模型在最低设置下都能解出的 15 道数学题,并未测试到这种情况。


总结

本文的目标是衡量最高思考设置在难题上能带来什么,以及它的成本是多少。解决方案的关键是在相同的 15 道 AIME 2025 题上,让全部七个模型在其思考范围的两端运行,且预算的最坏情况在第一次请求之前就已确定。结果如下:

  • 🟢 Hydrogen、Carbon 和 Argon 在最低和最高设置下都解出了全部 15 道题。
  • ⚠️ 在每个付费模型上,最高设置的成本是最低设置的 2.61 到 4.75 倍,全部七个模型合计为 $5.95 对 $1.53。
  • ⚠️ 在 15 道题上,没有任何模型的分数变化大到足以排除偶然性;最大的提升是两道题。
  • 🟢 Argon 的每道正确答案成本最低,在其最低设置下为 $0.0162。
  • 🟢 整个试点花费 $7.47,而最坏情况为 $33.23。
  • ⚠️ 在付费模型上,最高设置每道题耗时是最低设置的 3.2 到 5.9 倍。
  • ❌ 免费层级的 Gemma 4 26B 超时两次,并七次达到输出上限。
  • ⚠️ Carbon 和 Argon 的成本将在 2026-12-01 翻倍。

范围:美国的一台笔记本电脑在 2026-11-15 调用 Gemini API,每个模型和设置运行一次,temperature 为 0,所有模型使用相同的 32,768 token 输出上限,题目为 AIME 2025 I 的 15 道题。15 道题可以显示额外思考的成本,但无法对彼此得分相差两道题以内的模型进行排名。成本为 token 数量乘以标价。时间包括等待服务的时间,并会随其负载变化。Google 未说明这些模型由何种硬件或引擎提供服务。

在固定预算下衡量高思考与低思考的策略,通过增量式逐步方法得到了验证。


参考文献

希望你喜欢!