本文提供了一份分步指南,用于衡量在难题上额外思考能带来什么收益,以及需要付出什么代价。七个模型,Gemma 4 26B 和 31B、Gemini 3.5 Flash-Lite 和 3.8 Flash,以及 Gemini 4 Hydrogen、Carbon 和 Argon,通过 Gemini API 对同样的 15 道竞赛数学题作答两次:一次使用各自接受的最低思考设置,一次使用最高设置。
https://github.com/xbill9/gemma4-dev/tree/main/docs/gemini-high-vs-low
简而言之:最高思考设置的成本约为最低设置的四倍,而在这些题目上几乎没带来任何收益。
发现
成本。两种设置合计花费 $7.47:最低设置 $1.53,最高设置 $5.95,是前者的 3.9 倍。本次运行的预算按最坏情况 $33.23 编制。
| 模型 | 最高 ÷ 最低 |
|---|---|
| Gemini 3.5 Flash-Lite | 2.61x |
| Gemini 4 Argon | 3.24x |
| Gemini 4 Carbon | 3.93x |
| Gemini 3.8 Flash | 4.20x |
| Gemini 4 Hydrogen | 4.75x |
额外成本来自额外思考:每道题的平均思考 token 数在 Argon 上从 215 增至 4,129,在 Hydrogen 上从 2,468 增至 15,062。在付费模型上,最高设置每道题的耗时也是最低设置的 3.2 到 5.9 倍。
它在 Gemini 4 上带来了什么。什么也没有。Hydrogen、Carbon 和 Argon 在两种设置下都解出了全部 15 道题,因此额外成本换来的仍是同样的 15 个答案。
它在较小模型上带来了什么。Flash-Lite、3.8 Flash 和两个 Gemma 4 模型各自多解出了一到两道题。在 15 道题上,增益需要达到约 35 个百分点,随机性才不再是可能的解释;最大的增益是 13 个百分点,即两道题,因此这些增益可能只是随机波动。
最便宜的正确答案。Argon 在最低设置下,每道题 $0.0162。Hydrogen 和 Carbon 在最高设置下每个正确答案分别花费 $0.1232 和 $0.1297,是前者的 7.6 倍和 8.0 倍,而得分相同。
该如何利用这一点。
- 🟢 对于 Gemini 4 上的高难度数学题,从最低设置开始。
- ⚠️ 对于较小的模型,在支付 2.6 到 4.2 倍费用之前,先在你自己的题目上测试最高设置。
- ⚠️ Carbon 和 Argon 的价格将在 2026-12-01 翻倍,这会进一步拉大差距。
注意事项。一次运行 15 道题只能说明额外思考的成本;它无法对彼此差距在两道题以内完成的模型进行排名。Google 将 Carbon 的最高设置定位为用于调试和架构等长时间多步骤工作,而本次运行并未测试这些。
测量了什么
先前的对比,Gemini 4 还是 Gemma 4?视情况而定。在最低思考设置下运行了 1,319 道 GSM8K 数学题和 400 次 BFCL 函数调用,其中 Argon 得分为 0.9841,Gemma 4 31B 为 0.9735。这些题目足够简单,更多思考几乎没有帮助空间。本次运行使用更难的题目,并覆盖思考范围的两端。
| 模型 | 最低设置 | 最高设置 | 每 100 万 token 的输出价格 |
|---|---|---|---|
| Gemma 4 31B、26B | minimal |
high |
免费层 |
| Gemini 3.5 Flash-Lite | minimal |
high |
$2.50 |
| Gemini 3.8 Flash | low |
high |
$3.75 |
| Gemini 4 Hydrogen | low |
xhigh |
$7.50 |
| Gemini 4 Carbon | low |
high |
$10.00 |
| Gemini 4 Argon | low |
high |
$10.00 |
3.8 Flash 或 Gemini 4 模型无法关闭思考,因此它们的最低设置是low。输出价格包含思考 token。Carbon 和 Argon 将于 2026-12-01 涨至每百万输出 token $20。
此时你应该已经……
- 一个 Gemini API 密钥位于
~/gemini.key,位于 Gemini 4 Carbon 和 Argon 模型的付费层 - Python 3 及
huggingface_hub和scipy - 一个克隆自gemma4-dev
第 1 步 —— 十五道难题
这些题目是 AIME 2025 I 的全部 15 道,来自opencompass/AIME2025数据集的一个固定修订版本。每个答案都是 0 到 999 的整数。有一个答案公布为336^\circ,读作 336。
cd benchmarks/gen-eval
python3 build_hard_set.py aime
wrote /home/xbill/gemma4-dev/benchmarks/gen-eval/data/aime2025.jsonl: 30 records
该文件包含 AIME 2025 I 和 II,并在data/hard_manifest.json中带有 SHA-256;本次运行使用前 15 道,即试卷 I。评分脚本,benchmarks/gen-eval/gen_eval.py,要求最终答案单独占一行,格式为Answer: <number>,当该数字匹配时即判定回复正确。
第 2 步 —— 每个模型的最高思考级别
Google 的思考页面仅列出了xhigh用于 Hydrogen。每个模型和级别发送一个小请求,以确认 OpenAI 兼容端点接受什么:
docs/gemini-high-vs-low/evidence/top-levels.sh
gemma-4-31b-it high ok thinking 225 answer 27 finish length
gemma-4-26b-a4b-it high ok thinking 253 answer 0 finish length
gemini-3.5-flash-lite high ok thinking 243 answer 9 finish length
gemini-3.8-flash high ok thinking 118 answer 66 finish stop
gemini-4-hydrogen high ok thinking 80 answer 67 finish stop
gemini-4-hydrogen xhigh ok thinking 150 answer 78 finish stop
gemini-4-carbon high ok thinking 253 answer 3 finish length
gemini-4-carbon xhigh rejected: Thinking level XHIGH is not supported for this model. Please retry with other thinking level.
gemini-4-argon high ok thinking 241 answer 15 finish length
gemini-4-argon xhigh rejected: Thinking level XHIGH is not supported for this model. Please retry with other thinking level.
最低设置是先前运行所使用的:minimal用于 Gemma 和 Flash-Lite,以及low用于 3.8 Flash 和 Gemini 4 模型。Google 将low列为这四个模型的最低级别。本次运行发送reasoning_effort: none,端点接受该值,且先前运行测得它的思考效果与low相同。
第 3 步 —— 运行不可超出的预算
思考本身没有固有的上限。单次请求成本的唯一上限是它的输出限制,因为思考和回答共享这一限制。因此,一次运行的最高成本在开始前就已知:每次回复都用满限制,乘以输出价格,再加上输入。
每个模型都获得相同的限制,32,768 个 token,这是 Carbon 和 Argon 在单次非流式请求中产生的最大值。budget_run.py打印出该最坏情况,拒绝最坏情况超出预算的运行,并将问题以每轮三个的方式同时发送给所有模型,在每轮之前检查已花费加上下一轮的最坏情况。
python3 budget_run.py models-high.json aime2025 aime-high --budget 20 --limit 15 --dry-run
15 questions x 7 models, output limit 32,768: worst case $16.62, budget $20.00
两个设置各 $16.62,最坏情况下为 $33.23,低于合计 $40。
第 4 步——运行两个设置
docs/gemini-high-vs-low/evidence/run.sh high low
每个分支日志的最后一行,aime-high.log和aime-low.log:
{"task": "aime2025", "spent_usd": 5.9455, "budget_usd": 20.0, "worst_case_usd": 16.62, "wall_s": 9749.6}
{"task": "aime2025", "spent_usd": 1.5255, "budget_usd": 20.0, "worst_case_usd": 16.62, "wall_s": 12953.1}
每个请求有 20 分钟限制,最多重试三次。免费层上的两个 Gemma 4 26B 请求在全部四次尝试中都超时,问题 2 在minimal,问题 13 在high;两者都计为错误。每个付费模型在两个设置下都回答了每个问题。
第 5 步——得分
derived.py从保存的回复构建每张表。
| 模型 | 答对,最低 | 答对,最高 | 在最高设置下的增益 / 损失 |
|---|---|---|---|
| Gemma 4 31B | 12 | 13 | +2 / −1 |
| Gemma 4 26B | 9 | 11 | +4 / −2 |
| Gemini 3.5 Flash-Lite | 9 | 11 | +2 / −0 |
| Gemini 3.8 Flash | 12 | 14 | +2 / −0 |
| Gemini 4 Hydrogen | 🥇 15 | 🥇 15 | +0 / −0 |
| Gemini 4 Carbon | 🥇 15 | 🥇 15 | +0 / −0 |
| Gemini 4 Argon | 🥇 15 | 🥇 15 | +0 / −0 |
问题 14 是区分各代模型的那一题:Hydrogen、Carbon 和 Argon 在两个设置下都解出了它,而其他四个模型在两个设置下都未解出。
触及 32,768 token 限制的回复几乎都是 Gemma 的:Gemma 4 26B 在minimal有四次、在high有三次,Gemma 4 31B 各一次和两次,3.8 Flash 在high有一次。在minimalGemma 的回复在写答案时触及限制;在high它们是在思考时触及限制。
第 6 步——额外思考的成本
| 模型 | 成本,最低 | 成本,最高 | 最高 ÷ 最低 | 平均思考 token 数,最低 → 最高 |
|---|---|---|---|---|
| Gemini 3.5 Flash-Lite | $0.1937 | $0.5049 | 🥇 2.61x | 0 → 12,624 |
| Gemini 3.8 Flash | $0.2053 | $0.8616 | 4.20x | 2,801 → 14,210 |
| Gemini 4 Hydrogen | $0.3893 | $1.8485 | 4.75x | 2,468 → 15,062 |
| Gemini 4 Carbon | $0.4947 | $1.9459 | 3.93x | 886 → 11,613 |
| Gemini 4 Argon | $0.2425 | $0.7847 | 3.24x | 215 → 4,129 |
成本为全部 15 道题的总和,按 API 返回的 token 数乘以标价计算。
每道正确答案的成本也呈现同样的趋势。在最低设置下,Argon 为 $0.0162,Hydrogen 为 $0.0260,Carbon 为 $0.0330;在最高设置下,分别为 $0.0523、$0.1232 和 $0.1297,对应同样的 15 道正确答案。
Hydrogen 在最低设置下仍会针对这些问题进行思考,平均每道题 2,468 个 token,与它在 GSM8K 上的表现一致。Argon 在两种设置下思考得最少,而且在最高设置下,它的思考量仍少于其他模型在各自设置下的思考量:每道题 4,129 个 token,而其他付费模型为 11,613 至 15,062 个 token。
第 7 步——差异是否大于随机波动?
该审计遵循ablation-stat-auditorresearch-kit 中的 skill,这是一个用于检查研究统计的 Claude Code 插件:对分数在同一组问题上进行精确配对检验,对每道题的输出 token 进行符号秩检验,并计算 95% Wilson 区间,全部在audit_stats.py中计算。
| 模型 | 答对题数,最高设置 [95% 区间] | 答对题数,最低设置 [95% 区间] | 分数的配对检验 | 输出 token,最高 / 最低 |
|---|---|---|---|---|
| Gemma 4 31B | 13 [62.1, 96.3] | 12 [54.8, 93.0] | p = 1 | 182,736 / 79,971,p = 6.1e-05 |
| Gemma 4 26B | 11 [48.0, 89.1] | 9 [35.8, 80.2] | p = 0.688 | 246,381 / 211,934,p = 0.389 |
| Gemini 3.5 Flash-Lite | 11 [48.0, 89.1] | 9 [35.8, 80.2] | p = 0.5 | 201,684 / 77,200,p = 0.000183 |
| Gemini 3.8 Flash | 14 [70.2, 98.8] | 12 [54.8, 93.0] | p = 0.5 | 229,292 / 54,290,p = 6.1e-05 |
| Gemini 4 Hydrogen | 15 [79.6, 100.0] | 15 [79.6, 100.0] | p = 1 | 245,907 / 51,350,p = 6.1e-05 |
| Gemini 4 Carbon | 15 [79.6, 100.0] | 15 [79.6, 100.0] | p = 1 | 194,037 / 48,915,p = 6.1e-05 |
| Gemini 4 Argon | 15 [79.6, 100.0] | 15 [79.6, 100.0] | p = 1 | 77,914 / 23,694,p = 6.1e-05 |
区间是百分比。在 15 道题的情况下,相对于固定分数,增益需要达到约 25 个百分点,或者两次运行之间需要相差 35 个百分点,才能从随机波动中凸显出来。这里最大的增益是两道题,即 13 个百分点。因此,每个模型的分数变化都可能是随机波动,而额外 token 对除 Gemma 4 26B 之外的每个模型都超出了随机波动范围;Gemma 4 26B 在最高设置下于 15 道题中的 11 道上使用了更多 token,因为它有四个最低设置的答案也跑到了上限。这些区间覆盖的是抽取了哪 15 道题,来自每个模型和设置的一次运行;同一运行重复时分数会变动多少并未测量。
第 8 步 — 时间
| 模型 | 每题耗时中位数(秒),最低 | 最高 |
|---|---|---|
| Gemini 3.5 Flash-Lite | 9.8 | 32.8 |
| Gemini 4 Hydrogen | 13.5 | 73.2 |
| Gemini 4 Argon | 18.0 | 57.4 |
| Gemini 4 Carbon | 22.7 | 134.3 |
| Gemini 3.8 Flash | 22.9 | 96.2 |
| Gemma 4 31B | 62.5 | 291.6 |
| Gemma 4 26B | 476.2 | 358.8 |
在付费模型上,最高设置耗时是最低设置的 3.2 到 5.9 倍。免费层级的 Gemma 模型在两种设置下都是最慢的,本次运行的时长由它们决定。
🔎 提示:按最坏情况做预算,然后测量真实情况
运行之前,唯一能知道的数字就是最坏情况:题数 × 模型数 × 输出上限 × 价格。这里算出来是 $33.23,而本次运行实际花费了其中的 $7.47。根据预算设定输出上限,并分轮次发送题目,这样一旦停止,每个模型都停在同一批题目上。
对比与对照
| 最低设置 | 最高设置 | |
|---|---|---|
| 两组,7 个模型 | 🥇 $1.53 | $5.95 |
| Gemini 4 的分数 | 🥇 15, 15, 15 | 🥇 15, 15, 15 |
| 较小模型的分数 | 9 到 12 | 11 到 14 |
| 超出随机波动的额外 token | — | 每个付费模型 |
| 耗时中位数,付费模型 | 🥇 9.8 到 22.9 秒 | 32.8 到 134.3 秒 |
1,000 道此类题目会花费多少
根据实测的每题成本,按标价计算:
| 模型 | 最低 | 最高 |
|---|---|---|
| Gemini 3.5 Flash-Lite | $12.91 | $33.66 |
| Gemini 3.8 Flash | $13.69 | $57.44 |
| Gemini 4 Argon | $16.16 | $52.31 |
| Gemini 4 Hydrogen | $25.95 | $123.23 |
| Gemini 4 Carbon | $32.98 | $129.73 |
按 2026-12-01 的价格,Carbon 变为每 1,000 道 $65.96 和 $259.45,Argon 为 $32.33 和 $104.62。Gemma 4 在免费层级为 $0,但受免费层级的速度和速率限制。
那么,选哪一个?
对于 Gemini 4 模型上的高难度数学题,请从最低设置开始。Hydrogen、Carbon 和 Argon 在该设置下解出了全部 15 道题,而最高设置为了得到相同的答案,成本增加了 3.24 到 4.75 倍,时间增加了 3.2 到 5.9 倍。
对于较小的模型,最高设置各自多解出了一到两道题,在 15 道题上太少,无法排除偶然性,而 Flash-Lite 的成本为 2.61 倍,3.8 Flash 为 4.20 倍。在为此付费之前,请先在你自己的问题上进行测量。
在这组题上,每道正确答案成本最低的是最低设置下的 Argon:$0.0162。它在最高设置下的思考量也最少。
Google 将 Carbon 的最高设置定位用于高难度、多步骤的工作,例如架构设计、调试和安全审计。所有 Gemini 4 模型在最低设置下都能解出的 15 道数学题,并未测试到这种情况。
总结
本文的目标是衡量最高思考设置在难题上能带来什么,以及它的成本是多少。解决方案的关键是在相同的 15 道 AIME 2025 题上,让全部七个模型在其思考范围的两端运行,且预算的最坏情况在第一次请求之前就已确定。结果如下:
- 🟢 Hydrogen、Carbon 和 Argon 在最低和最高设置下都解出了全部 15 道题。
- ⚠️ 在每个付费模型上,最高设置的成本是最低设置的 2.61 到 4.75 倍,全部七个模型合计为 $5.95 对 $1.53。
- ⚠️ 在 15 道题上,没有任何模型的分数变化大到足以排除偶然性;最大的提升是两道题。
- 🟢 Argon 的每道正确答案成本最低,在其最低设置下为 $0.0162。
- 🟢 整个试点花费 $7.47,而最坏情况为 $33.23。
- ⚠️ 在付费模型上,最高设置每道题耗时是最低设置的 3.2 到 5.9 倍。
- ❌ 免费层级的 Gemma 4 26B 超时两次,并七次达到输出上限。
- ⚠️ Carbon 和 Argon 的成本将在 2026-12-01 翻倍。
范围:美国的一台笔记本电脑在 2026-11-15 调用 Gemini API,每个模型和设置运行一次,temperature 为 0,所有模型使用相同的 32,768 token 输出上限,题目为 AIME 2025 I 的 15 道题。15 道题可以显示额外思考的成本,但无法对彼此得分相差两道题以内的模型进行排名。成本为 token 数量乘以标价。时间包括等待服务的时间,并会随其负载变化。Google 未说明这些模型由何种硬件或引擎提供服务。
在固定预算下衡量高思考与低思考的策略,通过增量式逐步方法得到了验证。
参考文献
- GitHub 上的 gemma4-dev
- 本次运行的证据:回复、日志、分析和审计
- 评分脚本和预算驱动程序
- Gemini 4 还是 Gemma 4?视情况而定。
- Hugging Face 上的 AIME 2025
- Gemini API 定价
希望你喜欢!