在哪里MiniMax M3.1 Flash能以可接受的成本和速度提供有用的性能?专业智能指数(SII)通过由从业者构建的领域特定基准测试帮助团队回答这个问题。我们用这些评估将 M3.1 Flash 与闭源模型进行比较,包括 Claude Sonnet 5.5、GPT-6 Luna 和 Gemini 3.8 Flash,并探索了将其与另一个模型搭配使用是否能改善结果。

编程领域显示出最明显的收益。M3.1 Flash 以显著更低的模型成本完成了比 Gemini 更多的 DeepSWE 任务;与 Luna 相比,额外完成的任务则需要付出更高的代价。网络研究的结果则更为参差:相比 Sonnet 更低的成本伴随着更长的等待时间或更低的分数,具体取决于评估。

编程方面的发现也超出了单独比较模型的范畴。在一项模拟中,以 M3.1 Flash 起步并将失败的尝试发送给 Claude Opus 5.5,以更低的模型成本完成了比单独使用 Opus 更多的遗留代码任务。这说明了为什么评估一个模型包括考虑它与其他模型搭配时可能扮演的角色。

该研究涵盖软件工程(使用 DeepSWE v1.1 和 Factory 的 Legacy-Bench),以及网络研究(使用 Nimble 的 Web Context、Exa 的 ATLAS 和 Parallel 的 Search Capability Leaderboard)。Sierra 的 τ³-Banking、Doximity 的 Bedside Bench 和 Column Tax 的 TaxCalcBench 提供了在银行支持、临床问题和税务准备方面的比较。我们在有数据的情况下考察质量、模型成本和执行时间,然后使用单次运行来模拟重试和模型组合。Rogo 的 Big Finance Benchmark 测试金融研究,也为工作负载分配分析做出了贡献。

编程:M3.1 Flash 完成的任务比 Gemini 3.8 Flash 和 GPT-6 Luna 更多

DeepSWE v1.1 测试智能体能否在 91 个代码仓库的 113 个任务中解决软件问题。智能体探索代码库、编辑文件并提交补丁。随后,对智能体保密的测试会检查该补丁是否解决了问题。

On DeepSWE v1.1, M3.1 Flash completes 73.2% of tasks at $0.35 per task, versus 61.7% at $4.24 for Gemini 3.8 Flash and 66.4% at $0.19 for GPT-6 Luna

对于使用 Gemini 3.8 Flash 的团队,在此次评估中,M3.1 Flash 以约低 92% 的模型成本提供了更高的完成率。与 GPT-6 Luna 相比,它的成本高出约 84%,在 113 个任务的运行中多完成约 8 个成功任务,额外模型支出为 18 美元。

在此设置下,M3.1 Flash 平均每个任务耗时约 20 分钟,与 Gemini 和 Luna 大致相当。它的优势在于完成率,而成本优势取决于它替代的是哪个模型。

M3.1 Flash 在某次尝试中未完成的一些任务,在另一次尝试中会成功。在三次记录的运行中,它至少成功完成一次的任务为 113 个中的 102 个,而平均每次运行约为 83 个。

我们模拟了最多允许三次尝试、并在首次成功时停止的情况。平均模型支出从每个提交任务约 0.35 美元升至约 0.50 美元,即每个已解决任务约 0.55 美元。每次重试都从头开始,不携带上一次失败的反馈。

Allowing up to three attempts raises M3.1 Flash's DeepSWE coverage from about 83 of 113 tasks (73%) to 102 of 113 (90%), with model cost rising from $0.35 to $0.50 per submitted task

只要应用能可靠地检查每个补丁是否修复了问题,重试就能帮助 M3.1 Flash 解决更多编码任务。该模拟使用隐藏的基准测试来决定何时停止;在实际生产工作流中,验证成本和时间也很重要。

网络研究:节省取决于你所需的质量和速度

M3.1 Flash 在三项网络研究评估中呈现出不同的取舍。在 Nimble 的 Web Context 基准测试中,它以更低的模型成本得分高于 Claude Sonnet 5.5,但耗时明显更长。在 Exa 的 ATLAS 和 Parallel 的 Search Capability Leaderboard 上,成本节省伴随着更低的得分。

Nimble 的 Web Context 测试智能体收集公司和创作者信息、查找符合指定条件的实体以及撰写研究报告的能力。它会将报告中的事实与来源页面进行核对,并对准确性和完整性打分。

M3.1 Flash 得分为 74.7,而 Claude Sonnet 5.5 为 67.2,GPT-6 Luna 为 67.9。在该基准测试的三个垂直领域——市场进入、金融和社交媒体——它的得分也都高于这两者。

在 Web Context 上,M3.1 Flash 的得分高于 Sonnet,模型成本低 33%,但耗时接近其八倍。这使其更适合后台研究,而非有人等待的交互场景。与 Luna 相比,更高的得分伴随着更高的花费和更长的执行时间。

对于使用更昂贵模型的团队,M3.1 Flash 也值得评估:Claude Opus 5.5 得分为 71.8,GPT-6 Astra 为 72.6,模型成本分别约为其七倍和十八倍。这些微小的得分差异不足以确立可靠的质量优势。

Exa 的 ATLAS 测试智能体能否构建出符合请求的完整实体表格。M3.1 Flash 得分为 22.0,而 Claude Sonnet 5.5 为 46.8。Web Context 也包含实体查找任务,因此这些汇总结果无法单独解释模型相对表现变化的原因。

Parallel 的搜索能力排行榜评估了 300 个问题,涵盖多步研究、专业知识和商业研究。模型使用搜索和页面提取工具来回答这些问题。

M3.1 Flash 得分为 68.8,Sonnet 为 74.1,每题成本分别为 $0.04 和 $0.80(含估算的搜索费用)。这意味着成本约低 95%,得分低 5.3 分。在研究成本最为重要的场景中评估 M3.1 Flash,并确认其满足你的工作流对答案质量、完整性和周转时间的要求。

银行、临床和税务评估更青睐所测试的替代方案

M3.1 Flash 的编码优势并不适用于所有工作负载。在 Sierra 的 τ³-Banking 上——该测试考察通过银行政策和账户管理工具处理客户请求的能力——它解决了 34.0% 的尝试,而 Gemini 3.8 Flash 为 51.4%,GPT-6 Luna 为 37.7%。

我们考察了 38 段对话,这些对话至少有四分之三的受评模型能够解决。每段对话尝试四次,M3.1 Flash 共失败 57 次。在其中 23 次失败中,它完成了所有必需步骤,但也做了一项未被要求的账户变更。有一个例子中,它正确地拒绝了提高信用额度的请求,随后又发放了一笔账单抵扣来缓和这一拒绝。对于会变更账户的工作流,只检查请求是否被满足会漏掉这些额外操作。

临床和税务方面的结果也偏向受测的替代模型。Doximity 的 Bedside Bench 评估对医生撰写的临床问题的回答。M3.1 Flash 得分为 75.3,而 Gemini 为 86.5,Luna 为 87.2。Column Tax 的 TaxCalcBench 测试根据纳税人文件编制完整的联邦和州纳税申报表。M3.1 Flash 在正确报告已预扣的工资和税款方面接近 Luna,但在减少应税收入的扣除项和免税额方面准确性较低。因此,在这些基本数字上的准确性并不能转化为正确的申报表。

此前的比较显示其在编程方面有优势,而在银行支持方面结果较弱。M3.1 Flash 的编程优势能否在由另一个模型处理其表现更好的工作负载时,提升整体结果?

我们模拟了在四种工作负载下于模型之间分配工作:修复软件问题、维护较旧的代码库、处理银行支持请求以及回答金融研究问题。

对于每一对组合,我们将每个工作负载分配给记录完成率更高的模型,并以成本作为平局决胜依据。每个任务由一个模型尝试一次,不重试,也不回退到另一个模型。

与 Gemini 3.8 Flash 配对时,M3.1 Flash 负责仓库编程和遗留代码维护,而 Gemini 负责银行支持。在这 307 个基准测试任务中,该配对平均完成 188 个,而单独使用 Gemini 为 172 个,同时将模型支出从 661 美元降至 108 美元。

这 84% 的节省大部分来自 DeepSWE,在该基准上 M3.1 Flash 每个任务花费 $0.35,而 Gemini 为 $4.24。这一百分比取决于工作负载的构成:一个银行类任务更多、编程类任务更少的应用,节省的百分比会更小。

其他配对则说明了为什么对照模型的选择很重要。将 M3.1 Flash 加入 GPT-6 Luna 以更高的成本换来了额外的完成量。将其与 Claude Opus 5.5 或 GPT-6.1 Sol 配对降低了支出,但在验证检查中并未稳定地比这些模型单独使用时完成更多任务。

我们还检查了这些模型选择在未用于做出选择的那些任务上是否依然有效。在 500 次随机划分中,我们用一半任务为每个工作负载选择一个模型,并在剩余的一半任务上评估这些选择。Gemini 配对仍然比单独使用 Gemini 取得了更高的平均完成量和更低的支出。

按工作负载分配模型是一种选择。另一种是让一个模型尝试某项任务,并把失败的任务交给第二个模型。我们用 M3.1 Flash 先尝试、由 Claude Opus 5.5 处理失败尝试的方式测试了这一方法。

在 Factory 的 Legacy-Bench(用于测试对较旧代码库的维护)上,这一模拟序列解决了 97 个共享任务中的约 71%,而单独使用 Opus 为 64%。平均模型支出从每任务 $0.51 降至 $0.42,降低约 18%,其中包含不成功的尝试。

M3.1 Flash 解决了 Opus 漏掉的一些任务,而 Opus 也挽回了 M3.1 Flash 的一些失败。由 M3.1 Flash 解决的任务还避免了 Opus 尝试的成本。这一组合解释了该序列为何能同时提升完成量和支出表现。

Starting with M3.1 Flash and escalating failures to Claude Opus 5.5 solves about 71% of 97 Legacy-Bench tasks at $0.42 per task, versus 64% at $0.51 for Opus alone

该模拟使用隐藏的基准测试来识别失败。应用这一方法需要可靠的检查;所报告的成本不包含验证和编排,端到端执行时间也未测量。

M3.1 Flash 的编程结果表明,一个模型如何在现有模型旁边获得有限的角色。这把采用问题从是否要彻底替换某个模型,转变为给它分配一些工作、或让它先尝试,是否能改善整体结果。答案取决于现有模型、工作负载组合,以及(对于升级而言)可靠识别失败的能力。

探索基准测试对比,详见专业智能指数,或了解Fireworks Nexus以使用开源与闭源模型的集成。

方法与局限性

来源、评分与成本

结果使用该研究 2026 年 11 月 7 日和 11 月 11 日的快照。分数遵循各基准测试自身的评分规则。模型成本使用记录的使用量和评估定价,包括 Gemini 3.8 Flash 的 introductory pricing。Parallel 和 Exa 包含搜索费用;评分器成本不计入。每任务成本包含不成功的尝试。

DeepSWE 与重试

M3.1 Flash 在 91 个仓库的 113 个任务上完成了三次运行;全部 339 次尝试均被纳入。10 月 29 日的运行使用了专用的 Fireworks 部署,成本按无服务器费率计算:每百万未缓存输入 token 0.15 美元、每百万缓存输入 token 0.015 美元、每百万输出 token 0.60 美元。

重试估计对记录尝试的每一种可能顺序取平均,在首次基准测试验证成功或达到尝试上限时停止。不假设重复尝试相互独立。

工作负载分配与升级

预期完成数对跨记录尝试平均的每任务通过率求和。全量路由结果在同一数据上选择并评估工作负载分配。一项单独检查使用 500 次划分,在一半任务上选择分配,在另一半上评估。

Legacy-Bench 的路由与升级使用所有对比运行都能构建的 97 个任务。M3.1 Flash 后续环境中可用的另外三个 Java 7 任务被排除。

任务级分析与覆盖率

银行子集包含 38 段对话,这些对话由至少四分之三的受评估模型解决,每段对话有四次 M3.1 Flash 尝试。57 个中 23 个的发现描述的是该子集内的失败。

税收比较对两个模型都使用无搜索运行。M3.1 Flash 接收了从 PDF 中提取的 OCR 文本。工资/预扣税和扣除/豁免类别是分析师定义的申报行分组。

各模型的运行覆盖范围不同。M3.1 Flash 在某些基准测试上记录的运行次数较少,包括 Legacy-Bench 和 Bedside Bench,这限制了对小分差得出结论。只有一个基准测试与 MiniMax M3 共享,因此本研究无法确立通用的升级建议。