智能已更新
Artificial Analysis 智能指数
Artificial Analysis 智能指数 v5.0.1 包含 9 项评估：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）和 Terminal-Bench-Science 0.1
无公开可用的 API
Artificial Analysis 智能指数 v5.0.1包括：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）、Terminal-Bench-Science 0.1。参见 智能指数方法论以了解更多细节，包括每项评估的细分说明以及我们如何运行它们。
按开源权重 / 专有划分的 Artificial Analysis 智能指数
Artificial Analysis 智能指数 v5.0.1 包含 9 项评估：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）和 Terminal-Bench-Science 0.1
无公开可用的 API
Artificial Analysis 智能指数 v5.0.1包括：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）、Terminal-Bench-Science 0.1。参见 智能指数方法论以了解更多细节，包括每项评估的细分说明以及我们如何运行它们。
表示模型权重是否可用。如果商业使用受条件限制，模型会被标记为“Commercial Use Restricted”；如果许可证禁止商业使用，则标记为“Non-commercial”。
智能指数与每任务成本对比
Artificial Analysis 智能指数 · 每个 Artificial Analysis 智能指数任务的加权平均成本（USD）
最具吸引力的象限
帕累托线
每个智能指数任务的加权平均成本。每项评估的成本由输入、缓存命中、缓存写入、推理和回答 token 的价格计算得出，除以任务数量，再按其智能指数权重加权。
Artificial Analysis 智能指数 v5.0.1包括：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）、Terminal-Bench-Science 0.1。参见 智能指数方法论以了解更多细节，包括每项评估的细分说明以及我们如何运行它们。
能力指数
衡量模型在特定能力和行业上的表现
无公开可用的 API
评估
由 Artificial Analysis 独立测量的评估 · AA-PersonalityBench 分数为 1 到 100 的百分位排名
无公开可用的 API
知识
1 - 幻觉率
终端中的智能体式科学研究工作流
开源仓库中的智能体式软件工程
推理与知识
专业文档推理，全部通过
法律智能体工作，幻觉门控全部通过率
智能体式交互 3D 体验，Elo
以代码设计的产品与品牌视频，Elo
医学长上下文推理
丰富、多样、精心打磨的语言
结构良好、便于扫读、答案优先
真实、承认不确定性、不谄媚
填充语和泛化语言的使用
虽然模型智能通常可跨用例迁移，但特定评估可能对某些用例更为相关。
Artificial Analysis 智能指数 v5.0.1包括：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）、Terminal-Bench-Science 0.1。参见 智能指数方法论以了解更多细节，包括每项评估的细分说明以及我们如何运行它们。
AA-Briefcase v1.1
AA-Briefcase Elo
AA-Briefcase v1.1 是由 Artificial Analysis 开发的智能体式知识工作基准测试。AA-Briefcase Elo 是一个综合指标，汇总了评分标准通过率、分析质量 Elo 和呈现 Elo · 越高越好
无公开可用的 API
AA-Briefcase Elo 是一个综合指标，汇总了分析质量 Elo、呈现 Elo 和评分标准通过率，其中评分标准表现通过合成的一对一对比转换为 Elo。Elo 和 95% 置信区间边界被截断在 0。
AA-Omniscience v1.1
AA-Omniscience 净得分
AA-Omniscience v1.1 净得分（越高越好）衡量知识可靠性和幻觉。它奖励正确答案，惩罚幻觉，对拒绝回答不扣分。得分范围为 -100 到 100，其中 0 表示正确与错误答案数量相当，负分表示错误答案多于正确答案。
无公开可用的 API
AA-Omniscience v1.1 净得分（越高越好）衡量知识可靠性和幻觉。它奖励正确答案，惩罚幻觉，对拒绝回答不扣分。得分范围为 -100 到 100，其中 0 表示正确与错误答案数量相当，负分表示错误答案多于正确答案。
Token 用量
Intelligence Index 每项任务的输出 Token 数
运行 Artificial Analysis Intelligence Index 中一项任务所用的输出 Token 加权平均数
无公开可用的 API
每项 Intelligence Index 任务所需的 Token 数。计算方法为：将每次评估的输出 Token 数乘以 Intelligence Index 中各基准测试的相对权重，再除以任务数（不含重复项）。
成本
Intelligence Index 每项任务的成本
Intelligence Index 每项任务的加权平均成本（USD）· 按 Token 类型细分 · 越低越好
无公开可用的 API
Intelligence Index 每项任务的加权平均成本。每次评估的成本由输入、缓存命中、缓存写入、推理和回答 Token 的价格计算得出，除以任务数，再按其 Intelligence Index 权重加权。
运行 Artificial Analysis Intelligence Index 的成本
运行 Artificial Analysis Intelligence Index 中所有评估的成本（USD）
无公开可用的 API
运行 Artificial Analysis Intelligence Index 中各项评估的成本，使用模型的输入、缓存命中、缓存写入、推理和回答 Token 价格以及各评估所用的 Token 数计算得出（不含重复项）。
定价：缓存命中、输入和输出
价格（USD / 百万 Token）
无公开可用的 API
缓存提示（已处理过的内容）的每 token 价格，通常相比常规输入价格有显著折扣，以每百万 token 的美元计价。此处显示的数值为缓存命中价格；缓存写入与缓存存储单独计费，且因提供商而异——详见“各提供商缓存定价”。
上下文窗口
上下文窗口
上下文窗口：token 上限 · 越高越好
无公开可用的 API
更大的上下文窗口与 RAG（检索增强生成）LLM 工作流相关，这类工作流通常涉及对大量数据进行推理和信息检索。
输入与输出 token 合计的最大数量。输出 token 通常有显著更低的上限（因模型而异）。
性能
以每任务耗时（分钟）、输出速度（token/秒）、首个答案 token 时间与首 token 时间（秒）衡量
每个 Intelligence Index 任务的耗时
输出 token 数除以端到端输出速度（每个 Intelligence Index 任务的分钟数）· 速度取自模型自有端点或各提供商的中位数 · 越低越好
无公开可用的 API
每个 Artificial Analysis Intelligence Index 任务的加权平均耗时（分钟）：每任务输出 token 数除以输出速度，按各基准测试在 Intelligence Index 中的权重加权。
速度与延迟指标取各端点过去 5 天运行的平均值，错误率则汇总计算。我们每 6 小时运行一次基准测试，已弃用模型的端点则每 18 小时运行一次。
输出速度
输出 token 数除以总请求时间，包含首 token 时间 · 越高越好
无公开可用的 API
在请求的完整持续时间内（从发送请求到收到最后一个 token）每秒接收的输出 token 数（含推理 token）。头条数值先对过去 5 天内每个 Performance v3 工作负载取平均，再对各工作负载取平均。
首个答案 token 时间
收到首个答案 token 所需的秒数 · 计入推理模型的“思考”时间
无公开可用的 API
从发送 API 请求到收到首个回答 token 的时间，单位为秒。对于推理模型，这包括模型在给出回答之前的“思考”时间。对于不支持流式传输的模型，这表示收到完整补全内容的时间。