LlamaIndex 发布 ParseBench-2 文档解析基准

在过去一年里，ParseBench 做了一件了不起的事。它已成为评估文档解析准确性的行业标准，而文档解析是知识工作自动化的关键一步。我们看到这种采用体现在两个方面：社区使用规模上，每月数据集下载量超过 50,000 次；以及引用 ParseBench 的团队，从 NVIDIA、Cohere 和 Perplexity，到 LightOnOCR-3、PyMuPDF 和 Infinity-Parser2 背后的开源团队。

在发布时，ParseBench-1 在数据集质量和指标覆盖范围上相比以往的基准测试是一次巨大的提升。话虽如此，我们为 ParseBench-1 定义的确定性指标也遭遇了困扰以往基准测试的类似问题：它们并不总是与人类对解析错误严重程度的判断保持一致。例如，一个解析器把“75%”翻转成“57%”，改变了一个关键事实；而把图表的标注值以列表而非表格形式返回，只改变了呈现方式。然而在我们的测试中，一个无害的格式变化可能比一个错误数字扣掉更多分数。

今天，我们自豪地提升文档解析基准测试的标准，推出ParseBench-2，这是我们迄今为止最全面的文档解析基准测试。它是唯一一个既提供确定性指标所带来的极致细粒度和可重复性，又与人类判断高度对齐的基准测试。本次发布在我们评估什么以及如何衡量解析准确性方面带来了五项重大改进：

• 严重程度调优评分，文档解析基准测试领域的行业首创。ParseBench-2 是唯一一个根据严重程度来调优确定性解析指标的基准测试——严重程度是人类定义的判断，衡量错误对下游应用的影响有多大。
• 数据集规模大幅扩展：我们将 ParseBench-1 中的初始文档语料库扩大了一倍多，从 2.1k 个案例扩展到 4.3k 个案例。这包括更多带有复杂表格、图表、表单等的真实企业文档。
• 更可靠的参考数据。我们纠正了错误，并澄清了全部五个原始维度中模糊的标注，因此解析器是依据对源页面更准确的描述来评分的。
• 完整的图表评估。ParseBench-2 会检查 1,025 张图表中的每一个数值。解析器现在必须还原完整的数据序列才能获得满分。
• 表单作为第六个维度。ParseBench-2 会检查数值是否仍附着在正确的字段上、复选框是否保留其状态、空白字段是否保持空白。

构建文档解析基准测试很难。传统的文档解析基准测试（olmOCR-bench、OmniDocBench）使用了脆弱的指标，对风格类错误过度惩罚，而对语义退化惩罚不足。近期 LLM-as-a-judge 的方法能够识别固定规则集之外的等价表示，但 (a) 在跨特定维度衡量时缺乏细粒度，(b) 容易受到评判模型和提示词的偏差影响，(c) 缺乏确定性和可重复性。

我们花了无数个小时，让 ParseBench-2 成为市面上最全面但也最公平的基准测试。我们煞费苦心地设计了 330（！）种错误类型，以衡量文档解析中每一种可能的失败模式，为每种错误类型分配了严重程度等级，并依据每一种错误的严重程度校准了每一项解析指标。今天，我们很高兴将其向公众开放，让每个人都能使用、定制这个面向生产环境文档解析的开放标准，并为其做出贡献。

基准数据集、评估代码以及该研究背后的完整科学论文均已公开。

• 数据集：Hugging face
• 代码与评估：GitHub
• 研究论文

构建更好的、按严重程度加权的准确率指标

我们希望 ParseBench-2 在每个维度上的指标都能反映专家会如何评判解析器的输出。文本指标对错误数字的惩罚应重于轻微拼写错误。表格指标应对被分配到错误年份的数值进行惩罚，并对受支持格式下的等价表格给出相同分数。

挑战在于，任何确定性指标都对“好”或“坏”输入存在固有偏差。某些文档属性会使指标变动得更多或更少。例如，在文本密集页面上以标准编辑距离衡量的指标中，交换一个数字中的各位数字几乎不会使该指标变动（即使这对下游用例是灾难性的）。

我们提出的解决方案是反向推进：先定义目标，然后让我们的解析指标朝着这个目标爬山优化。我们首先定义了一个包含 330 多种“错误类型”的大型家族——这些是测试场景我们从正确的解析输出出发，并注入扰动。其中一些改动是有意无害的（额外的 HTML 标记），而另一些则相当重要（表格中的表头错位，或表格中出现幻觉值）。然后我们定义了一个严重程度策略，即由人工判断每个测试场景有多好或多坏。我们将每项改动分类为 critical、major、minor 或 harmless，并为分数应下降多少设定了目标。

我们用这些测试来校准 ParseBench-2 在 6 个主要维度上的指标：文本、表格、格式、图表、布局和表单。我们在每个维度上全面测试了数十种指标——包括来自 ParseBench-1 的指标以及其他已发布基准测试的指标。然后我们对每个解析指标进行激进迭代，以尽可能贴近严重程度策略。这借助显式的严重程度上限来实现，确保严重错误即使页面其余部分正确也会带来实质性扣分。

我们在 ParseBench-2 中得到的指标比 ParseBench-1 对齐得好得多。例如，取我们 ParseBench 数据集中一个 459 个单元格的表格，有两种场景：

• 一个被调换的数字（非常糟糕）
• 以 Markdown 而非 HTML 返回表格（无害）。

在 ParseBench-1 的评分方法下，数字改动仅使分数在 100 分中扣了 0.13 分，而以 Markdown 而非 HTML 返回正确表格却使其分数归零。在 ParseBench-2 上，错误的数字现在扣 10 分，而 markdown 输出扣 0 分。

一个全面、可定制的场景目录

我们定义了一个包含 330 多种错误类型的全面目录，分布在我们 6 个维度上：文本、格式、表格、图表、表单和布局。然后我们为其中每一种错误类型分配了严重程度等级。

这些测试场景区分了缺失内容、错误值、错误关联、编造信息和格式丢失。一个拼写错误的标签和一个被分配到错误表头的值，即使它们改变的输出部分同样小，也可能获得不同的严重程度分类。等价的呈现方式被明确归类为无害。

严重程度等级是根据专家判断分配的，这些判断指出哪些错误类型在生产中导致了失败。尽管如此，严重程度策略被设计为可由任何用户高度自定义。你可以为任何场景设置自己的严重程度等级，并选择与这些严重程度最契合的解析指标！ParseBench-2 不仅是一个固定的基准测试，还是一个根据严重程度策略设计解析指标的框架，以便你可以针对自己最关心的维度进行优化。

扩展 ParseBench 的评估范围

ParseBench-2 将修正后的标注与更完整的参考以及跨六个维度的额外挑战性数据集相结合。

文本：列和侧边栏有时会出现文字正确但位置错误的情况。ParseBench-2 分别评估转录和阅读顺序，因此即使正确转录的文本在输出中的位置发生变化，也能获得认可

格式：删除线可以将文本标记为已删除，因此丢失或编造删除线可能会改变智能体对页面的解读。ParseBench-2 同时检查保留的格式和新增的格式，同时接受等价的 Markdown 和 HTML 语法。

表格：错误表头下的数字就是错误的事实，即使数字本身被正确读取。ParseBench-2 会根据表头和行标签检查每个值，包括多级表头和分组行。

图表：ParseBench-1 对每个图表抽查了少量绘制值，因此其他任何地方的错误都未被发现。ParseBench-2 则改为与完整的参考表进行对比，覆盖 1,025 个图表中的 36,958 个值。

视觉定位：源位置信息帮助智能体验证提取的内容并生成精确引用。ParseBench-2 检查解析器是否将每个块定位到其内容在页面上出现的位置。解析器可以把一个段落作为一个块返回，也可以逐行返回，只要其边界框指向正确的文本，两种方式都能获得满分。该评估覆盖 538 页。

表单：表单现在计入总分。ParseBench-2 检查每个值、复选框状态和签名是否与正确的字段对应，以及空白字段是否保持空白，因为空框本身也是信息。核心数据集包含来自 30 个国家 244 个政府表单模板的 500 页，其中 450 页带有合成的键入值，50 页为空白。另有一个单独的数据集增加了 100 份大部分为空的公开表单。

OCRia-1.5：性价比的新帕累托前沿

配合 ParseBench-2，我们推出OCRia-1.5，这是我们新的文档解析模型系列，为 LlamaParse 的Cost Effective、Agentic 和 Agentic Plus模式提供支持。即使与我们几周前发布的 OCRia-1 相比，这些模型在能力上也有显著提升。它们在所有维度上都变得更好，尤其是在表格、表单和视觉布局方面。

我们将在后续文章中介绍这个模型系列。我们的研究循环只会不断加速，我们将继续在各方面同时大力推进成本、准确性和延迟的改进。

ParseBench-2 揭示了解析器性能的哪些方面

总分概括了在整个基准测试中的表现。各维度得分显示了系统之间的差异，帮助团队判断某个解析器的优势是否与其需要处理的文档相匹配。我们对全部六个维度上的 41 个默认配置进行了排名：18 个文档解析器配置、14 个直接视觉模型配置和 9 个开源权重配置。

LlamaParse Agentic Plus 总体领先。Agentic Plus 得分为 89.8，领先于得分最高的直接视觉模型（85.7）和来自其他提供商的最强文档解析器（83.9）。LlamaParse Agentic 得分为 86.0。Agentic Plus 在格式化、表格和图表方面领先所有参与排名的配置。

图表展现出最大的能力差距. 图表是终极的能力分水岭。图表上的得分从 1.2 到 92.6 不等，是所有评估维度中差距最大的。大多数标准解析器和视觉模型基本上放弃了图表，只输出简短的说明文字或完全缺失数值数据，有五个排名系统得分低于 4。从视觉图形中提取完整的、逐值的数据序列，仍然是基础 OCR 与真正的智能体文档引擎之间最清晰的分界线。

视觉定位对许多前沿模型来说仍是一项挑战. 虽然前沿多模态模型擅长阅读文本，但它们难以精确定位元素在页面上的实际位置。直接视觉模型的视觉定位得分中位数为 64.5，而专用解析器为 83.8，Agentic Plus 达到 87.5。对于需要可验证引用、边界框或审计追踪的工作流，专用解析器仍然不可或缺。

准确率与处理成本

在生产规模下，每页成本会影响团队能够负担部署的准确率水平。ParseBench 在报告准确率的同时也报告处理成本，以便团队比较这些权衡。

更高的价格并不总能稳定换来更高的准确率。在得分约为 81 到 83 的专用解析器中，价格从每页 $0.0063 到 $0.0300 不等。LlamaParse Agentic 以每页 $0.0125 的价格获得 83.4 分。最强的竞争文档解析器以每页 $0.0300 的价格获得 83.2 分，在性能相当的情况下价格高出一倍多。

LlamaParse 推进了准确率–成本的前沿。Agentic Plus 以不到最强直接视觉模型一半的成本实现了更高的准确率。它每页 $0.0281 得分 88.4，而该模型每页 $0.0649 得分 85.0。这意味着准确率领先 3.4 分，同时处理成本降低约 57%。

除了 ParseBench-2，我们还推出了 OCRia-1.5，这是我们新的文档解析模型系列，为 LlamaParse 的 Cost Effective、Agentic 和 Agentic Plus 模式提供支持。这些模型延续了我们的工作，即在不同的成本和处理需求下提供准确的文档解析。

试用 ParseBench-2

ParseBench-2 为你提供更有意义的解析准确率衡量方式，同时考虑了解析器答对了多少以及它的错误有多重要。

数据集、评估代码和评分标准均已开放。下载该基准测试，用你自己的解析器接受测试，并在全部六个维度上比较其性能。我们会持续添加有挑战性的文档和失败案例。如果有我们应该测试的错误，或者你会做出不同的严重程度选择，请告诉我们。你的反馈将帮助塑造我们接下来评估的内容。

探索排行榜或阅读研究论文

git clone https://github.com/run-llama/ParseBench
cd ParseBench
uv sync --extra runners
uv run parse-bench run <pipeline_name> --dataset parsebench-2