几十年来,OCR 系统将启发式方法与专用模型相结合,用于文本识别、版面分析和表格提取。VLM 大幅提升了这些能力,使单个模型能够一次性完成文本转录、表格重建、图表解读和表单字段提取。

密集表格、无标签图表、手写内容和复杂表单的长尾问题依然规模庞大。每个解析维度都需要各自的表示方式和正确性定义:文本的转录与阅读顺序,表格中与行列表头关联的数值,图表的数值序列,以及表单的字段-值关联、复选框状态和空白字段。基准测试需要分别衡量这些能力,并考虑每个维度中错误的后果。

与参考结果的相似度未必能捕捉这些后果。一个错误的财务总额可能几乎不影响文本相似度得分,而格式不同的等价表格却会受到大幅扣分。仅靠更多数据或更多指标无法解决这种错配。

与人类偏好对齐应当成为指标设计的一个明确目标。现有的相似度度量、属性测试和模型评判通过其评分规则或提示词来编码偏好。借助ParseBench-2,我们将对特定错误类型的预期响应设为明确目标:我们定义严重性策略,构建测试这些策略的场景,并针对这些目标优化确定性指标。这为我们提供了一种方法,既能提升对齐程度,又能保留细粒度、可重复的评估,用户可将其适配到自身的工作负载。

文档解析基准测试的设计准则

我们从六个准则来评估基准测试设计:

1. 具有代表性的数据。企业知识工作依赖于财务报表、保险申报文件、合同和政府表单。基准测试应反映这些工作负载,包括其中的嵌套表格、扫描页面、手写内容和特殊版面。采样方式也决定了分数的含义:一组困难案例衡量的是对这些案例的鲁棒性,而具有代表性的生产样本则估计在特定工作负载上的表现。

2. 粒度。针对文本、格式、表格、图表、表单和视觉定位分别设置指标,使我们能够隔离失败点,并比较各有所长的解析器。在每个维度内,错误类型也很重要。错误的单元格值、正确值被关联到错误的表头,以及等价表示,不应自动受到相同的惩罚。

将表格数值与其行、列标题一起表示,可以区分转录错误和关联错误。这里,901 表示 2024 年欧洲的收入。ParseBench-2 报告,图 8。

粒度支持定制化,但日益细致的检查也带来了复杂性。它们的聚合结果仍需与对输出的整体评估保持一致;通过许多局部检查并不能保证适合下游使用。

3. 可量化性。对正确输出进行受控修改,应产生可测量的分数变化,且该变化反映修改的严重程度。这让我们能够比较指标并检测评分回归。分配严重程度涉及判断;量化使其实现可测试。

4. 可重复性。固定的输出、标注和评分配置应产生相同的结果。复现需要版本化的数据和代码。基准测试应区分重新运行解析器带来的变化与评估器引入的变化。

5. 可控性。用户应能够选择文档子集、重新加权各维度,并针对其应用调整错误惩罚,而无需从头实现评估框架。

6. 与人类判断的一致性。分数应反映错误的后果以及替代表示的可接受性。确定性指标可能始终奖励错误的输出,因此仅靠可重复性无法确立一致性。这需要在用于开发该指标的场景之外,用独立的人类判断进行验证。

现有基准测试及其指标的局限性

OmniDocBench为多种文档类型中的文本、表格、公式、布局和阅读顺序提供了详细标注。olmOCR-bench测试内容是否存在、块顺序以及表格单元格之间的关系等属性。这些检查弥补了编辑距离的局限——编辑距离可能惩罚等价的表示形式,却对一处有实质影响的单字符错误几乎无动于衷。

ParseBench-1 将企业覆盖范围扩展到五个解析维度,但其指标仍与人类对错误严重程度的判断存在显著偏差。

同一页面上两个已发布的解析器输出,选取用以说明评分分歧。olmOCR 风格的结果使用其 TableTest 实现,并配合我们为每个参考单元格生成的测试;它们并非在原始 olmOCR-bench 数据集上的结果。输出可在ParseBench-2 结果。

在这份 McDonald's 报表中,一个输出保留了数字和标签,但对表头使用普通 HTML 单元格,对分区标签使用合并单元格。另一个输出则将 2022 年综合收益值从$6,264截断为$6,26。ParseBench-1 给被损坏的输出打出 99.2 分,而给事实正确的输出打出 43.6 分。OmniDocBench 使用的 TEDS 同样将被损坏的输出排在更高位置。

相似度分数可能将一处有实质影响的错误稀释在正确恢复的内容中,而结构比较则可能过度惩罚等价的表示形式。属性测试取决于覆盖范围和聚合方式:未被测试的值可能出错,而未加权的通过率会给每项检查赋予同等重要性。

显式的 HTML 语义可能对消费表格标记的应用很重要。对于财务提取而言,保留数值及其关联关系是更相关的目标。指标需要一致地落实这些优先级。

基于 LLM 的评估与隐式偏好

LLM 评判者能够识别等价的表示形式,并检测出难以用确定性规则编码的错误。像 Reducto 的 ParseArena 这样的成对比较系统利用这些判断来比较解析器,但一个总体偏好会让各维度之间的权衡变得隐式。胜率并不能揭示评判者如何权衡格式错误与错误的表格数值。

我们用已发布的 PAIR 提示词在 SERFF 保险申报文件的 412 个页面上测试了 Haiku 5.5,将 LiteParse 的纯文本输出与 r-1-mini 进行对比。每个页面获得三次评判,展示顺序各不相同。我们检查了 LiteParse 获得更高平均偏好分数的 77 个页面,该子集是在评判之后选出的。

对按平均 LiteParse 偏好高于 0.5 选出的子集,每页进行三次评判(胜 = 1,平 = 0.5)。图中使用源裁剪和缩短的输出摘录,为便于展示压缩了空白。这评估的是我们的 Haiku 5.5 设置,而非 ParseArena 部署的评判器。

部分 LiteParse 偏好识别出了真实错误。在面板 B 中,r-1-mini 在一个空白单元格中插入了零,而 LiteParse 保留了源值。三次评判均偏好 LiteParse。我们保存的 r-1-mini 的 ParseBench-2 Tables 分数为 98.1,因此评判器还识别出了我们的指标惩罚不足的一个错误。

然而,在所选子集中有 11 个页面在记录的提示词、页面图像、解析器输出和展示顺序均未改变的情况下反转了胜者。面板 C 展示了这样一个案例:一次运行偏好 LiteParse,因为它保留了源中的拼写错误“Trust Liabiltiy”,而 r-1-mini 对其进行了纠正。另一次运行偏好 r-1-mini,声称 LiteParse 遗漏了表头行,尽管全部八个表头都存在。评判器在证据未变的情况下同时改变了其错误评估和偏好。

一个细粒度的评判器可以按维度报告错误,并应用明确的严重性评分标准,正如我们开始在文档解析协议中所指定的那样。这样的系统仍需以允许重复评估的成本,证明一致的错误检测和严重性分配。

ParseBench-2:针对严重性策略优化指标

ParseBench-2 将期望的评分行为与指标实现分离。一个严重性策略将扰动分配到关键、重大、轻微或良性类别,并设定分数变化的目标范围。将货币金额从 $4,200 改为 $4,700 即使在数百个正确值中也应产生重大惩罚;返回等效的受支持表格表示则应使分数保持不变。

严重性策略和目标分数保持不变,而指标实现则被细化。报告,图 2。

我们的六个测试套件包含 330 种扰动类型,涵盖错误和良性变化。我们引入受控改动来修正输出,衡量与策略目标的偏差,并使用编码智能体在人工审核下修订比较规则、错误检测器和权重。跨套件的回归检查引导这一爬山过程。人类指定预期行为并解决歧义;智能体帮助实现和测试相互作用的规则。最终评分器对于固定输入和版本保持确定性。

严重性上限防止重大错误被正确内容稀释。对于文本、格式、表格、图表和表单,页面分数是内容恢复分数与严重性上限中的最小值。在默认策略下,第一个检测到的严重错误会将原本完美的页面分数上限设为 90。视觉定位使用单独规则,不设此上限。

对 Walmart 10-K 页面进行受控改动,一次评估一项。这些测试衡量指标对已知变化的响应;它们不是观察到的解析器错误率。图来自ParseBench-2 发布博文。

ParseBench-2 还扩展到六个维度上的 4,317 个页面级案例,新增表单以及针对困难表格和格式的定向数据集。完整的参考表格取代了所有 1,025 个图表的选定值检查,从而能够对每个数据系列进行评估。

在开发场景上与严重性策略的一致性衡量了对我们所述偏好的符合程度。它并不确立与所有用户的一致性,也不确立对未见文档的泛化能力。

为你的工作负载定制指标

ParseBench-2 默认对六个维度等权,不过应用可能对它们有不同的优先级。财务分析严重依赖正确的表格值和关联;检索系统可能容忍一定的格式损失。指标实验室让用户通过三个层级的定制来考察替代策略如何影响已保存的结果:

  • 维度权重:调整每项能力对总分的贡献。
  • 严重性权重:改变关键、主要和次要错误对严重性上限的削减幅度。
  • 错误分类:将受支持的错误类型重新分配到严重性级别,或移除它们对上限的贡献。

Metric Lab 原型,截取于 2026 年 11 月 16 日。工作负载配置文件提供起点;控件仍可编辑。

这些控件将某项能力的重要程度与其中错误的后果严重程度区分开来。提高表单的权重会改变其整体影响力;提高字段关联错误的严重性会改变表单输出的评估方式。用户可以检查排名敏感性、导出策略,并重新评分已保存的评估。

该原型支持对表格、图表和表单进行错误类型重新分类。文本和格式主要暴露严重性总计;视觉接地分数保持不变。重新加权不会改变已检测到的错误和内容恢复分数,因此移除上限惩罚可能仍会留下内容惩罚。检测新错误需要修改并重新运行评分器。

用户还可以扩展场景套件,以针对自己的目标测试新的评分规则。这使 ParseBench 成为一个围绕文档分布和一组偏好来开发指标的框架。

剩余挑战

真实标注仍然难以规模化。嵌套表头、空白字段、阅读顺序和未标注的图表数值需要一致的标注约定和审查程序,以暴露不确定性。使这一过程更高效是一项持续的优先事项。

印刷的图表数值和从坐标轴估算的数值支持不同的精度水平。ParseBench-2 通过不同的容差来考虑这一区别。报告,图 9。

ParseBench-2 仍存在标注和评分问题。我们正在发布更正,包括对受支持表示和表单匹配的修复,其结果与产生它们的版本相关联。

严重程度还取决于上下文:同一个数值错误在不同领域可能产生不同后果,多个错误之间的相互作用也可能超出孤立扰动所能捕捉的范围。对照独立的人工判断以及新文档上的下游失败进行评估,应有助于识别分歧究竟源于标注、严重程度策略、错误检测还是聚合。

我们鼓励读者查看技术报告,试用Metric Lab,并分享指标惩罚不足的重大错误、指标拒绝的等价表示,或需要不同严重程度策略的工作负载。