[2024/08] Repo update: code format and add limitations

MPB（Miner-PDF-Benchmark）目标是面向大模型数据场景的端到端PDF文档理解验证集。它包含350个PDF文件和8410页PDF，包括书籍、教材、学术文献、PPT转PDF、试卷等11种类型的验证集。

MPB 验证集来源于多种渠道，包括 arXiv、Sci-Hub、教科书、试卷、历史文献等。不同子集的来源和组成如下：

当前版本的groudtruth构建过程是先通过mathpix（参考论文）抽取为markdown文件，再进行人工标注后生成。我们统计了人工标注前后对验证集的修正比例为328/350（按文件md5不一致统计）。不过，因为验证集数量较大，构成复杂，人工标注也会存在漏标、误标的情况。

人工标注过程的检查项主要包括：

• 抽取内容的连贯性：需要抽取的文件是否符合正常阅读顺序，如检查页眉、页脚、边注、footnote等是否存在混入，文本分段是否正确。对不符合的进行修改；
• 抽取的完整性：检查水印是否去掉，除了文本中明确说明为图片或者封面，其他公式，表格等截图需要检查是否转为文本，针对漏抽、抽取错误进行修正；
• PDF文件分类的正确性：需要检查每一类PDF文件所属类别正确；

文档1（竖版）：

人工标注前

经过人工标注后

文档2（图册）：

人工标注前

经过人工标注后

当前我们验证集参考其他抽取工具中使用到的3个评估指标（bleu 和 edit distance 来自nogout、similarity 来自marker）进行评价。我们观察到部分工具在一些 PDF 数据上有抽取 Markdown 文档失败的情况，如工具处理超时导致抽取失败，或者工具 OOM 导致抽取失败的等情况。所以我们增加了一个抽取率指标，定义是：成功生成 Markdown 文件的数量与总PDF文件数的占比，但该指标不会检查生成 Markdown 的内容是否异常。这个指标主要用来衡量抽取工具在验证集数据上抽取 Markdown 文档的成功率。

1. 克隆项目

git clone https://github.com/opendatalab/Miner-PDF-Benchmark
cd Miner-PDF-Benchmark

2. 安装依赖(推荐使用Python 3.9)

python -m pip install -r requirements.txt

3. 下载评测集

准备评测集，并将评测集解压到datasets目录下，确保datasets目录下为pdf和annotations。 准备的评测集，经过组织后目录如下：

- Miner-PDF-Benchmark/
  - datasets/
    - academic_literature/
      - annotations/
        - academic_literature_xx.md
      - pdf/
    - atlas/
      - annotations/
        - atlas_xx.md
      - pdf/
    - ...
  - evaluate_tool/

4. 评测集预处理

由于当前未对评测集中的图片评测，您需要执行以下命令对图片预处理：

cd evaluate_tool
python clean_photo.py --tool_name annotations --download_dir ../datasets

5. 待评估工具的评测结果准备

请将您需要评估工具生成的 Markdown 文件按照类型复制到datasets/document_types/tool_name目录中,document_types为11种类别对应的标签,tool_name为您的工具名称。 复制后的目录结构如下：

- Miner-PDF-Benchmark/
  - datasets/
    - academic_literature/
      - annotations/
        - academic_literature_xx.md
      - tool_name/
        - academic_literature_xx.md
      - pdf/
    - atlas/
      - tool_name/
        - atlas_xx.md
    - ...

执行以下命令对您待评估工具生成的进行预处理：

cd evaluate_tool
python clean_photo.py --tool_name tool_name --download_dir ../datasets/

6. 计算分数

请执行以下命令计算分数, 其中--tool_name为您待评估的工具名称, --document_types为可选的11种类型对应标签，默认包含所有类型，您也可以指定需要评估的某个或多个类型，多个类型请用空格分开; --download_dir指定 json 文件保存的路径。

cd evaluate_tool
python markdown_calculate.py --tool_name tool_name --download_dir ../datasets/ --document_types <document_types> --results xx.json

使用评估工具对marker工具的学术文献类型进行评估，并生成结果文件。示例如下：

cd evaluate_tool
python clean_photo.py --tool_name annotations --download_dir ../datasets/
python clean_photo.py --tool_name marker --download_dir ../datasets/
python markdown_calculate.py --tool_name marker --download_dir ../datasets/ --results result.json --document_types academic_literature

结果文件见生成的 result.json, 该文件包含了每个 PDF 文件对应的分数，以及所选document_types的分数，以及整体平均分数。

1. 因为验证集量大，构成复杂，我们的标注方法和正确性会持续迭代，当前仍有漏标注等情况，如有少量公式、表格等存在图片没有标注为预期格式等；
2. 不同版本的 latex 公式会有差异，目前没有处理这部分的差异带来的影响；
3. 由于不同抽取工具的表格格式存在差异，且计算过程图片不参与计算；采用开源库(pandoc)转换到markdown格式，并使用正则表达式清洗图片，这个过程会存在误差;
4. 换行和空格对编辑距离指标有影响，目前会替换后再计算得分；
5. nogout输出 mmd, 暂作为 md 比较;
6. 评估过程中，如果因为评测工具自身原因（如某工具处理超时，工具限制文件大小，或者 latex 表格偶发失败等）导致抽取失败，间接导致评测结果受影响，暂时没有额外修正处理;

• 验证集完善（数据集多样性、标注准确性等方面）
• 更大程度提升 PDF 人工标注效率
• 评估指标完善

本项目仍在完善中，并在内部项目中验证使用，未来我们将逐步完善验证集、评测指标等，并在完善后开放验证集下载，欢迎社区开发者参与讨论和贡献。

• marker