OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations
| 項目 | 内容 |
|---|---|
| 論文ID | P24 |
| 区分・分類 | 論文・文書解析・表 |
| 著者・所属 | Linke Ouyang, Yuan Qu, Hongbin Zhou, Jiawei Zhu, Rui Zhang, Qunshu Lin, Bin Wang, Zhiyuan Zhao, Man Jiang, Xiaomeng Zhao, Jin Shi, Fan Wu, Pei Chu, Minghao Liu, Zhenxiang Li, Chao Xu, Bo Zhang, Botian Shi, Zhongying Tu, Conghui He（Shanghai AI Laboratory, Abaka AI, 2077AI） |
| 発表先 | IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2025) |
| 発表日 | 2025-06-10 |
| 引用数 | 29（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1109/cvpr52734.2025.02313 |
| 論文/pdf/P24.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
評価。PDF文書解析のベンチマークと評価手順を作り、パイプライン型ツールとVLMを横断比較した。
研究の目標
LLM・RAG向けの文書解析（PDFから構造化テキストを抽出）の既存ベンチマークは、学術論文に偏る、Edit Distance・BLEU では表記揺れのある数式・表を公平に測れない、全体スコアしか出ず弱点が見えない、という問題がある。9文書タイプ・19レイアウトカテゴリ・15属性ラベルを持つ OmniDocBench で、end-to-end／タスク別／属性別に公平に比較できるようにする。
技術的なやり方
| 工程 | 内容 |
|---|---|
| データ | 20万件超のPDFから ResNet-50 特徴＋Faiss クラスタリングで6,000ページを抽出し、属性で均衡化して981ページ（English 290・Simplified Chinese 612・Mixed 79） |
| 注釈 | bbox（19カテゴリ）・属性・読み順・キャプション対応、テキスト／数式（LaTeX）／表（HTML・LaTeX）。計10万件超。モデルで事前注釈→アノテータ修正→専門家検査 |
| 評価手順 | Markdown出力から正規表現で表・数式・テキストを抽出し、Adjacency Search Match で段落を対応付け。ヘッダ・フッタ・キャプション等は指標から除外 |
| 指標 | テキスト・読み順: Normalized Edit Distance／表: TEDS・Edit Distance／数式: CDM・Edit Distance・BLEU |
| 対象 | Pipeline Tools（MinerU, Marker, Mathpix）、Expert VLMs（GOT-OCR2.0, Nougat）、General VLMs（GPT-4o, Qwen2-VL-72B, InternVL2-76B）。単一タスクは各専用モデルも比較 |
結果
End-to-end（Table 2、EN/ZH）
| 手法 | Text Edit↓ | Formula CDM↑ | Table TEDS↑ | Read Order Edit↓ | Overall Edit↓ |
|---|---|---|---|---|---|
| MinerU | 0.061/0.215 | 57.3/42.9 | 78.6/62.1 | 0.079/0.292 | 0.15/0.357 |
| Marker | 0.08/0.315 | 17.6/11.7 | 67.6/49.2 | 0.114/0.34 | 0.336/0.556 |
| Mathpix | 0.105/0.384 | 62.7/62.1 | 77.0/67.1 | 0.108/0.304 | 0.191/0.365 |
| GOT-OCR | 0.189/0.315 | 74.3/45.3 | 53.2/47.2 | 0.141/0.28 | 0.287/0.411 |
| Nougat | 0.365/0.998 | 15.1/16.8 | 39.9/0.0 | 0.382/0.954 | 0.452/0.973 |
| GPT-4o | 0.144/0.409 | 72.8/42.8 | 72.0/62.9 | 0.128/0.251 | 0.233/0.399 |
| Qwen2-VL-72B | 0.096/0.218 | 82.2/61.2 | 76.8/76.4 | 0.119/0.193 | 0.252/0.327 |
| InternVL2-76B | 0.353/0.290 | 67.4/44.1 | 63.0/60.2 | 0.317/0.228 | 0.44/0.443 |
文書タイプ別テキスト認識（Table 3、Edit Distance↓、抜粋）
| 手法 | Academic | Financial | Slides | Notes | Newspaper |
|---|---|---|---|---|---|
| MinerU | 0.025 | 0.033 | 0.124 | 0.984 | 0.171 |
| GPT-4o | 0.146 | 0.348 | 0.163 | 0.607 | 0.751 |
| Qwen2-VL-72B | 0.085 | 0.047 | 0.061 | 0.168 | 0.676 |
単一タスク
| タスク | 最良 | 補足 |
|---|---|---|
| レイアウト検出（mAP平均） | DocLayout-YOLO 47.38 | 次点 SwinDocSegmenter 35.89 |
| 表認識（TEDS） | RapidTable 82.5 | 回転表では全モデル8.5〜30.5 |
| OCR（Edit Distance） | PaddleOCR EN 0.071／ZH 0.055 | 汎用VLMは回転・中英混在に弱い |
| 数式（CDM） | GPT-4o 86.8、Mathpix 86.6、UniMERNet-B 85.0 | 完全一致率 ExpRate@CDM は GPT-4o 65.5、Mathpix 2.8（カンマ等の欠落） |
著者の整理：ほぼ全手法で英語が中国語より高精度。パイプライン型は論文・財務報告・新聞に強く、汎用VLMはスライド・手書きノート・劣化ページ（ぼやけ・透かし・カラー背景）に強いが、新聞のような高密度ページは入力解像度とトークン長の制約で崩れる。多段組・複雑レイアウトでは全モデルの読み順精度が下がる。MinerU は手書きノートを図として検出する。
限界・課題
限界の専用節は無い。インライン数式は出力形式が不統一なため個別評価せずテキストに含め、ヘッダ・フッタ・キャプション等は評価対象外とした。今後の方向として、VLMのレイアウト認識型設計とドメイン特化 fine-tuning を挙げている。
要点
9文書タイプ・981ページに詳細な注釈を付けた文書解析ベンチマーク OmniDocBench と、要素別指標による統一評価手順を作った。 パイプライン型は論文・財務報告・新聞に強く、汎用VLMはスライド・手書き・劣化ページに強いが高密度ページで崩れる。 単一タスクの最良は DocLayout-YOLO（レイアウト）、RapidTable（表）、PaddleOCR（OCR）、GPT-4o・Mathpix・UniMERNet（数式）。