DocLayLLM: An Efficient Multi-modal Extension of Large Language Models for Text-rich Document Understanding
| 項目 | 内容 |
|---|---|
| 論文ID | P26 |
| 区分・分類 | 論文・文書解析・表 |
| 著者・所属 | Wenhui Liao, Jiapeng Wang, Hongliang Li, Lianwen Jin（South China University of Technology）、Chengyu Wang, Jun Huang（Alibaba Cloud Computing）。Lianwen Jin は SCUT-Zhuhai Institute of Modern Industrial Innovation 兼務 |
| 発表先 | IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2025) |
| 発表日 | 2025-06-10 |
| 引用数 | 13（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1109/cvpr52734.2025.00382 |
| 論文/pdf/P26.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。OCR結果と画像パッチをLLMに直接埋め込む構成と、学習手法 CoT Pre-training・CoT Annealing を提案し、ベンチマークで検証している。
研究の目標
テキストが多くレイアウトが複雑な文書の理解（TDU）を、少ない計算資源で高精度に行う。著者が挙げる既存手法の問題は3つ：OCR-free のMLLMは高解像度画像と大量の学習データが要る、OCR座標をテキストで入力すると入力が長く推論が遅い、LayoutLMv3 等の外部文書エンコーダ（DE）はLLMと特徴空間を揃える大規模な学習が要る。
技術的なやり方
OCRのテキスト・矩形座標と、224×224に固定した画像の196パッチを固定プロンプトに並べてLLMに入力する。テキストはLLM標準の埋め込み、座標とパッチは軽量な埋め込み層＋線形射影でLLMの特徴空間に写す。外部DEは使わず、LLM本体の構造も変えない。
| 段階 | 内容 |
|---|---|
| CoT Pre-training | RVL-CDIP, PubLayNet, PubTabNet, DocLayNet, DocBank, DocILE 等から約3.1M件。非QAの注釈をQA形式に変換する際、レイアウト種別・表構造（XY-Cut の考え方）・幾何関係の3種のCoTを付ける |
| CoT Annealing（SFT） | LayoutLLM の文書QA約300K件。CoT付きデータから始め、直接回答データの比率を上げ、最後は直接回答のみ |
| 学習設定 | Llama3-8B-Instruct（比較用に Llama2-7B-Chat 版も）、LoRA rank 64、学習パラメータ178M、計36 A100日 |
結果
| 比較条件 | 指標 | DocLayLLM | 比較相手 |
|---|---|---|---|
| OCR依存手法・zero-shot（Table 1） | DocVQA | Llama3 78.36、Llama2 72.83 | LayoutLLM_Llama2 74.25 |
| 同上 | KIE平均（FUNSD, CORD, SROIE） | Llama3 79.94、Llama2 77.58 | LayoutLLM_Llama2 70.61、LayTextLLM 66.50 |
| 同上（Table 2、DocLLM の指標） | KIE平均 | Llama3 85.40 | DocLLM 70.43（ベンチマークの学習セット使用） |
| OCR-free手法・zero-shot（Table 3） | KIE平均（FUNSD, SROIE, POIE） | Llama3 77.33 | DocKylin 44.57、TextMonkey 40.37 |
| 下流の学習セットを含めてSFT（Table 4） | DocVQA / InfoVQA / TabFact | 86.52 / 58.36 / 83.36 | TextSquare 84.30 / 51.50 / 84.20 |
- 事前学習データ量は 3.1M。LayoutLLM は 5.7M、LayTextLLM は 10.0M
- Table 4 の7データセットのうち、TabFact 以外の6つで表中の最高値
- アブレーション（事前学習25%規模）：CoT Pre-training を外すと DeepForm 35.41→24.54。座標をテキスト入力すると DeepForm 14.13、埋め込み層で入れると 33.75。入力長は VisualMRC で 6269→2095 トークン（付録 Table C）
限界・課題
独立した限界の節はない。前提としてOCR結果の入力が必要と述べ、OCR品質の影響を付録Eで検証している（DocVQA の ANLS：公式OCR 86.52、商用OCR 87.52）。
要点
OCRテキスト・座標・画像パッチを軽量な埋め込みでLLMに入れ、外部の文書エンコーダなしで文書を理解させる手法。 非QAデータから3種のCoTで事前学習データを作る CoT Pre-training と、SFT終盤に直接回答へ寄せる CoT Annealing を提案。 3.1M件・36 A100日の学習で zero-shot でも既存のOCR依存手法を上回り、下流データを含めると大半のデータセットで OCR-free 手法も上回った。