A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends
| 項目 | 内容 |
|---|---|
| 論文ID | P08 |
| 区分・分類 | 論文・枠組み・サーベイ |
| 著者・所属 | Yihao Ding, Siwen Luo, Qiang Sun, Wei Liu（The University of Western Australia）／Yue Dai, Yanbei Jiang, Zechuan Li（The University of Melbourne）／Geoffrey Martin, Yifan Peng（Weill Cornell Medicine） |
| 発表先 | Findings of the Association for Computational Linguistics: ACL 2026 |
| 発表日 | 2026 |
| 引用数 | 3（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.18653/v1/2026.findings-acl.652 |
| 論文/pdf/P08.pdf | |
| 読んだ範囲 | 全文（本文10ページ＋付録、計22ページ） |
論文タイプ
サーベイ。MLLM（Multimodal Large Language Model）を使った VRDU（Visually Rich Document Understanding）研究を、アーキテクチャ・表現・訓練・データ・推論・課題の軸で整理し、新手法や独自実験は無い。
研究の目標
VRDU は視覚・テキスト・構造が混在する文書（スキャン・PDF・帳票）から情報を自動抽出・理解する領域。ルール→CNN/RNN→LayoutLMv3 等の文書特化事前学習モデルと進んだが、事前学習データの範囲に縛られドメイン横断に大規模 fine-tuning が要った。近年は MLLM（GPT-4o、LLaVA 等）がタスク特化 fine-tuning なしに文書 QA・情報抽出で高性能を示す。
既存サーベイは MLLM 一般の能力か個別タスク（レイアウト解析・QA・関係抽出）に限られ、MLLM ベース VRDU の体系的視点が無かった。本論文はフレームワークアーキテクチャ（Sec 2）、マルチモーダル表現（Sec 3）、訓練戦略（Sec 4）、データセット（Sec 5）、推論プロンプト（Sec 6）、課題と将来方向（Sec 7）で整理する。対象は文書レベル理解に MLLM を用いる手法に限り、複数文書アプリ・非 LLM 手法・VRD 適応のない MLLM は除外。
技術的なやり方
1. アーキテクチャ（Table 1 で OCR依存19件・OCR-free 20件を比較）
| 種別 | 仕組み | 短所 |
|---|---|---|
| OCR依存 | 外部 OCR/パーサで文字と座標を抽出し、画像と合わせて LLM や多モーダルエンコーダに入力。大規模事前学習なしで構造情報を使える | OCR 誤りが累積（手書き・低品質スキャンで顕著）、低解像度で表現力低下 |
| OCR-free | 文書画像を視覚エンコーダで直接処理し LLM が生成（Donut、mPLUG-DocOwl、UReader）。end-to-end | 細かい文字認識に高解像度が必要で視覚トークンが長大化、text spotting 等の大規模事前学習・指示チューニングが必要 |
汎用 MLLM をそのまま使うとレイアウトの帰納バイアスが弱く、OCR ノイズに敏感で、知識集約タスクでハルシネーションする。金融・産業など機密ドメインではオープンソース LLM を私有文書でローカル tuning することが実運用に不可欠と述べる。
2. マルチモーダル表現（Sec 3）
| モダリティ | 方法と代表例 | 著者の評価 |
|---|---|---|
| テキスト | (i) OCR テキストをプロンプトに直接埋め込む（XY-cut で並べ替え。ICL-D3IE、LLaVA-Read） (ii) 補助エンコーダ LayoutLMv3・Document Former（LayoutLLM、GPE、InstructDoc） (iii) 文字認識・検出・spotting を学習目的にし画像のみ入力（mPLUG-DocOwl、UniDoc） | (i) は OCR と LLM の誤りに縛られる。(ii) は潜在空間を揃える追加訓練が要る。(iii) は訓練負担が重く高解像度が必要 |
| 視覚 | 低解像度（ViT パッチ、LayoutLMv3、低・中解像度デュアルエンコーダ）／高解像度（サブ画像分割、UReader の Shape-Adaptive Cropping、TextMonkey の Shifted Window Attention）／圧縮（Q-Former、Resampler、レイアウト保持畳み込み、HRVDA の Content Detector、DocKylin の低情報領域除去） | 低解像度は細部が落ち OCR 併用になりがち。高解像度は視覚トークン数と資源の均衡が課題 |
| レイアウト | 位置エンコーディング（2D 位置埋め込み、GPE の attention head 別埋め込み、DocLLM の disentangled spatial attention、LayTokenLLM のレイアウト1トークン化）／Layout as Prompt（ICL-D3IE、LAPDoc、LMDX）／訓練中統合（visual grounding、table reconstruction） | 位置エンコーディングは暗黙的で大規模事前学習依存。プロンプト方式は訓練不要だが入力長が増え視覚手がかりを無視。訓練中統合はデータ・計算コスト大 |
| 融合 | ニューラル（外部エンコーダ、LoRA・線形プロジェクタ、AlignVLM）／目標指向（入力→出力の教師あり目的）／プロンプト（LayoutLLM の LayoutCoT、DocLayLLM の CoT 事前学習） | ニューラルは大規模事前学習・SFT 必要。目標指向は注釈品質・訓練複雑度増。プロンプトは事前定義の推論戦略に依存し汎化が限定的 |
3. 訓練パラダイム（Sec 4、Table 3）
| 段階 | 内容 |
|---|---|
| 事前学習 | masked information modeling、クロスモダリティ整合。OCR-free は文字認識・検出・キャプション、複数ページのレイアウト整合、周波数領域特徴整合（DocPedia） |
| 指示チューニング | instruction-response ペアで訓練。VRD QA・KIE・分類を大規模データで実施、合成データで拡張。bbox を同時予測する例（TGDoc、UniDoc）も |
| 訓練戦略 | 多くは事前学習→指示チューニング→SFT。ICL やマルチモーダルプロンプトで訓練不要にするものは少数 |
| 凍結/学習 | LLM backbone は事前学習・指示チューニングで凍結が多く SFT で学習可能に。視覚エンコーダは事前学習で凍結、指示チューニングで解凍が典型。プロジェクタは全段階で学習、アダプタ（LoRA、cross-attention、abstractor、compressor）は指示チューニングか SFT で学習 |
4. データセット（Sec 5、Table 6〜8）
| 用途 | 内容 |
|---|---|
| 事前学習 | IIT-CDIP（600万件超、レイアウト注釈なし）、RVL-CDIP（40万件・16カテゴリ）。自己収集（スライド、学術論文）も。Texthawk2 は 100M |
| 指示チューニング | ベンチマーク由来、または OCR 抽出＋テンプレート/LLM で合成（LLaVAR は 422K ノイズあり＋16K 高品質） |
| KIE | SROIE、FUNSD、CORD、DocILE から、スキーマ無しの KVP10k、CC-OCR-KIE へ。多言語・複数ページ・オープン語彙化 |
| VQA | DocVQA、InfographicVQA から、多言語（MTVQA、JDocQA）、長文（LongDocURL、BRIDGE、MMLongBench-Doc）、専門推論（SEEPHYS）、大規模（MMVQA）へ |
付録 Table 5 で OCR エンジン・文書パース API・Vision LLM（Tesseract、PaddleOCR、Mistral OCR、Google Cloud Vision、Adobe PDF Extract、MinerU、olmOCR、DeepSeek-OCR 等）をデプロイ形態・価格・言語・オープン性・GPU・文書パース対応で比較。
5. 推論プロンプト（Sec 6）
OCR-free は画像（複数ページも）＋クエリ、bbox 出力には追加プロンプト。OCR依存は抽出テキスト・レイアウト＋クエリ（vision-free）か、画像もエンコーダに入れる（vision-dependent）。bbox や markdown でレイアウトをプロンプトに入れる例もある。
結果
独自実験はなく、付録 C に既存論文の報告値を集約（Table 9・10）。
| 傾向 | 根拠 |
|---|---|
| OCR依存は FUNSD・CORD・SROIE で安定して強い（80%超が多い） | GPE: FUNSD 82.6 / CORD 86.9 / SROIE 97.8、PDF-WuKong: FUNSD 85.1、LayTextLLM: CORD 96.5 / SROIE 95.8 |
| OCR-free は従来データセットで遅れるが DocVQA・ChartVQA・InfoVQA で並ぶか上回り始めた | TokenFD: DocVQA 94.2 / ChartVQA 86.6 / InfoVQA 76.5、Marten: DocVQA 92.0 / InfoVQA 75.2、PP-DocBee: DocVQA 90.6 |
| 汎用 MLLM も高い | GPT4o 20240806: DocVQA 92.8 / ChartVQA 85.7 / InfoVQA 66.4、InternVL2-8B: DocVQA 91.7 |
| OCR-free の一部は特定データセットで極端に低く汎化に課題 | TGDoc: FUNSD 1.7 / DocVQA 9.0、UniDoc: DocVQA 6.5、Llavar-7B: DocVQA 11.6 |
| 複数ページは VRD 向け機構が汎用を大きく上回り、上位は OCR依存 | GRAM: MPDocVQA 83.0 / DUDE 53.4、PDF-WuKong: MPDocVQA 76.9 / DUDE 56.1、DocThinker: DUDE 56.8、mPLUG-DocOwl2（OCR-free）: MPDocVQA 69.4 / DUDE 46.7、Idefics3-8B: MPDocVQA 67.2 / DUDE 38.7 |
限界・課題
サーベイ自体の限界（Limitations 節）: 定性的分析で網羅的な head-to-head 比較は無い。実運用・産業課題の議論は限定的（多くが非公開）。今後は定量メタ分析・産業導入の知見・継続更新。
分野の課題（Sec 7）
| 課題 | 内容 |
|---|---|
| 合成データ | 検証されずノイズが多く実ユーザー入力を反映しない。human-in-the-loop と強化学習を提案 |
| 長文書 | 大半が単一ページ向け。retriever でページ選択する方式はエンティティ間の意味・論理依存を捉えきれない。ベンチマークも抽出中心で multi-hop 推論が少ない |
| 多言語 | モデル・ベンチマーク・事前学習コーパスが英語中心。多言語ベンチマーク、言語非依存表現を提案 |
| RAG | レイアウト曖昧さと埋め込み不整合で検索が脆く、検索と推論が分離しテキスト中心。反復推論・動的証拠精錬を持つ多モーダル RAG を提案 |
| エージェント | PDF パーサや retriever をツールとして使う研究（MDocAgent、DocAgent）はあるが、多様な形式・チャート/表への対応、マルチエージェント協調・知識衝突が未解決 |
要点
MLLM ベース文書理解を OCR依存／OCR-free に分け、テキスト・視覚・レイアウトの表現と融合、訓練段階ごとの凍結方針、データセット、推論プロンプトまで体系化したサーベイ。 報告値の集約では帳票系 KIE は OCR依存が強く、DocVQA・チャート系は OCR-free が追いつきつつあり、複数ページは OCR依存が上位。 今後の課題は合成データ品質、長文書、多言語、多モーダル RAG、エージェント化。