OCRBench: on the hidden mystery of OCR in large multimodal models
| 項目 | 内容 |
|---|---|
| 論文ID | P23 |
| 区分・分類 | 論文・文書解析・表 |
| 著者・所属 | Yuliang Liu, Zhang Li, Biao Yang, Wenwen Yu, Xiang Bai（Huazhong University of Science and Technology）、Mingxin Huang, Lianwen Jin（South China University of Technology）、Chunyuan Li（Microsoft Research, Redmond）、Xu-Cheng Yin（University of Science and Technology Beijing）、Cheng-Lin Liu（Chinese Academy of Sciences） |
| 発表先 | Science China Information Sciences |
| 発表日 | 2024-12-01 |
| 引用数 | 152（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/s11432-024-4235-6 |
| 論文/pdf/P23.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
評価。大規模マルチモーダルモデル（LMM）のOCR能力を5タスク・29データセットで測り、評価用ベンチマーク OCRBench を提案する論文。
研究の目標
LMM（GPT4V・Gemini 等）は OCR 用データで明示的に学習していないのにゼロショットで文字を読めるが、テキスト関連の視覚タスクでどこまで有効かは未解明だった。本論文は 14 の LMM を Text Recognition、Scene Text-Centric VQA、Document-Oriented VQA、Key Information Extraction（KIE）、Handwritten Mathematical Expression Recognition（HMER）の 5 タスクで評価し、強みと弱みを明らかにする。さらに、多数のデータセットでの評価は時間がかかり注釈誤りも混じるため、手動で検証・修正した 1000 問のベンチマーク OCRBench を作り、LMM の OCR 能力を正確かつ簡便に測れるようにする。
技術的なやり方
評価指標: LMM の出力は説明語を多く含むため、完全一致や ANLS は使わず、「正解（GT）が出力に含まれるか」で統一判定。誤検出を減らすため回答が 4 記号未満の問題は除外。大規模データセットは 3000 問を抽出。
タスクとデータセット
| タスク | データセット |
|---|---|
| Text Recognition | 通常: IIIT5K, SVT, IC13／不規則: IC15, SVTP, CT80, COCOText, SCUT-CTW1500, Total-Text／遮蔽: WOST, HOST／芸術文字: WordArt／手書き: IAM／中国語: ReCTS／手書き数字列: ORAND-CAR-2014／著者作成の ST（意味のある語）と NST（同じ語の文字順をシャッフルした無意味語、各 3000 画像、IIIT5K 辞書から作成） |
| Scene Text-Centric VQA | STVQA, TextVQA, OCRVQA, ESTVQA（中国語 CN と英語 EN に分割） |
| Document-Oriented VQA | DocVQA, InfographicVQA, ChartQA |
| KIE | SROIE, FUNSD, POIE（「What is the value for '{key}'?」等の手動プロンプト） |
| HMER | HME100K（LaTeX 形式で出力させる） |
評価対象モデル: BLIP2-6.7B, mPLUG-Owl, InstructBLIP, LLaVAR, BLIVA, mPLUG-Owl2, LLaVA1.5-7B/13B, MiniGPT4V2, Monkey, UniDoc, DocPedia, GPT4V, Gemini。各データセットの教師あり SOTA（PARSeq, GIT, ERNIE-Layout, StrucTexT 等）と比較。
OCRBench の構成（計 1000 問）: Text Recognition 300（6 種×50）、Scene Text-centric VQA 200（4 データセット×50）、Doc-oriented VQA 200（DocVQA, ChartQA(Aug.), ChartQA(Hum.), InfoVQA 各 50）、KIE 200（SROIE 67, FUNSD 66, POIE 67）、HMER 100。全回答を手動で確認・修正し、別解候補も用意。KIE には「Answer this question using the text in the image directly.」を付加。
結果
- Text Recognition では通常・不規則・遮蔽・芸術文字で教師あり SOTA に匹敵。WordArt では InstructBLIP と BLIVA（73.7）が Supervised-SOTA（72.5）を上回った。一方、手書き・中国語・手書き数字列・無意味語は低い。
- 意味依存: 文字順をシャッフルした NST では ST に比べ LMM の精度が平均 57.0% 低下（SOTA 手法は約 4.6% 低下）。
- 手書き文字: 教師あり SOTA より平均 51.9% 低い。
- 解像度: 多くの LMM は 224×224 入力のため Document VQA・KIE で劣り、1344×896 を扱える Monkey は良好。
- OCRBench スコア（Table 3）: Gemini 659、GPT4V 645、Monkey 514、mPLUG-Owl2 366、LLaVAR 346、LLaVA1.5-13B 331、BLIP2 235、MiniGPT4V2 157。HMER は Gemini 8、GPT4V 9、他は 0。GPT4V は安全審査により 84 画像で回答を拒否。
- 公開後の各社モデル（Table 4、外部ソース）: MiniCPM-V2.6 852、InternVL2-Llama3-76B 842、MiniMonkey-2B 802、Claude3.5-Sonnet 788、GPT-4o-mini 785、Gemini-1.5-Pro 754。
限界・課題
- なぜ LMM が OCR を行えるかは決定的に説明できていない（学習データに OCR 的データが含まれる可能性、視覚トークンと単語埋め込みの整列が仮説）。学習データ量の影響のアブレーション分析が今後の課題。
- OCRBench は多言語文書・多様な場面のテキスト・テキスト検出タスクを含んでおらず、拡張が今後の課題。
- 多くのモデルの学習データは非公開で、モデル自体もプロプライエタリなものが多い。
- LMM は専用手法に比べ大きな計算資源とデータを使うため、タスク特化の手法は依然必要。
要点
LMM の OCR 能力を 5 タスク 29 データセットで評価し、通常の文字認識は SOTA 級だが、手書き・中国語・無意味語・数式では大きく劣り、意味理解に依存して読んでいることを示した。手動検証した 1000 問のベンチマーク OCRBench を提案し、Gemini 659・GPT4V 645 を基準値として公開した。