Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner
| 項目 | 内容 |
|---|---|
| 論文ID | P27 |
| 区分・分類 | 論文・文書解析・表 |
| 著者・所属 | Yitong Zhou, Mingyue Cheng, Qingyang Mao, Jiahao Wang, Xin Li（State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China）、Feiyang Xu, Xin Li（Artificial Intelligence Research Institute, iFLYTEK Co., Ltd） |
| 発表先 | International Joint Conference on Artificial Intelligence (IJCAI 2025) |
| 発表日 | 2025-08 |
| 引用数 | 1（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.24963/ijcai.2025/279 |
| 論文/pdf/P27.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。VLLM（Vision Large Language Model）の表認識能力を測る階層型ベンチマークを作り、その分析で見つけた弱点（低品質画像）を前処理ツール連鎖で補う NGTR フレームワークを提案している。
研究の目標
表画像を HTML 等の構造化データに変換する「表認識（table recognition）」を、追加学習なし（training-free）の事前学習済み VLLM で行えるようにすること。背景には、従来手法がシナリオごとに専用モデルを学習する必要があり、VLLM の fine-tuning も計算コストが高く汎用能力を失う恐れがある、という問題がある。VLLM 向けの表認識ベンチマークが無いことから、まず評価基盤を作り、ボトルネックを特定したうえで改善策を示すことを狙う。
技術的なやり方
1. 階層型ベンチマーク：VLLM に画像とプロンプトを与え、セル・行・列・表の各レベルで認識能力を測る。
| 粒度 | タスク |
|---|---|
| 表レベル | 行数・列数の検出（VTSD） |
| 行・列レベル | 指定インデックスの行／列の内容列挙（IRDR／ICDR） |
| セルレベル | 結合セル検出（MCD）、内容→位置（CCR）、位置→内容（ICR） |
評価対象 VLLM は Phi-3.5、Llama-3.2-90B（オープン）、GPT-4o-mini、Qwen-VL-Max、GPT-4o、Gemini-1.5-Pro（クローズド）の6種。加えて、ぼかし・露出不足／過多・罫線の不鮮明／欠落／太線化・20°／40°傾きの8シナリオで頑健性を分析（ボトルネック分析）。
2. NGTR（Neighbor-Guided Toolchain Reasoner）：低品質画像を軽量ツールで前処理してから VLLM に渡す。
| モジュール | 内容 |
|---|---|
| Toolkit Preparation | Border Enhancement、Image Upscaling、Noise Reduction、Binarization、Detection and Cropping の5ツール |
| Similarity-based Neighbor Retrieval | ORB 特徴＋Hamming 距離で学習データから類似画像（近傍）を検索し、ツール説明と近傍情報を VLLM に与えて複数のツール呼び出し計画を生成 |
| Tool Invocation Experience Learning | 各計画を近傍画像に適用→VLLM で認識→近傍の正解ラベルと TEDS で採点し、良い計画を選ぶ |
| Reflection-driven Tool Selection | 各ツール適用の前後画像を VLLM が比較し、改善したときだけ採用（二値判定）。不適切なツールによる情報損失を防ぐ |
最後に簡単なプロンプトで VLLM にマークアップ列を生成させる。
データセット：SciTSR（高画質・学術論文）、PubTabNet（72dpi・低画質、検証セットから1,500枚抽出）、WTW（野外画像、傾き・ぼけ・湾曲。内容ラベル無しのため TEDS-Struct のみ）。比較手法：EDD、LGPMA、LORE（従来の軽量 OCR モデル）。指標：TEDS、TEDS-Struct、階層タスクは ACC と micro-F1。
結果
主結果（Table 4、direct = 前処理なし → NGTR 適用）：
| データセット | 指標 | 従来モデル最良 | Gemini direct→NGTR | GPT-4o direct→NGTR |
|---|---|---|---|---|
| SciTSR | TEDS | LGPMA 95.08 | 90.15→91.07（+0.92） | 90.70→92.58（+1.88） |
| SciTSR | TEDS-Struct | LORE 97.22 | 93.73→95.09（+1.36） | 94.20→95.78（+1.58） |
| PubTabNet | TEDS | LGPMA 94.63 | 81.00→84.80（+3.80） | 74.46→85.03（+10.57） |
| PubTabNet | TEDS-Struct | LORE 96.94 | 85.28→89.30（+4.02） | 84.91→92.31（+7.40） |
| WTW | TEDS-Struct | LORE 93.86 | 42.62→44.68（+2.06） | 40.01→52.03（+12.02） |
- 低画質の PubTabNet で改善幅が大きい。ただし従来モデルとの差は残り、特に WTW では VLLM が大きく劣る（空セルの多い表、文字の偏り、傾き・回転・密集で性能低下。VLLM は意味内容の無いセルを無視しがち）。
- オープンの Llama-3.2-90B は PubTabNet の TEDS-Struct で 87.64 を出し、GPT-4o（84.91）を2.73、Gemini（85.28）を2.36上回った。
- ベンチマーク分析：GPT-4o と Gemini が最も強い。全モデルが行より列のタスクを得意とする。傾き（特に40°）が最も性能を落とし、罫線の不鮮明化・欠落の影響は小さい。
- アブレーション（Table 5、GPT-4o 系）：NGTR の PubTabNet TEDS 85.03 に対し、経験学習モジュール無しで 80.57、リフレクション無しで 82.08。
- ハイパーパラメータ：ツール連鎖長 L と計画数 N は中程度が最良（数値は図のみ）。
限界・課題
著者が述べる限界は2点。(1) 性能が用意したツールキットの質に依存する。(2) 近傍候補集合が多様なシナリオを十分に覆っていないと、不適切な近傍が選ばれ性能が落ちる。
要点
- 学習不要の VLLM 表認識はベンチマークで「低品質画像」が主なボトルネックと判明した。
- 近傍の成功経験で前処理ツール連鎖を選び、各ステップを VLLM が自己点検する NGTR で、GPT-4o の PubTabNet TEDS が 74.46→85.03 に改善。
- それでも従来の専用モデルとの差は残り、野外画像（WTW）では大きく劣る。