Large language models for generative information extraction: a survey
| 項目 | 内容 |
|---|---|
| 論文ID | P01 |
| 区分・分類 | 論文・枠組み・サーベイ |
| 著者・所属 | Derong Xu, Wei Chen, Wenjun Peng, Chao Zhang, Tong Xu, Xiangyu Zhao, Xian Wu, Yefeng Zheng, Yang Wang, Enhong Chen（State Key Laboratory of Cognitive Intelligence & University of Science and Technology of China / Department of Data Science, City University of Hong Kong / Jarvis Research Center, Tencent YouTu Lab / Anhui Conch Information Technology Engineering Co., Ltd.） |
| 発表先 | Frontiers of Computer Science |
| 発表日 | 2024-11-11 |
| 引用数 | 291（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/s11704-024-40555-y |
| 論文/pdf/P01.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
サーベイ。LLM を用いた生成型情報抽出の既存研究をサブタスク別・技術別に分類し、代表手法の性能を表で比較して今後の方向性を論じる（著者らは「生成型 IE × LLM の最初のサーベイ」と位置づけ）。
研究の目標
情報抽出（IE）はテキストから実体・関係・事象などの構造化知識を取り出す処理で、知識グラフ構築・推論・QAの基盤となる。従来はタスクごとに独立したモデルを学習する必要があり、注釈コーパス等のコストが大きかった。生成型LLMの登場で「構造を生成する」生成型IEが急増し、数百万実体規模のスキーマでも性能劣化が小さいなど実用面で有利とされる。
しかし既存サーベイは (1) 複数タスクを一つの枠組みで扱う universal framework と (2) 学習データが少ない場面向けの学習技術を体系的に扱っていない。本論文はこれらを網羅的に整理し、代表手法の数値比較から技術的知見と今後の研究方向を示すことを狙う。GitHub の公開リポジトリ（LLM4IE）で関連研究と資源を継続更新している。
技術的なやり方
定式化
識別型 IE は三つ組 (s, r, o) の尤度最大化または BIESO タグ系列の尤度最大化。生成型 IE は入力 X・プロンプト P・目標系列 Y に対し自己回帰で p_θ(Y|X,P) = Π p_θ(y_i|X,P,y_<i) を最大化する（θ は凍結でも学習可能でもよい）。
分類軸1：IEサブタスク
| サブタスク | 内訳 | 代表手法（本文で言及） |
|---|---|---|
| NER | entity identification / entity typing | GPT-NER（NERを生成タスク化し self-verification で NULL 入力の誤ラベルを修正）、Xie et al.（学習不要の self-improving、擬似デモで zero-shot NER を強化） |
| RE | relation classification / relation triplet / relation strict | QA4RE（REをQA形式に揃える）、GPT-RE（タスク認識表現と推論付きデモ）、Li et al.（LLM＋自然言語推論モジュールで文書レベルRE） |
| EE | event detection（trigger）/ event argument extraction | Code4Struct（テキストをコードへ変換し構造を扱う）、PGAD（text diffusion で文脈対応プロンプトを生成） |
| Universal IE | NL-LLMs：UIE, InstructUIE, ChatIE / Code-LLMs：Code4UIE, CodeKGC, GoLLIE | NL系はプロンプトが簡潔だがIEの構文構造と乖離した出力を生むことがある。Code系は形式言語で構造表現に向くが Python クラス定義に多くのトークンを要し文脈内サンプル数が制限される |
分類軸2：技術
| 技術 | 内容 | 代表手法 |
|---|---|---|
| Data augmentation | データ注釈（LLMaAA, AugURE）、知識検索（PGIM, Amalvy et al.）、逆方向生成（SynthIE, STAR, EnTDA）、fine-tuning 用合成データ（UniversalNER：ChatGPT を教師に蒸留、GNER：Pile-NER 約240K実体・13K実体カテゴリ） | 4戦略に分類 |
| Prompt design | QA形式（QA4RE, summarize-and-ask, ChatIE）、Chain-of-thought（PromptNER, Bian et al., Yuan et al.）、Self-improvement（Xie et al., ProgGen） | パラメータを変えずに性能向上 |
| Zero-shot learning | 指示（InstructUIE）やガイドライン（GoLLIE）で未知タスク・ドメインへ一般化、BART-Gen、QA4RE/ChatIE | universal framework と組み合わせ |
| Constrained decoding | 文法制約デコーディング（Geng et al.、入力依存文法）、線形化グラフ生成（Zaratiana et al.、pointing 機構と動的語彙） | 出力を構造に従わせる |
| Few-shot learning | TANL, UIE, collaborative domain-prefix tuning（学習あり）、GPT-NER, GPT-RE（ICL）、CODEIE, CodeKGC（コード形式プロンプト） | コード形式プロンプトは NL-LLMs より優れると報告 |
| Supervised fine-tuning | DEEPSTRUCT（構造事前学習）、UniNER（蒸留）、GIELLM（混合データセット） | 最も一般的で有望 |
その他の整理
- 特定ドメイン応用（multimodal、multilingual、medical、scientific、astronomical、historical、legal）を Table 5 で手法・タスク・パラダイム・backbone 別に一覧化
- 評価・分析研究：NER/RE/EE 個別評価と ChatGPT の横断評価（Li et al.、Han et al.）
- Table 7 に NER/RE/EE の代表データセット統計、Table 8 に BART/T5/GLM/LLaMA/GPT 系 backbone の一覧
結果
数値は各手法の原論文からの転記（Micro-F1, %）。
NER（Table 1）
- few-shot/zero-shot は SFT・DA に対し大きな差がある
- ICL では backbone の差が小さくても手法間の差が大きい。GPT-NER は他の ICL 手法に対し各データセットで少なくとも 6% 、最大約 19% 高い（GPT-NER: ACE04 74.2 / ACE05 73.59 / CoNLL03 90.91 / OntoNotes 5.0 82.2 / GENIA 64.42）
- SFT 後は backbone のパラメータ数が数百倍違ってもモデル間の差は小さい
- SFT、特に universal モデルはデータセット間のばらつきが大きい。YAYI-UIE と KnowCoder は CoNLL03 で他を少なくとも 2.89% と 1.22% 上回る（96.77 / 95.1）一方、GENIA では最良モデルより 7.04% と 5.55% 低い。著者はニュース・SNS中心の学習データと生物医学ドメインの分布差が原因と仮説を立てている
- EnTDA（DA, T5-base）は全データセットで最良（ACE04 88.21 / ACE05 87.56 / CoNLL03 93.88 / OntoNotes 5.0 91.34 / GENIA 82.25）
RE（Table 2, 3）
- universal IE モデルは難しい relation strict に強く（例：KnowCoder NYT 93.7 / ADE 84.8、InstructUIE NYT 90.47 / CoNLL04 78.48 / SciERC 45.15）、タスク特化手法は relation classification など簡単な設定を解いている
- ICL 系は relation strict で大きく劣る（例：CODEIE NYT 32.17 / ACE05 14.02 / SciERC 7.74）
- relation classification では zero-shot の SUMASK が TACRED 79.6、ICL の GPT-RE が SemEval 91.9、SFT の REBEL が Re-TACRED 90.36
- NER に比べ RE はモデル間の性能差が顕著で、LLM の伸びしろが大きいと指摘
EE（Table 4, ACE05）
- 現行手法の大多数は SFT で、zero/few-shot は少数
- 生成型は識別型を大きく上回り、特に argument classification で差が大きい（生成型 InstructUIE Trg-C 77.13 / Arg-C 72.94、QGA-EE Arg-C 72.8、PAIE Arg-C 72.7 に対し、識別型 USM Arg-C 55.83、RexUIE 59.15、Mirror 55.88）
横断的所見
- SFT 後の universal IE モデルは NER/RE/EE の大半のデータセットでタスク特化モデルを上回る
- 純粋なプロンプトベース手法は、より小さいモデルの SFT にまだ及ばない。大規模 LLM によるデータ注釈と追加データでの SFT の組み合わせが性能最適化と注釈コスト削減に有効と結論
- 評価研究の報告：few-shot GPT-3 は RE で SOTA に近い（Wadhwa et al.）、ChatGPT は EE で苦戦（Gao et al.）、標準 IE 設定では ChatGPT は BERT 系に概ね劣るが OpenIE では優れる（Li et al.）、主要な誤り型は「未注釈スパン」（Han et al.）
限界・課題
著者が述べる課題と今後の方向：
| 項目 | 内容 |
|---|---|
| Universal IE | 既存の統一手法にも長い文脈入力、構造化出力の不整合といった限界がある。ドメイン・タスクに柔軟に適応する枠組み（タスク特化モデルの知見の統合など）が必要 |
| Low-resource IE | 資源の少ない場面では依然困難。ICL の事例選択の改善、ドメイン適応・マルチタスク学習などの cross-domain 学習、LLM による効率的な注釈戦略の探索が必要 |
| Prompt design | 事前学習との整合（コード生成など）、推論を促す設計（CoT）、対話的プロンプト（multi-turn QA）の探索 |
| Open IE | 候補ラベル集合が与えられない設定では、LLM に優位がある一方で難しいタスクでは性能が低い例が残る |
| Data augmentation | 学習データを拡張し汎化を改善する一方、ノイズを持ち込み抽出品質を損なう可能性がある |
| LLM 適用全般（序論） | 自然言語出力と構造化形式の不整合、ハルシネーション、文脈依存、高い計算資源要求、内部知識の更新困難 |
また Fig. 2 の分類図は紙幅の都合で一部論文を省略しており、比較表の数値は各原論文からの転記である。
要点
LLM による生成型 IE の研究を「サブタスク（NER/RE/EE/universal）」と「技術（データ拡張・プロンプト設計・zero/few-shot・制約デコーディング・SFT）」の2軸で体系化した最初のサーベイ。 原論文の数値比較から、SFT した universal モデルがタスク特化モデルを大半で上回り、プロンプトのみの手法は小型モデルの SFT に及ばず、生成型は EE（特に argument classification）で識別型を大きく上回ると整理。 今後の課題として universal IE・低資源 IE・プロンプト設計・Open IE を挙げ、LLM 注釈＋SFT の組み合わせを有望とする。