A survey on cutting-edge relation extraction techniques based on language models
| 項目 | 内容 |
|---|---|
| 論文ID | P06 |
| 区分・分類 | 論文・枠組み・サーベイ |
| 著者・所属 | Jose A. Diaz-Garcia（Department of Computer Science and A.I., University of Granada, Spain）、Julio Amador Diaz Lopez（SiftyML, London, UK） |
| 発表先 | Artificial Intelligence Review |
| 発表日 | 2025-07-01 |
| 引用数 | 15（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/s10462-025-11280-0 |
| 論文/pdf/P06.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
サーベイ。ACL系会議（ACL・NAACL・AACL・EACL）の2020〜2023年の論文137本を収集・分類し、言語モデルを使った Relation Extraction（RE）の手法・モデル・データセットを体系的に整理している。
研究の目標
背景：RE は文中のエンティティ間の関係を同定・分類するタスクで、NER・relation identification・relation classification の3段階からなる。生物医学・金融・法律などで非構造テキストから関係を自動抽出する基盤であり、近年は BERT などの言語モデルの導入で精度が大きく向上した。既存サーベイ（Bassignana and Plank 2022 は ACL 2017〜2021年の科学文献 RE に限定、Wadhwa et al. 2023 は LLM の影響に限定）を、対象会議・期間・モデルの範囲の面で拡張することを狙う。
到達点：以下4つの研究課題（RQ）に答える。
| RQ | 問い |
|---|---|
| RQ1 | 言語モデルを使うシステムが解決しようとしている RE の課題は何か |
| RQ2 | RE で最もよく使われる言語モデルは何か |
| RQ3 | 言語モデルを使った RE のベンチマークとして使われるデータセットは何か |
| RQ4 | GPT や T5 のような新しい LLM は、BERT のような広く使われるモデルと比べて RE に有用か |
技術的なやり方
文献収集（2023年9月〜2024年1月に実施）
| 項目 | 内容 |
|---|---|
| 対象会議 | ACL、NAACL、AACL、EACL の2020〜2023年（2020年を起点にしたのは、BERT が NAACL 2019 で発表され言語モデルの本格導入が始まった年のため） |
| 検索式 | タイトルまたは要旨に "Relation Extraction" を含む（これが唯一の検索条件） |
| 包含基準 | 最新の言語モデルを使った新手法または重要な進展を示す論文 |
| 除外基準 | temporal RE など伝統的な RE から外れる領域、NER 中心の論文、言語モデルや単語埋め込みを基盤としない論文、広く採用されていない新規エンコーディング手法の論文 |
論文数（Table 1）
| 区分 | 本数 |
|---|---|
| 総数 | 137 |
| ACL系会議の論文 | 92 |
| うちデータセット提案論文 | 11 |
| うち研究論文 | 81 |
| 包含基準を通過 | 65 |
| 包含基準で除外 | 16 |
| データセット論文（合計） | 56（ACL系の11本＋65本のいずれかで使われたデータセットの論文45本） |
分析の枠組み
- 65本をタスク（文レベル／文書レベル／多言語・マルチモーダル／few-shot・低リソース／遠隔教師あり／Open RE／マルチタスク）、サブタスク（NER／relation identification／relation classification）、モデル群（CNN／LSTM／Transformer／Graph based）で分類し、会議・年ごとの表（Table 2〜4）にまとめる
- データセットは調査期間前（DocRED、TACRED、FewRel、ACE05、SemEval-2010 Task 8 など）と期間中（Re-DocRED、BioRED、MultiTACRED、REDfm、MNRE など）に分けて整理し、利用回数（Table 10）と統計（Table 11）を示す
- LM と LLM の比較（Sect. 6）は TACRED（文レベル）・DocRED（文書レベル）・FewRel（few-shot／zero-shot）の3ベンチマークで上位5モデルを集めて行う
- BERT が古いことによる偏りを補正するため、利用回数をモデル公開からの経過年数で割った正規化値（tu/y）も算出
- 補足として Web of Science でタイトル "relation extraction" ＋ モデル名で検索し、2023〜2024年の件数を確認
タスク別の代表的手法（Sect. 5.1 より抜粋）
| タスク | 代表的手法・論文 | 使用言語モデル |
|---|---|---|
| 文レベル | UNIRE（Wang et al. 2021、joint）、PURE（Zhong and Chen 2021、pipeline）、CORE（Wang et al. 2022b）、prompt-based fine-tuning（Yang and Song 2022） | BERT、ALBERT、SciBERT、RoBERTa |
| 文書レベル | E2GRE（Huang et al. 2021a、証拠文の同時抽出）、LSR（Nan et al. 2020）、SAIS（Xiao et al. 2022）、DREEAM（Ma et al. 2023、証拠誘導 attention＋自己学習） | BERT、RoBERTa、SciBERT |
| 多言語・マルチモーダル | HERBERTa（Seagnti et al. 2021、SMILER）、mREBEL（Huguet Cabot et al. 2023、REDfm）、Wu et al. 2023（scene graph の融合） | M-BERT、mBART-50、KLUE、AnchiBERT、CLIP |
| few-shot・低リソース | FREDo ベンチマーク（Popovic et al. 2022）、NBR（Xu et al. 2023b、NLI 形式化）、S2ynRE（Xu et al. 2023a、GPT-2／GPT-3.5 で合成データ生成）、OffMML-G（Najafi and Fyshe 2023、T5 で質問生成） | BERT、BioLinkBERT、PubMedBERT、GPT、T5 |
| 遠隔教師あり | Hao et al. 2021（false negative 対策）、RERE（Xie et al. 2021）、UG-DRE（Sun et al. 2023、不確実性推定で疑似ラベルを除去）、SENT（Ma et al. 2021、negative training） | BERT、RoBERTa、GloVe＋BiLSTM |
| Open RE | relation-oriented clustering（Zhao et al. 2021）、actively supervised clustering（Zhao et al. 2023b）、NOTA 関係の導入（Zhao et al. 2023c） | BERT |
| マルチタスク | A-GCN（Tian et al. 2021b）、partition filter network（Yan et al. 2021）、Jointprop（Zheng et al. 2023b） | BERT、ALBERT、SciBERT |
結果
モデル利用頻度（RQ2、Table 8）：BERT（base）が45本で最多、調査対象論文の約55%。2位は RoBERTa。T5 や GPT などの LLM を使用または言及する論文は 8.5%。公開年で正規化しても BERT は 45/5=9 で T5・GPT より高い。
| モデル | 使用回数 |
|---|---|
| BERT base | 45 |
| RoBERTa large | 10 |
| SciBERT | 7 |
| GloVe／ALBERT xxlarge／RoBERTa base | 各4 |
| CNN-based encoder／T5／BERT large／Span-BERT | 各3 |
| GPT-3.5／GPT-2／Word2Vec／PubMedBERT | 各2 |
2023年の論文に限った正規化分析（Table 9）：BERT base 9本（45%、正規化後1.80）、RoBERTa large・T5・GPT-3.5 が各2本（10%、正規化後はそれぞれ0.50・0.50・1.00）。
データセット利用頻度（RQ3、Table 10）：TACRED 18、DocRED 15、FewRel 12、SemEval 2010 Task 8 10、ACE05 9、SciERC 9、NYT 8、TACRED-Revisited 5、Re-DocRED 4、ACE04 4、Re-TACRED 4。
LM vs LLM の性能比較（RQ4、Table 5〜7、F1）
| ベンチマーク | 1位 | 2位 | 3位 | 4位 | 5位 |
|---|---|---|---|---|---|
| TACRED（文レベル） | DeepStruct 76.8（GLM） | UNIST 75.5（RoBERTa） | RE-MC 75.4（RoBERTa） | GEN-PT 75.3（T5） | BERT 75.2（BERT） |
| DocRED（文書レベル） | DREEAM 67.53（RoBERTa） | KD-Rb-l 67.28（RoBERTa） | SSAN-RoBERTa-large 65.92（RoBERTa） | SAIS-RoBERTa-large 65.11（RoBERTa） | Eider-RoBERTa-large 64.79（RoBERTa） |
| FewRel（zero-shot） | ESC-ZSRE 81.68（BERT） | RelationPrompt 79.96（GPT2+BART） | IDL 62.61（BERT） | OffMML-G(+negs) 61.3（T5） | ZS-BERT 57.25（BERT） |
- 上位結果の75%を BERT・RoBERTa が占め、LLM は25%。DocRED の上位5件はすべて RoBERTa large をエンコーダに使用
- 著者は RoBERTa が文書レベルで強い理由として、大規模な事前学習データ、NSP を捨て MLM のみで学習、BERT の512トークン制限を超える長い系列で学習できる点を挙げる
- Web of Science 検索（2023〜2024年）：BERT 31本に対し、T5・GPT は各3本
動向（Table 2〜4、Fig. 2〜3）
- 調査序盤は CNN・LSTM も使われたが、2022〜2023年は Transformer 系に集中（例：ACL 2023 は Transformer 14本・Graph based 1本・CNN／LSTM 0本）
- 文書レベル RE を扱う論文の54%、few-shot・低リソースの論文はほぼ100%が Transformer 系
- サブタスクでは relation identification が最も少なく、多くのデータセットが関係ペアを事前に付与しているため relation classification が中心
- 年と論文数の Pearson 相関は、年ごとの累積で0.68、年×会議で0.32（正の相関）
限界・課題
著者が自らの方法について述べている注意点：
- 多くの論文が RE の何段階を実施しているか明記しておらず、著者がモデル・手法・結果から推定した
- サブモデルが明記されていない論文はベースモデルとして集計した
- AACL・NAACL・EACL は隔年開催のため、年別の論文数に影響する
- BERT は最も古いモデルの一つで採用数が多く見える偏りがあり得るため、公開年による正規化で補正した
- 分野は変化が速く、LLM の影響は今後の研究で変わり得る
- レビュー対象論文は CO2 排出量やエネルギー消費を明示していない
著者が挙げる RE の未解決課題（RQ1）：文書レベル RE、マルチモーダル RE（調査期間中に作られたマルチモーダルのデータセットは1つのみ）、多言語 RE（学習時に見ていない言語・転移学習）、few-shot・低リソース RE、Open RE、曖昧性・多義性、否定・不確実表現（"none of the above" 関係）の扱い。
要点
- ACL系4会議の2020〜2023年の137本（本体65本）を分類し、RE では BERT 系が支配的（BERT 45本・約55%、LLM の利用は8.5%）と示した
- SOTA は RoBERTa 系が多く（特に DocRED は上位5件すべて）、T5・GPT などの LLM は few-shot／zero-shot で有望だが抽出タスクの中心にはまだない
- ベンチマークの3本柱は TACRED（文レベル）・DocRED（文書レベル）・FewRel（few-shot）