Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting
| 項目 | 内容 |
|---|---|
| 論文ID | P20 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | Siyi Liu（EPFL、MYBank/Ant Groupインターン時の研究）、Yang Li（MYBank, Ant Group、責任著者）、Jiang Li（MYBank, Ant Group）、Shan Yang（Beihang University）、Yunshi Lan（East China Normal University） |
| 発表先 | Conference on Empirical Methods in Natural Language Processing (EMNLP 2024, Short) |
| 発表日 | 2024-11 |
| 引用数 | 1（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.48550/arXiv.2410.01154 |
| 論文/pdf/P20.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。ラベルなしデータでzero-shot関係抽出（RE）を行う新しいプロンプト枠組み「Self-Prompting」を提案し、ベンチマークで既存手法と比較している。
研究の目標
LLMを使ったzero-shot REは、QA形式への変換（QA4RE）や自己整合性による多数決（SumAsk）などが試みられているが、文と関係の多様さを理解するための詳細で文脈に即したプロンプトが不足しており、性能が伸び悩んでいる。本論文は、LLM自身に関係ごとの合成サンプル（文＋関係トリプル）を生成させ、それをin-context demonstrationとして与えることで、ラベル付きデータを一切使わずにLLM内部のRE知識を引き出すことを狙う。合成サンプルの多様性とカバレッジを確保するため、3段階の多様化戦略を組み込む。
技術的なやり方
合成データ生成（3段階の多様化）と推論の2部構成。
| 段階 | 内容 | 設定 |
|---|---|---|
| 1. Relation Synonyms | 関係の説明文を与え、LLMに関係の同義語を生成させ、元の関係とまとめて意味グループを作る | k=10 |
| 2. Pseudo Sample Generation + Entity Filtering | 各関係について文と関係トリプルを生成。高頻度エンティティを含むサンプルを捨て、エンティティの偏りを防ぐ | n=3（同一エンティティが3回超で除外）。1回に10サンプル生成、関係あたり200サンプル到達か新規エンティティが3反復出なければ停止 |
| 3. Sentence Rephrase | 各文を関係を保ったまま言い換え、文構造の多様性を増やす | r=3 |
| 推論 | テスト文を埋め込み、合成サンプルからコサイン類似度で近い例を取り出し、類似度の低い順→高い順に並べてテスト文に連結してLLMに関係を答えさせる | d=10、text-embedding-ada-002 |
- 使用LLM: ChatGPT（gpt-3.5-turbo-0301）。生成時temperature 1.2、推論時0
- 誤り伝播対策: 同義語生成の段階で関係の説明文を与える（Table 14のプロンプト）
- データセット: FewRel、Wiki-ZSL（未知関係数m=5/10/15、5回繰り返しのmacro-F1平均）、TACRED、SemEval（テストのみ、micro-F1）。API費用のため各データセットからテスト1,000件を関係比率を保って抽出
- ベースライン: zero-shot手法（R-BERT、ESIM、CIM、ZS-BERT、RE-Prompt、RE-Matching、NLI(DeBERTa)、SuRE(PEGASUS)）、LLMプロンプト手法（Vanilla＝デモなし、SumAsk、QA4RE）
結果
主結果（F1）:
| データセット | 条件 | Vanilla | SumAsk | 最良ベースライン | Self-Prompting |
|---|---|---|---|---|---|
| Wiki-ZSL | m=5 | 65.98 | 73.32 | RE-Matching 78.30 | 77.57 |
| Wiki-ZSL | m=10 | 59.36 | 61.69 | RE-Matching 73.96 | 74.81 |
| Wiki-ZSL | m=15 | 59.01 | 41.85 | RE-Matching 67.32 | 68.70 |
| FewRel | m=5 | 90.26 | 75.30 | RE-Matching 92.58 | 90.19 |
| FewRel | m=10 | 74.34 | 62.80 | RE-Matching 82.93 | 82.07 |
| FewRel | m=15 | 65.48 | 42.87 | RE-Matching 73.66 | 76.76 |
| TACRED | - | 44.9 | 57.7 | NLI 55.1 / QA4RE 44.2 | 57.1 |
| SemEval | - | 19.4 | - | QA4RE 32.3 / NLI 23.7 | 52.7 |
- 未知関係数mが増えるほどVanilla・SumAskは大きく低下するが、Self-Promptingは下げ幅が小さい
- アブレーション（m=10、F1）: Wiki-ZSLでComplete 80.0、w/o Rephrase 76.3、w/o Entity Filtering 75.1、w/o Synonyms 73.2、w/o All 66.8、Vanilla 71.2。FewRelで84.3 / 83.2 / 81.7 / 81.3 / 80.0 / 80.1。多様化なしの直接生成（w/o All）はVanillaより悪化
- デモ数d: 1→12で向上するが10超は効果薄く、Wiki-ZSLでは低下。合成サンプル数: FewRelは全量まで単調に向上、Wiki-ZSLは1,000件まで大きく向上し2,500件以降で頭打ち
- RE-Promptの合成データをデモに使った比較（m=10、F1）: FewRelでRE-Prompt 82.50に対し本手法84.28、Wiki-ZSLで72.73に対し79.93
- GPT-4による生成品質判定（各データセット100件）: 本手法の生成データは実データに近く、RE-Promptより正しい関係を含む割合が高い（図のみ、数値の記載なし）
- 生成コスト: 1関係あたり約600サンプルで約$0.264。Wiki-ZSL（113関係）全体で約$30
- モデルサイズ別（FewRel、Qwen系）: Self-PromptingによるF1の平均改善はQwen-1.8Bで14.57%、Qwen-7Bで10.07%、Qwen-14Bで6.63%、ChatGPTで5.24%
限界・課題
著者が述べる限界は2点。(1) 合成データからの適切なin-context demonstrationの選び方は未解明で、不適切なサンプルがノイズとなり性能を損なう（Table 13の失敗例）。(2) ドメイン固有データでの性能は不明。ドメイン固有データの生成自体が未解決の課題であるため。
要点
LLM自身に関係ごとの合成サンプルを「同義語生成→エンティティ頻度フィルタ→言い換え」の3段階で作らせ、推論時に類似例として与えるSelf-Promptingを提案。ラベルなしで既存のLLMプロンプト手法を上回り、未知関係数が増えても性能が落ちにくい。多様化なしの直接生成はむしろ逆効果で、3段階すべてが効く。