OneNet: A Fine-Tuning Free Framework for Few-Shot Entity Linking via Large Language Model Prompting
| 項目 | 内容 |
|---|---|
| 論文ID | P55 |
| 区分・分類 | 論文・データ整備 |
| 著者・所属 | Xukai Liu, Ye Liu, Kai Zhang, Kehang Wang, Qi Liu, Enhong Chen（State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China） |
| 発表先 | Conference on Empirical Methods in Natural Language Processing (EMNLP 2024) |
| 発表日 | 2024-11 |
| 引用数 | 0（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.48550/arXiv.2410.07549 |
| 論文/pdf/P55.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。few-shot Entity Linking 向けに、LLM をプロンプトだけで使うフレームワーク OneNet を提案し、7データセットで評価している。
研究の目標
Entity Linking（EL：文中の曖昧な mention を知識ベースのエンティティに結び付ける処理。KG 構築の中核ステップとされる）の従来手法は大規模学習データと事前定義の外部特徴に依存するため、新しいエンティティや専門ドメインのように少数例しかない場面で誤りやすい。LLM の in-context learning と事前知識を使い、fine-tuning なしで few-shot EL を行うことが狙い。LLM を使う際の課題として次の3つを挙げる。(1) 候補エンティティと説明が10,000トークンを超えることがあるトークン長制限、(2) CoT が内在知識を抑えてしまう推論と事前知識のバランス、(3) hallucination。
技術的なやり方
3モジュールをすべて LLM へのプロンプトで構成する（fine-tuning なし）。コードは https://github.com/laquabe/OneNet で公開。
| モジュール | 内容 |
|---|---|
| Entity Reduction Processor (ERP) | Entity Representation Summarizer でエンティティ説明を1文に要約する。Candidate Entity Filter は list-wise の判定を候補1件ずつの point-wise 判定（yes/no、CoT なし）に変えて、無関係な候補を除く |
| Dual-perspective Entity Linker (DEL) | Contextual Entity Linker は指示・CoT例・質問からなるプロンプトで文脈から推論する。CoT例は、上位モデルの回答のうち正解したものだけを集めた CoT Exemplar Pool から選ぶ。選び方（Adaptive CoT Selector）は、文脈の cosine 類似度と、LLM 分類器によるカテゴリ一致の加重和（重み α）。Prior Entity Linker は文脈を隠し、mention と候補だけから LLM の事前知識で予測する（CoT なし） |
| Entity Consensus Judger (ECJ) | 2つの予測が一致すればそれを採用し、不一致なら補助 LLM が文脈と2候補から選ぶ consistency algorithm |
評価には ACE2004, AIDA, AQUAINT, CWEB, MSNBC, WIKI（KB は2020年11月版の英語 Wikipedia、alias table で候補を生成）と ZeShEL（Fandom の Wikia、TFIDF 上位64候補）を使う。ベースモデルは Zephyr-7b-beta と GLM（本文では4K版と32K版、表では GLM-8K と GLM-32K と表記）。CoT例プールは AIDA 学習セットの65件で、プロンプトに入れる例は1件、α=0.5、カテゴリは Wikipedia の12分類。指標は micro F1。比較対象は、例プールで学習させた Mulrel-nel, NER4EL, Extend, CDHCN と、GLM, Zephyr, ChatGPT（gpt-3.5-turbo-1106）の単体利用。
結果
Micro-F1（抜粋）
| 手法 | ACE2004 | AIDA | AQUAINT | CWEB | MSNBC | WIKI |
|---|---|---|---|---|---|---|
| Extend | 0.604 | 0.563 | 0.641 | 0.537 | 0.715 | 0.506 |
| ChatGPT | 0.611 | 0.451 | 0.560 | 0.546 | 0.732 | 0.615 |
| Zephyr 単体 | 0.467 | 0.322 | 0.495 | 0.518 | 0.637 | 0.555 |
| OneNet (Zephyr) | 0.681 | 0.690 | 0.686 | 0.650 | 0.796 | 0.676 |
- 最良のベースライン（Extend, ChatGPT）を4%〜11%上回ると著者は述べる
- ERP 後の正解エンティティ再現率は0.765〜0.885、候補の除外率は0.622〜0.900、残る候補数は平均2.31〜4.72
- Context 単体・Prior 単体より、両者を統合した ECJ の結果が全データセットで高い。単体同士では AIDA は Context が2%高く、AQUAINT は Prior が2%高い
- Adaptive CoT は Random CoT・Similar CoT より全評価データセットで高い。指示プロンプトを変えても性能はほぼ安定
- ZeShEL（4ドメイン）では大半のドメインで最良で、単体 LLM より約35%改善した。ただし Wiki 系データセットより性能は低い
- 1 mention あたりの実行時間は Zephyr で11.19〜15.69秒、GLM で0.92〜1.88秒。入力トークンは LLM に直接入れる場合と比べて大きく増えないと著者は述べる
- Llama2 は性能が5%未満だったため比較から外した
限界・課題
- 処理効率が LLM の推論速度に左右され、実行時間はベースモデルに大きく依存する（要約モジュールなど一部はオフライン実行できる）
- 現状は entity disambiguation 専用で、mention detection を含まない。今後、両者の統合を検討する
- ZeShEL は文脈が長く候補も多いため、Wiki 系より性能が低い。対策として、段落の最初と最後の文や mention を含む文など、重要な部分を文脈から抜き出す方法を提案している（付録B）
- 最初のモジュールである ERP が、パイプライン全体の性能上限を決める
要点
LLM を fine-tuning せずに、候補の絞り込み、文脈と事前知識の2方向からの予測、一致判定の3段のプロンプトで few-shot Entity Linking を行う OneNet を提案した。7データセットで、従来の教師あり手法と LLM 単体を上回った。