Automated Knowledge Graph Construction using Large Language Models and Sentence Complexity Modelling
| 項目 | 内容 |
|---|---|
| 論文ID | P43 |
| 区分・分類 | 論文・知識グラフ構築 |
| 著者・所属 | Sydney Anuyah(1), Mehedi Mahmud Kaushik(1), Krishna Dwarampudi(2), Rakesh Shiradkar(3), Arjan Durresi(1), Sunandan Chakraborty(1)／(1) Luddy School of Informatics, Indiana University, Indianapolis、(2) School of Science, Purdue University, Indianapolis、(3) Department of Biomedical Engineering and Informatics, Indiana University, Indianapolis |
| 発表先 | Conference on Empirical Methods in Natural Language Processing (EMNLP 2025) |
| 発表日 | 2025-11 |
| 引用数 | 4（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.18653/v1/2025.emnlp-main.783 |
| 論文/pdf/P43.pdf | |
| 読んだ範囲 | 全文（25ページ、付録含む。図は画像のためキャプションと本文で補った） |
論文タイプ
新技術。共参照解決と文の構文分解を組み合わせたKG構築パイプライン CoDe-KG と、付随する注釈データセットを新たに提案しているため。
研究の目標
- 背景：分野ごとに構造・文体・語彙が違う大量の非構造テキストは解析が難しい。既存の自動KG構築パイプラインは利用者のプロンプトに大きく頼るか、ノイズの多いデータに弱い。学術文は単文が少なく、complex・compound・compound-complex 文が多い（学部生の解釈誤り率は compound-complex 44.54%、単文 10.13% という先行研究を引用）
- 到達点：複雑な文を単文に変換してから LLM で関係抽出すれば、データを選ばずオープンソース LLM で文単位のKGを作れるかを確かめる
- RQ1：文のモデリングで他手法に匹敵するKGを作れるか
- RQ2：オープンソース LLM で生テキストから信頼できるKGを作れるか
技術的なやり方
データ：PubMed の肺がん関連要旨 7,500件（2020〜2025年発表、無作為抽出）。比較用ベンチマークは REBEL、WebNLG+2020、Wiki-NRE、CaRB。
| 段階 | やること | 選定・比較 |
|---|---|---|
| 1. Coreference Resolution | 190要旨で専門家4人（生物系2・言語系2）がペアで金標準を作成（Cohen's κ 0.74）。プロンプト×モデルを総当たりで評価し、最良の組合せを全要旨に適用 | 本文では COT+FICL を採用と記載。表2のオープンソース最高は Mixtral-8x7B-Instruct（FICL） |
| 2. Sentence Classification | 文を simple／complex／compound／compound-complex／incomplete の5類に分類。人手注釈データで分類器を学習 | BERT 系6モデル、小型 LLM 2つ、GPT-4o を比較 |
| 3. Converting Sentences to Simple | complex・compound・compound-complex 文を単文に書き換える。類ごとに最良のプロンプト×モデルを選ぶ | プロンプトは GIP／FICL／CoT／CoT+FICL を比較 |
| 4. Relationship Extraction | 元から単文の文＋変換後の単文から (entity1, relationship, entity2) を抽出し、有向ラベル付きエッジとしてKGに組み立てる | CoT+FICL プロンプト、Mixtral-8x7B-Instruct-v0.1 |
公開資源：文の複雑さ分類データ 7,248行、共参照金標準 190要旨、文変換データ 900件（3類×300件）、トリプル金標準 398件、生成トリプル 150,000件超。
結果
- 共参照解決（CoNLL F1）：オープンソース最高は Mixtral-8x7B（FICL）57.88%。全体最高は ChatGPT o4-mini-high（FICL）の約63%
- 文分類：BERT-Large が正解率 87.68%・macro-F1 86.69%。GPT-4o は 80.30%・76.14%
- 全65,175文の分類結果：complex 42,282、compound 4,942、compound-complex 2,366、simple 13,465、incomplete 2,120
- 単文への変換（各300文）
| 変換元 | 最高のモデル | Macro Avg | Exact-Match |
|---|---|---|---|
| compound | Llama-3-8B | 99.78% | 98.00% |
| complex | Llama-3.3-70B | 99.59% | 98.67% |
| compound-complex | GPT 4o-3 | 94.10% | 81.67% |
プロンプト比較では4モデルすべてで CoT+FICL が最良（Llama-3-8B の Macro Avg は GIP 45.81% → CoT+FICL 99.78%）
- 単文からの関係抽出（100文、正誤判定）：Mixtral-8x7B が正解率 99%
- 公開ベンチマーク（表7）
| REBEL | WebNLG2 | Wiki-NRE | CaRB | |
|---|---|---|---|---|
| F1 macro | 65.78% | 75.90% | 60.20% | 62.61% |
| F1 micro | 62.94% | 75.67% | 58.84% | 61.54% |
| 論文が挙げる SOTA | macro 51.0%／micro 74.0% | 93.6% | 91.48%（GenIE） | 67.7%（DetIE） |
- アブレーション（23記事、人手トリプル398件）
| 構成 | Precision | Recall | F1 |
|---|---|---|---|
| CoDe-KG 全体 | 92.0% | 92.9% | 92.4% |
| 共参照解決なし | 80.6% | 74.6% | 77.5% |
| 文分解なし | 74.6% | 46.2% | 57.2% |
| 両方なし | 76.8% | 42.7% | 54.8% |
| DeepSeek R1 | 93.5% | 78.6% | 85.4% |
| ChatGPT 4.5 | 99.58% | 59.55% | 74.53% |
| ChatGPT 4o | 98.1% | 52.8% | 68.5% |
| NotebookLM | 100% | 16.83% | 28.82% |
- 誤りの内訳：spurious と missing の組合せ 73%、spurious のみ 11%、missing のみ 9%、関係種別の取り違え 7%
- 原文内の不一致：要旨は「REBEL で従来 SOTA より8ポイント向上」「Wiki-NRE と CaRB で同等以上」「単文変換で exact-match 最大99.8%」と書くが、本文の表・考察は上の数値（Wiki-NRE・CaRB は SOTA 未満、99.78% は Macro Avg）。評価件数も、データ節は REBEL・Wiki-NRE 各1,000件・WebNLG 1,165件、考察節は各200件と書いている
限界・課題
- 共参照解決が弱い。長く密な要旨での改善が実用化の前提
- オープンソースモデルだけでは失敗することがあり、関係抽出のスコアを下げる。今後は欠落・不整合をフィードバックループで検査するエージェントを導入する
- プロンプトだけを検討し、PEFT などのファインチューニングは未実施
- 品質評価を人手注釈に大きく頼っている。今後はスクリプト評価を増やす
- 計算コストが高く、CoT+FICL は推論時間とトークン消費が大きい（一度きりのKG構築なので運用は可能と主張）
- 評価は科学文献とベンチマークのみ。ニュース・法律文書・SNS では未検証で、くだけた文への汎化は不明
- 考察では、LLM は補助があっても人間ほど関係を読み取れず、"is" のような単純な関係に寄りがちと述べている
要点
複文・重文を単文に分解し、共参照を解決してから LLM でトリプルを抽出する、オープンソースのKG構築パイプライン CoDe-KG。 肺がん要旨の自前評価では、文分解によって再現率が 46.2% から 92.9% に上がる。一方、公開ベンチマークでは REBEL の macro-F1 以外は既存 SOTA に届かない。