iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models
| 項目 | 内容 |
|---|---|
| 論文ID | P40 |
| 区分・分類 | 論文・知識グラフ構築 |
| 著者・所属 | Yassir Lairgi(INSA Lyon, CNRS, Université Claude Bernard Lyon 1, LIRIS/GAUC, Lyon)、Ludovic Moncla、Rémy Cazabet、Khalid Benabdeslem(以上 LIRIS)、Pierre Cléau(GAUC, Lyon) |
| 発表先 | International Conference on Web Information Systems Engineering (WISE 2024, LNCS) |
| 発表日 | 2024-11-26 |
| 引用数 | 27(OpenAlex 2026-10-06時点) |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/978-981-96-0573-6_16 |
| 論文/pdf/P40.pdf | |
| 読んだ範囲 | 全文(arXiv v1、全15ページ) |
論文タイプ
新技術。LLMで文書から知識グラフ(KG)を逐次構築する手法 iText2KG を提案し、ベースラインと比較している。
研究の目標
従来のNER・関係抽出は事前定義の型や教師あり学習に依存する。LLMを使う既存手法も、意味的に重複した未解決のエンティティ/関係が残って大がかりな後処理が要り、トピック依存で一般化しにくい。後処理なし・トピック非依存・zero-shot で、エンティティと関係が解決済みのKGを逐次構築することを狙う。
技術的なやり方
4モジュール構成。LLMは GPT-4。
| モジュール | 処理 |
|---|---|
| Document Distiller | ユーザー定義の schema(blueprint、JSON形式。オントロジーではない)に沿って、LLMが文書を semantic blocks に書き直す |
| iEntities Extractor | 文書ごとに抽出したエンティティを global entities と照合。一致しなければ cosine similarity(閾値あり)で最も近いものに寄せ、無ければ追加 |
| iRelations Extractor | entities を文脈に関係を抽出し同様に照合。文脈に global entities を渡す版と local entities を渡す版がある |
| Graph Integrator | Neo4j に投入して可視化 |
- エンティティ抽出と関係抽出は分離する。埋め込みは text-embedding-3-large
- シナリオ:CV・科学論文・Webサイト→KG(各5件)。triplet 評価は [6] の注釈データ(computer science・music)+手作業確認
- 比較対象:OpenAI Function、Langchain(LlamaIndex は非連結の部分グラフを作るため評価外)
結果
| 評価 | CVs | 科学論文 | Webサイト |
|---|---|---|---|
| Schema consistency | 0.97 | 0.98 | 0.94 |
| エンティティ未解決率 FDR(OpenAI Function/Langchain/iText2KG) | 0/0/0 | 0.11/0.14/0.01 | 0.31/0.29/0 |
| 関係未解決率 FDR(同上) | 0/0/0 | 0.07/0.06/0.01 | 0.15/0.14/0 |
- Triplet precision(global版/local版):Computer Science 0.83/0.94、Music 0.81/0.9。global版は約10%低いが、暗示的な関係も取れてグラフが豊かになる
- ベースラインはどのシナリオでも孤立ノードが出た
限界・課題
- global版と local版で precision と豊かさがトレードオフ。選択はユーザーに委ねている
- 文書(chunk)数が多く非構造な文章ほど解決が難しい。chunk サイズと閾値が結果に影響する
- 今後の課題:照合指標の改善、閾値をハイパーパラメータとして決める必要をなくすこと、エンティティ型を照合に組み込むこと
要点
- ユーザー定義の blueprint で文書を整理し、エンティティ→関係の順に既存グラフと照合しながら逐次追加することで、後処理なしで重複の少ないKGを作る zero-shot 手法
- 3シナリオで未解決エンティティ/関係の割合をベースラインより下げた