ナレッジグラフの構築による専門知の構造化と評価
| 項目 | 内容 |
|---|---|
| 論文ID | P58 |
| 区分・分類 | 論文・知識グラフ構築 |
| 著者・所属 | 金子泰之、石濱直樹、伊藤光一郎（国立研究開発法人宇宙航空研究開発機構 第三研究ユニット） |
| 発表先 | 人工知能学会全国大会論文集（JSAI 2025） |
| 発表日 | 2025-05 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390023229740667776 |
| あり（J-STAGE） | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。章立てされた文書を章単位でグラフにする GraphRAG-hierarchy を提案し、既存手法と比べているため。
研究の目標
GraphRAG は膨大なネット情報から概略的な知識を引き出すのが主眼で、社内の限定的・専門的な情報を精度高く取り出すには限界がある。特に「3.2.1.1 ～の取り扱い方」のような階層化された文章は、LLM が文字列として処理するため不得意。また社内文書は、セキュリティ上オープンなモデルに API で渡せないことが多い。階層化された短い文書を対象に、将来ローカル環境で動く質問応答システムを目指す。
技術的なやり方
- グラフ構造：章ごとに1エンティティ（title・description・number＝章番号）とし、親章と子章を
nextrelation でつなぐ - 回答生成：(1) 質問から検索用の単語を抽出 → (2) その単語を title か description に含むエンティティと、その子ノードの内容を取得 → (3) 質問と取得した情報を LLM に渡して回答
| 手法 | グラフ・検索 |
|---|---|
| GraphRAG-hierarchy（提案） | 章の階層構造をそのままグラフにする |
| GraphRAG | Langchain の LLMGraphTransformer で JERG から作ったグラフ。検索・回答生成はほぼ Langchain のチュートリアルどおり |
| Hybrid-RAG | 上の GraphRAG に加え、ベクトル検索による通常の RAG の情報も渡す |
- データ：JAXA 社内の共通技術文書 JERG のうち、ソフトウェア開発標準（JERG-0-49D）
- 質問：OpenAI o1 に JERG を与えて「質問・回答・記述箇所」のセットを15個作らせた
- 評価：2手法を A・B と伏せ、o1 が「A が優れている／B が優れている／どちらも優れている／どちらも良くない」から1つ選ぶ。実験1は GraphRAG と、実験2は Hybrid-RAG と比べる
- 環境：DB は neo4j、モデルは gpt-4o-mini
結果
| 実験（15問） | 相手が優れる | GraphRAG-hierarchy が優れる | どちらも優れる | どちらも良くない |
|---|---|---|---|---|
| 実験1（対 GraphRAG） | 2問 | 11問 | 2問 | 0問 |
| 実験2（対 Hybrid-RAG） | 7問 | 3問 | 5問 | 0問 |
- 実験2では o1 から「GraphRAG-hierarchy も間違えてはいないが、回答に具体性が欠けている」という評価が目立った
- LLM への入力トークン数：GraphRAG-hierarchy は 411〜15194（平均 約2978）、Hybrid-RAG は 23404〜32893（平均 約28034）で、10倍近い差
限界・課題
- 実験は OpenAI のモデルで行った。ローカルモデルでは入力コンテキスト長に注意が必要で、llama3 の 8B・70B（8192 トークン）では Hybrid-RAG ほど大量の情報は処理できない
- 今後：ローカル LLM での軽量なグラフ構築と検索の最適化、正解が無くオープンなモデルも使えない場合の評価方法の検討
- 英文要旨では、定量的な評価指標の確立、回答精度の改善、運用コストの最適化も挙げる
要点
章立てされた社内技術文書を「章＝ノード、親子＝エッジ」のグラフにする GraphRAG-hierarchy を提案。JAXA の JERG での o1 判定で GraphRAG より優れ、Hybrid-RAG には具体性で劣るが入力トークンは10分の1近い。