企業内人材・スキル検索におけるナレッジグラフRAGの設計指針と有効性評価
| 項目 | 内容 |
|---|---|
| 論文ID | P64 |
| 区分・分類 | 論文・構造化知識の利用 |
| 著者・所属 | 上田 一貴、岡野 悠、奥野 克樹、炭谷 晃史、川原 悠、高松 宏樹、辰巳 大祐、農本 崚介（株式会社レゾナック）、伊藤 駿汰、大竹 桃子（日本マイクロソフト株式会社） |
| 発表先 | 人工知能学会全国大会論文集（JSAI 2026） |
| 発表日 | 2026-06 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390590392506119936 |
| 論文/pdf/P64.pdf（J-STAGE） | |
| 読んだ範囲 | 全文 |
論文タイプ
応用：社内データでKGベースRAGを設計・実装し、既存手法とユーザー選好で比較しているため。
研究の目標
社内RAG基盤「Chat Resonac」は文書単位の質問・要約には効くが、Know-Who（誰が知っているか）検索に必要な「該当者の網羅的列挙」「部署・時期などの条件抽出」「人物同定と根拠提示」はNaive RAGでは満たしにくい。これらに適したKGベースRAGの設計指針を立て、有効性を評価する。
技術的なやり方
| 指針 | 内容 |
|---|---|
| G1 | 人物–スキルをHAS_SKILLエッジで表し、level＝共起した根拠文書数を疑似熟達度とする。根拠文書をリンクで辿れる |
| G2 | スキル表記ゆれをWikipediaリダイレクトで正規化（元表記も保持） |
| G3 | 異動日・離任日・役職を人物–部署関係の属性に持たせ、時点条件で検索可能にする |
| G4 | Graph-first RAG：KGで候補者を絞ってから根拠文書をLLMに渡す |
| G5 | 抽出→正規化→KGへの増分登録をパイプライン化 |
- KG：Neo4j、ノード6種（Member, Work, Skill, Department, Document, Location）・関係8種。データは組織階層、発令履歴、出願特許リスト、技術報告書（社員公開情報のみ）。技術報告書からAzure OpenAI（o3-mini）でスキル等を抽出
- 検索：Text-to-Cypher（スキーマと20種のFew-shot例をプロンプトに入れる）でNeo4jを引き、結果からLLMが回答
- 評価：100問で提案手法・NaiveRAG・LightRAGを比較（GPT-4o, Temperature=0）。11名による二択ブラインド選好テスト（305件）、片側二項検定
結果
| 項目 | 数値 |
|---|---|
| 回答不可（100問中） | NaiveRAG 76件、他の2手法 0件 → NaiveRAGは選好比較から除外 |
| 選好件数（305件中） | 提案手法 195件、LightRAG 110件 |
| 提案手法の選好率 | 約0.639（95%信頼区間 [0.582, 0.692]）、p ≈ 1.3×10⁻⁶ |
提案手法は列挙・件数提示・条件付き抽出の質問で強みが見られた。
限界・課題
- 主観的な選好評価で、回答の正確性は直接測っていない。今後はRecall@kなどの客観評価を併用
- 被験者・質問集合が社内データに依存し、一般化に注意が要る
- Wikipediaリダイレクトでは社内固有用語・同姓同名の名寄せに限界がある
- スキーマ外の関係や抽出に失敗した情報はKGから検索できず、テキストRAG併用などが必要
要点
社内の人材・スキル・所属・文書の関係をスキーマ付きKGに明示し、Text-to-Cypherで候補を先に確定してから根拠を示すGraph-first RAG。Know-Who検索でLightRAGより有意に好まれた（選好率0.639）。