経産省GENIACでナレッジグラフの生成/推論に特化したLLMを開発しました！
| 項目 | 内容 |
|---|---|
| 論文ID | D03 |
| 区分・分類 | 業界資料・知識グラフ構築 |
| 著者・所属 | 宗像 聡（富士通 人工知能研究所）※ページの著者欄はブログアカウント「fltech」。氏名・所属は本文冒頭の記載 |
| 発表先 | 富士通研究所 技術ブログ（fltech） |
| 発表日 | 2025-02-10（ページ表示の公開日。URLの日付は2024-10-15、本文の執筆時点は2024-11-08で、公開後に更新あり） |
| 引用数 | -（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://blog.fltech.dev/entry/2024/10/15/Fujitsu-LLM-KG-ja |
| 取得できず | |
| 読んだ範囲 | 全文（Webページ本文。図1〜3・表1は画像のため未読） |
論文タイプ
新技術。ナレッジグラフ（KG）対訳コーパスによる継続事前学習と3段階の推論タスク設計でKG特化LLMを開発し、ベンチマークで評価した開発報告のため。
研究の目標
- 背景：KGとLLMを連携させる狙いの一つは、外部情報に従ってマルチホップ推論を適切に進めること。最新の汎用LLMでも、特に日本語でマルチホップ推論が期待通りに進まない傾向があった
- 到達点：KGを使いマルチホップ推論を適切に進めることに特化したローカルLLMの実現（NEDO公募・GENIAC採択事業「論理推論を可能とする大規模言語モデルの研究開発」）。推論の準拠性・説明性の向上も目的の1つ
技術的なやり方
推論手順は3手番：①質問文から回答に必要な情報と関係を表すグラフスキーマを生成（不明な情報は変数で表す）②外部情報を参照して変数を解決しKGを生成 ③KGを参照して回答を生成。
| 段階 | 内容 |
|---|---|
| 継続事前学習 | ベースは mistralai/Mixtral-8x7B-Instruct-v0.1、学習は Nvidia NeMo。KG→テキスト（KG2Text）とテキスト→KG（Text2KG）の翻訳指示形式データを自動合成した「ナレッジグラフ対訳コーパス」計21億トークン（KGは簡素化した RDF Turtle 書式、根拠文を #@rationale で付与、述語数の少ない順に並べるカリキュラム学習、代名詞を解決できないデータ・同じ単語の繰り返しデータを除去）を含む計3,000億トークンで3 epoch →「共通事前学習済みLLM」 |
| KG推論LLM | マルチホップQAから3サブタスク（グラフスキーマ生成／KGへの解決／最終回答生成）の指示学習データを自動合成。ver.1 は JEMHopQA、ver.2 は HotpotQA から。ver.2 は型を示す変数名、<#Answer> による回答と変数の論理関係、#@rationale による根拠文を追加 |
| KG生成LLM | 文書レベル関係抽出。日本語版は JacRED（35種類の関係）、英語版は Re-DocRED（96種類）の訓練データから、関係を1種類ずつ抽出するタスクを合成。何も抽出されないタスクも意図的に合成 |
開発したLLM含む資産は Hugging Face（Fujitsu-LLM-KG）で一部公開。
結果
開発LLMは467億パラメータ相当、すべて Zero-shot。
| ベンチマーク（評価範囲） | 指標 | 開発LLM | 比較対象 |
|---|---|---|---|
| JEMHopQA（dev 全120問） | 類似スコア | 82.3（推論LLM ver.1） | 既存手法（HOLMES 日本語対応版＋GPT-4o）72.7、GPT-4 62.9 |
| HotpotQA（dev 7405問からランダム1,000問） | F1 | 73.8（推論LLM ver.2） | 既存手法（DeBERTa FT）85.04、GPT-4 78.0、GPT-3.5 69.0 |
| JacRED（test 全300問） | F1 | 68.77（生成LLM日本語版） | 既存手法（BERT FT）68.73、GPT-4 27.45、GPT-3.5 13.17 |
| Re-DocRED（test 500問中先頭32問） | F1 | 52.7（生成LLM英語版） | 既存手法（BERT FT）80.7、GPT-4 14.3、GPT-3.5 6.55 |
| ECtHR cases 第13条（1,000問中先頭105問） | F1 | 25.0（推論LLM ver.2） | 既存手法（BERT FT）29.2 |
| 短答式司法試験 令和5年（二値化180問） | 正解率 | 54.4（推論LLM ver.2） | 既存手法＝GPT-4 66.7、GPT-3.5 57.2 |
日本語2つ（JEMHopQA・JacRED）で2024年8月当時の世界最高性能。他の4つは既存手法を下回った。
限界・課題
- 共通事前学習済みLLMは他タスクの指示追従性が落ち、KGに関する特定タスクにしか使えない。指示追従性を保つ追加学習手法の適用は残課題
- 英語2つで既存手法に劣る。継続事前学習の大部分が日本語データで、英語の推論能力が相対的に劣化した可能性。原因の調査特定が必要
- 法的判断予測は日英とも実用から遠い。司法試験問題では同じトークン列の繰り返しなど不安定な振る舞いがあり、法律文書を継続事前学習に含めただけでは扱えなかった
- Re-DocRED と ECtHR cases は残工数の問題で部分評価
- どのベンチマークも90%を超えず、基幹業務が求める準拠性・説明性は確保できていない
要点
Mixtral-8x7B をKG対訳コーパスで継続事前学習し、「グラフスキーマ生成→外部情報でKGに解決→KGから回答」の3段階で推論するKG特化LLMを開発。日本語のマルチホップQAと文書レベル関係抽出では当時の世界最高性能。英語と法的判断予測では既存手法を下回った。