A comprehensive survey on integrating large language models with knowledge-based methods
| 項目 | 内容 |
|---|---|
| 論文ID | P04 |
| 区分・分類 | 論文・枠組み・サーベイ |
| 著者・所属 | Wenli Yang（University of Tasmania）、Lilian Some（University of Tasmania）、Michael Bain（University of New South Wales）、Byeong Kang（University of Tasmania） |
| 発表先 | Knowledge-Based Systems |
| 発表日 | 2025-04-12 |
| 引用数 | 67（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1016/j.knosys.2025.113503 |
| 論文/pdf/P04.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
サーベイ。既存文献を整理して LLM と知識ベースの統合技術・評価指標・事例・課題・推奨を体系化した論文で、独自の手法提案や実験はない（Data availability 欄に「No data was used」と明記）。
研究の目標
LLM は実運用で解釈性（ブラックボックス）、計算資源、スケーラビリティが障壁になっている。既存サーベイはアーキテクチャや訓練法など個別テーマに偏り、LLM の基礎原理と実応用・実装課題をつなぐ包括的な視点が不足している、というギャップを著者らは指摘する。
前提は3つ。(1) 解釈性・計算要件・スケーラビリティが LLM の有効性を制限する、(2) RAG・Knowledge Graph・Prompt Engineering による知識ベース統合が文脈化・精度向上・計算コスト削減をもたらす、(3) 解釈性・資源効率・既存システムとの統合が普及を妨げ続けている。
到達点は、(a) LLM の原理・応用と技術的／運用的／倫理的限界の包括分析、(b) 知識ベース統合の技術・ハイブリッド戦略・事例・評価指標の整理、(c) 統合課題の批判的評価と実行可能な推奨の提示。
技術的なやり方
文献の包括的調査（著者の表現は "comprehensive examination of the literature"）。文献の検索手順・選定基準・対象期間は論文に記載なし。参考文献172件。
| 章 | 内容 |
|---|---|
| 2. LLM概観 | 進化3期（Pre-2010s／2017–2022 Transformer期／2023– 次世代）、アーキテクチャ3種（Encoder-Only: BERT, RoBERTa／Decoder-Only: GPT-4, LLaMA-3, DeepSeek LLM, OpenAI-o1／Encoder-Decoder: T5, BART）、能力8分類 |
| 3. 実装課題 | 技術（解釈性、計算資源）／運用（既存システム統合、スケーラビリティ・信頼性、保守・更新）／倫理・社会（バイアス、出所不明、プライバシー、剽窃、雇用） |
| 4. 解決策 | 訓練データ強化、アルゴリズム・ハードウェア最適化（MoE、分散計算、蒸留・枝刈り・量子化、PEFT/LoRA）、XAI |
| 5. 知識ベース統合 | 基本技術3種、高度統合の3レベル、プロンプト拡張、比較表、評価指標、事例4件、統合課題、推奨 |
基本統合技術3種（Table 3）
| 技術 | 典型手法 | 利点 | 課題 |
|---|---|---|---|
| Basic Knowledge Bases (KB) | Knowledge Injection、Knowledge-guided Attention、KG Embedding（Wikidata、UMLS、Freebase を使う K-BERT、LUKE、CoLAKE など） | 高い事実精度、幻覚低減 | 静的、推論力が限定的、更新が遅い |
| Knowledge Graphs (KG) | GNN、KG Embedding、KG Prompting、Semi-structured Chain of Thought。形態は KG-enhanced LLM／LLM-augmented KG／synergized LLM+KG | 推論強化、動的更新、multi-hop 推論、説明可能性 | 欠損リンク、スケーラビリティ、保守コスト |
| Retrieval-Augmented Generation (RAG) | Document Chunking、Embedding Models、Dense/Sparse Retrieval（DPR、BM25）、Query2doc、KG統合、Self-RAG | 最新情報へのリアルタイムアクセス、幻覚緩和 | 検索効率、遅延、計算複雑性 |
高度統合の3レベル（Table 4）
| レベル | カテゴリ | 代表モデル |
|---|---|---|
| Level 1: Knowledge retrieval & integration | 知識獲得戦略／構造化KG統合 | T-RAG、REALM、DPR-RAG／TRACE、GraphRAG |
| Level 2: Knowledge utilization & reasoning | 文脈的知識推論／適応的知識注入 | FlexKBQA、ToG、ReAct、KG-RAG4SM、Think-on-Graph 2.0、Chain-of-Knowledge／MetaRAG、MoE-RAG、KAG |
| Level 3: Optimization & specialization | 自己最適化知識システム／ドメイン特化 | FiD-RAG、WeKnow-RAG、KGAgent、FUNNELRAG／Self-BioRAG、MedGraphRAG、SAC-KG |
プロンプト拡張（5.3）：Chain-of-Thought とその拡張 Buffer of Thoughts、Strategic Chain-of-Thought、Graph-of-Thoughts。ほかに Prompt Augmentation System (PAS)、SlimPLM（小型代理モデルで検索の要否を判定）、Self-memory prompting。
評価指標（5.5）：検索系（Recall@K、Hits@K、MRR、AUC、Needle-in-a-Haystack）、知識整合・推論系（Exact Match、BERTScore、Logical Consistency: Stran/Scomm/Sneg）、生成・流暢性系（F1、BLEU、ROUGE、Generation Time）の3群。
事例（5.6）：FinAgent（金融取引エージェント、RAG的パイプライン＋強化学習）、UMLS（米国国立医学図書館の医学語彙統合資源）、Codex（GitHub Copilot のコード生成LLM）、BloombergGPT（BLOOM ベース500億パラメータ、一般3,450億＋金融 FinPile 3,630億トークンで事前学習）。
結果
著者自身の実験はなく、引用文献の数値を Table 6（RAG系）・Table 7（KG系）に集約している。以下は論文に転記された値。
| モデル | データセット | ベースラインに対する改善 |
|---|---|---|
| RAG (Seq-Level) | NQ／WebQuestions／CuratedTrec／TriviaQA | EM +3.4%／+4.1%／+1.6%／−0.9%（対DPR） |
| ReAct | HotpotQA／2WikiMulti-HopQA | EM +0.2%／+2.2%、F1 +8.7%／+2.8%（対RAG） |
| REALM | NQ | EM +6.9%、Recall +24.6%（対ORQA） |
| GraphRAG (local) | NQ／HotpotQA | F1 −2.25%／+1.17%（対RAG） |
| T-RAG | 独自データ（1,614 QA対） | 正答率 +16.2%、NIH(k=10) +23.07%（対RAG） |
| KGAgent | CWQ／WebQSP | Hits@1 +10.1%／+16.6%、F1 +18.7%／+19.9%（対GPT-4） |
| KAG | HotpotQA／2WikiMulti-HopQA／MuSiQue | EM +19.1%／+34.4%／+21.2%、F1 +18.5%／+32.9%／+22.3%（対RAG） |
| ToG | CWQ／WebQSP | Accuracy +21.2%／+14.2%（対CoT） |
| SAC-KG | OIE2016／WEB／NYT／PENN | F1 +4.3%／+6.8%／+5.3%／+5.1%（対PIVE） |
著者の読み：RAG系は EM を中心にベースラインを上回る例が多いが、データセットによっては EM や BLEU が低下しており、効果はデータセット依存。KG系・ハイブリッド系は事実信頼性を高める一方、計算トレードオフを伴う。
事例の数値：BloombergGPT は ConvFinQA で EM 43%（一般クラウド 47%、GPT-4 zero-shot 69–76% を下回る）。FinAgent は2022–2024年の実データ（AAPL、AMZN、GOOGL、MSFT、TSLA、ETHUSD）で12のベースライン取引手法を上回った（具体値は論文に記載なし）。
限界・課題
著者が述べる LLM–知識統合の課題（5.7）：
| 課題 | 内容 |
|---|---|
| Knowledge drift と長期信頼性 | 知識ベースの継続更新がないと古い・不整合な情報を取得する。自動同期、連合更新、動的ファクトチェックが必要 |
| 知識表現と利用の複雑さ | KB/KG の階層構造・論理依存・専門用語が LLM の埋め込みと整合しない。硬すぎれば汎化できず、抽象的すぎれば関係を幻覚する |
| スケーラビリティと効率的検索 | 大規模知識ベースのリアルタイム検索が困難。RAG ではノイズ・冗長データが精度を下げる |
| 評価・ベンチマークの限界 | 検索効果と推論深度を定量化しづらい。既存指標は知識統合の深さや適応性を捉えきれず、自動指標と専門家評価のハイブリッドが必要 |
範囲の限定：Symbolic AI、Neuroscience-Inspired AI、マルチエージェント協調、Self-Optimizing／強化学習は補完的手法として触れるにとどめ、ハイブリッド化は今後の課題としている。結論でも「動的な知識管理とモデル適応性」に課題が残ると述べる。
推奨事項（5.8）：パイプラインのモジュール化（DsPy 等）、反復的な更新、検索・生成の最適化（sparse+dense＋多段ランキング）、オープンソースとプロプライエタリの戦略的選択（規制産業ではオープンソース＋RAG が有利）。
要点
LLM の実運用課題（解釈性・計算資源・スケーラビリティ）を、KB・KG・RAG・プロンプト工学との統合で緩和する研究を体系化したサーベイ。 統合技術を「検索・統合／利用・推論／最適化・特化」の3レベルに整理し、評価指標を3群にまとめ、引用文献の改善率を2表に集約した。 残る課題は knowledge drift、知識表現の整合、大規模検索の効率、ベンチマーク不在で、モジュール化と反復更新を推奨する。