Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey
| 項目 | 内容 |
|---|---|
| 論文ID | P09 |
| 区分・分類 | 論文・枠組み・サーベイ |
| 著者・所属 | Zirui Song（Mohamed bin Zayed University of Artificial Intelligence）、Bin Yan（Northeastern University）、Yuhan Liu（Gaoling School of Artificial Intelligence, Renmin University of China）、Miao Fang（Northeastern University）、Mingzhe Li（ByteDance）、Rui Yan（Wuhan University）、Xiuying Chen（Mohamed bin Zayed University of Artificial Intelligence） |
| 発表先 | Findings of the Association for Computational Linguistics: EMNLP 2025 |
| 発表日 | 2025-11 |
| 引用数 | 20（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.18653/v1/2025.findings-emnlp.1379 |
| 論文/pdf/P09.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
サーベイ。LLMへのドメイン知識注入の既存手法を4パラダイムに分類し、分野別の代表モデル・知識源・ベンチマーク・課題を整理する総説論文。
研究の目標
LLMは汎用タスクでは高い性能を示すが、医療・化学・法律など専門知識を要する領域では精度と信頼性が不足する。これを補う「知識注入（knowledge injection）」の研究は分野ごとに独立して進められ、手法と評価が標準化されていない。本サーベイは、知識注入手法を統一的な枠組みで整理し、今後の研究の青写真を示し、スケーラビリティとドメイン精度の両立、効率的なリアルタイム知識更新といった主要課題を特定することを狙う。
先行サーベイとの違い：Cadeddu et al. (2024) は学術論文分類に特化、Wang et al. (2024b) は知識編集（内部知識の更新）に焦点、Hu et al. (2023) はBERT・ERNIEなどpre-LLM世代のモデル中心。本論文はLLMにおける外部知識統合による能力強化を、多様なタスクを横断して統一的に扱う。
技術的なやり方
知識を「いつ取り込むか」「モデルとどう相互作用するか」で4パラダイムに分類する。統一記法：x 入力、y 出力、M バックボーンLLM、K 外部ドメイン知識ベース、θ LLMパラメータ、φ 追加パラメータ、R(x, K) 検索関数、Δθ パラメータの更新分。
| パラダイム | 定式化 | 仕組み | 学習コスト | 推論速度 | 制約 |
|---|---|---|---|---|---|
| Dynamic Knowledge Injection | y = M(x, R(x, K); θ) | 推論時に外部知識ベース・知識グラフから検索し入力に結合。θは不変。更新が容易で再学習不要 | なし（検索モジュールは必要） | 検索遅延で低下 | 知識ベースK・検索関数Rの品質と入力長上限に依存 |
| Static Knowledge Embedding | Δθ = argmin Σ L(M(xs; θ), ys)、推論は y = M(x; Δθ) | 事前学習またはfull/partial fine-tuningでパラメータに知識を埋め込む。推論時に検索不要 | 高（事前学習またはfine-tuning） | 追加コストなし | 知識が固定、知識更新のたびに再学習、catastrophic forgettingのリスク |
| Modular Knowledge Adapters | φ = argmin Σ L(M(xs; θ, φ), ys)、推論は y = M(x; θ, φ) | θを凍結し、小さな学習可能モジュールφを挿入・併用。汎用能力を保持 | 低（少数パラメータのみ） | ほぼ影響なし | アダプタの設計・サイズ・数の設計が必要、学習データ品質に敏感 |
| Prompt Optimization | p = argmin L(M([p, x]; θ), y) | 外部知識ベースもfine-tuningも使わず、プロンプト設計でモデル内部の知識を引き出す。manual prompting / prompt tuning / prefix tuning | なし | ほぼ影響なし | プロンプト設計に人手、長いプロンプトは入力空間を圧迫、既存知識の活性化に限られる |
Static EmbeddingとModular Adaptersは推論前にパラメータ更新を伴い、Dynamic InjectionとPrompt Optimizationは推論時にパラメータを変えずに知識を注入する（前者は外部検索、後者は内部知識の活用）。
分野別の応用（Section 4、Table 3）：
| 分野 | 傾向 | 代表モデル（パラダイム） |
|---|---|---|
| Finance | 汎用モデルのfine-tuningとスクラッチ学習の2路線 | PIXIU（LLaMAを136K金融指示データでfine-tune）、Instruct-FinGPT（10Kサンプルで感情分類）、FinGPT（LoRAで50Kサンプル、Modular Adapters）、BloombergGPT（5B Bloombergトークン、全コーパスの0.7%）、XuanYuan 2.0（366Bトークンで学習、13Bでfine-tune）、Fin-T5（300GB中国語金融コーパス、T5）、SNFinLLM（リアルタイム金融データ注入）、FLANG、FinMA、Fin-LLaMA、Fino1（Static） |
| Biomedicine | PubMed・MedQAなど豊富なコーパスによりStatic Embeddingが中心。静的事前学習・指示チューニング・ツール統合を組み合わせるハイブリッドへ | PMC-LLaMA（LLaMA 7BをS2ORC由来の490万PubMed Central論文で5エポック追加事前学習）、Med-PaLM 2（PaLM 2をMedQA・MedMCQA・HealthSearchQAで指示fine-tune）、GeneGPT（コード事前学習LLMがNCBI Web APIを呼び出し）、Med-PaLM（Flan-PaLMにvector prompts）、BioMedLM、MedINST、OntoTune（Static）、DALK（Dynamic+Prompt）、BiomedRAG、K-COMP（Dynamic）、SA-MDKIF、MaLP（Adapters）、ChronicCareGPT（Prompt） |
| Materials / Chemistry | Static Embedding中心。ツール拡張・対話型推論へ移行し始め | DARWIN 1.5（2段階学習）、ScholarChemQA（化学QAデータでBERT・LLaMAをfine-tune）、ChemDFM、ChemLLM、CrystaLLM、LLaMat、OmniScience（Static）、ChemCrow（18の専門家設計ツール、Dynamic）、ChemAgent（計画プロンプト、Dynamic+Prompt） |
| Human-Centered Science（mental health・education・social science） | 個別化・文脈対応のLLM | SoulChat（10万件超の長文カウンセリングでfine-tune、Static）、MeChat（Dynamic）、MindChat（Static）、EmoLLM（Static+Adapters）、EduChat（心理学・教育学理論、Static）、QiaoBan（子ども向け、Prompt）、CyberQ（AISecKG、Static+Dynamic）、SocraticLM（SocraTeachでアダプタ学習）、HiTA（Dynamic）、SocialLLM（Static+Prompt）、FPS・FUSE（フェイクニュース拡散シミュレーション、Prompt） |
パラダイム別の代表フレームワーク（Section 5.1）：
| パラダイム | フレームワーク | 概要 |
|---|---|---|
| Dynamic Knowledge Injection | KnowGPT | 強化学習で知識グラフから関連サブグラフを抽出し、トリプルを自然言語プロンプトに変換。LLMのAPI呼び出しコストを削減 |
| Static Knowledge Embedding | StructTuning | Structure-Aware Continual Pre-Training とStructure-Aware Supervised Fine-Tuningの2段階 |
| Modular Knowledge Adapters | K-Adapter | 元パラメータを凍結し、知識の種類ごとに独立アダプタを中間層に挿入。catastrophic forgettingを緩和 |
| Prompt Optimization | SelfLift | 検索拡張生成器で無限のメモリプールを作り、memory selectorが次ラウンドのメモリとして出力を選択 |
知識源（Section 5.2）：Biomedicineは PubMed、PubMedQA、BioASQ など高品質データセットが豊富。Materials・Chemistryは USPTO、Enzymes など化学反応中心で限定的。mental healthは PsyQA、SmileChat、educationは SocraTeach、Children's emotional education dialogue data など分散。
結果
医療ベンチマーク（Table 4）。PMC-LLaMAとMedAdapterはともにLLaMA-13Bでバックボーンを揃えている。
| Model | Category | MedQA | PubMedQA | MedMCQA |
|---|---|---|---|---|
| GPT-4 (Medprompt) | Prompt Optimization | 90.2 | 82.0 | 79.1 |
| GPT-4 | General | 90.2 | 80.4 | 73.7 |
| Med-PaLM 2 | Static Knowledge | 85.4 | 81.8 | 72.3 |
| Flan-PaLM (3-shot) | Dynamic Knowledge | 67.6 | 79.0 | 57.6 |
| PMC-LLaMA | Static Knowledge | 56.3 | 77.9 | 56.0 |
| BioMedLM | Static Knowledge | 50.3 | 74.4 | – |
| LLaMA (MedAdapter) | Knowledge Adapters | 37.4 | 63.6 | 32.0 |
金融ベンチマーク（Table 5、Appendix A）。
| Model | Category | FPB | FiQA-SA | TFNS |
|---|---|---|---|---|
| GPT-4 | General | 83.3 | 63.0 | 80.8 |
| GPT-4 (finetune) | Static Knowledge | 87.8 | 88.7 | 88.3 |
| FinGPT | Knowledge Adapters | 88.2 | 87.4 | 90.3 |
| FinBERT | Static Knowledge | 88.0 | 59.6 | 73.3 |
| BloombergGPT | Static Knowledge | 51.1 | 75.1 | – |
| Llama2-7B | General | 39.0 | 80.0 | 29.6 |
| FLANG | Static Knowledge | 91.9 | 3.4 | – |
著者の読み取り：GPT-4のような閉鎖モデルではプロンプト最適化が唯一の適応手段だが、Medpromptで高い性能を示す。オープンモデルではMedAdapterがPMC-LLaMAを下回り、タスクによってはfull fine-tuningがアダプタ方式より有効。Static系はタスク間のばらつきが大きく、事前学習コーパスとタスクの整合が重要。金融でも同様で、fine-tuned GPT-4が一貫して最良、FinGPT（アダプタ）は適応性を保ちつつ競争力のある性能、Llama2-7Bは大半のタスクで劣る。
限界・課題
著者が述べる本サーベイの限界： - 金融・医療・材料科学などの主要分野を扱うが、低リソース言語・異文化教育・ニッチ分野など研究の少ない領域の扱いは限定的 - 手法原理と代表モデルの整理が中心。アーキテクチャ・分野・学習データ・評価プロトコルの差が大きく、統制された比較は医療分野（付録で金融）に限られる。手法横断の体系的な実証評価は今後の課題
今後の課題（Section 6、Appendix B）：
| 課題 | 内容 |
|---|---|
| Integrated Knowledge Consistency | 検索した知識がモデルの内部表現や他の検索結果と矛盾する（治療方針の衝突、法域で異なる法解釈など）。対策候補：信頼ソース優先、ドメインルール、アンサンブル、post-retrieval contradiction detection、confidence-aware re-ranking、MedRAGの重み付き検索と投票、オントロジーへの整合・構造化推論パスによる検証、alignment-aware reranking、user-in-the-loopの衝突解消、factual calibration |
| Cross-Domain Knowledge Transfer | 分野ごとに異なる用語・オントロジー・推論パターン・データ形式の橋渡し。adapter-based modularization、meta-learning、混合コーパスでの継続事前学習、静的埋め込みと動的検索のハイブリッド、CrossNER・MultiLexSum・MEDIQA-QAなど横断ベンチマーク、retrieval-augmented transfer、domain-invariant embedding learning |
| Scalability and Efficiency | 知識グラフ全体・文書コーパス・リアルタイムAPIを統合する計算・メモリコスト。sparse retrieval、memory compression、キャッシュ、task-aware pruning、検索パイプラインから小型モデルへの蒸留、効率的ルーティング |
| Evaluation and Hallucination Detection | 事実整合性・網羅性・推論深度の標準ベンチマークと自動指標が不足。正しい知識を与えても幻覚が起きる。FactScore、entailment-based verification、human-in-the-loop評価があるが分野・言語を横断してスケールしにくい。生成とソース知識の整合性チェックを内部モジュール化する方向 |
要点
- LLMへのドメイン知識注入を Dynamic Knowledge Injection／Static Knowledge Embedding／Modular Knowledge Adapters／Prompt Optimization の4パラダイムで統一記述し、学習コスト・推論速度・制約による選択指針を示したサーベイ
- 金融・医療・材料・人間中心科学の代表モデルと知識源を一覧化し、医療・金融ベンチマークでパラダイム間を比較。閉鎖モデルにはプロンプト最適化が有効、オープンモデルではfull fine-tuningがアダプタを上回る例があり、コーパスとタスクの整合が鍵
- 残る課題は知識の整合性、分野横断の転移、スケーラビリティ、評価と幻覚検出