Retrieval And Structuring Augmented Generation with Large Language Models
| 項目 | 内容 |
|---|---|
| 論文ID | P13 |
| 区分・分類 | 論文・構造化とは |
| 著者・所属 | Pengcheng Jiang, Siru Ouyang, Yizhu Jiao, Ming Zhong, Runchu Tian, Jiawei Han（全員 University of Illinois Urbana-Champaign。*は同等貢献） |
| 発表先 | ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2025) |
| 発表日 | 2025-08-03 |
| 引用数 | 16（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1145/3711896.3736557 |
| 取得済（arXiv:2509.10697 の公開版。PDF上の正式タイトルは "A Survey on Retrieval And Structuring Augmented Generation with Large Language Models"） | |
| 読んだ範囲 | 全文（本文 pp.1–9、参考文献 pp.9–15、全15ページ） |
論文タイプ
サーベイ。KDD'25 survey track に採録された論文で、独自の手法提案・実験はなく、315件の文献を「検索」「テキスト構造化」「LLMとの統合」の3軸で整理している。
研究の目標
LLM は幻覚（plausible but factually incorrect）、学習データの陳腐化、専門領域での知識不足という課題を抱える。RAG（Retrieval-Augmented Generation）は外部文書で応答を接地することでこれを緩和するが、著者は従来 RAG の根本的限界として (1) 非構造テキストをそのまま扱い構造化知識を活用しない、(2) 非アトミックな情報が LLM を誤誘導する、(3) 多段推論やドメイン固有の知識組織化が必要なクエリに弱い、の3点を挙げる。
そこで本論文は、動的な情報検索と構造化知識表現（taxonomy・階層・knowledge graph）を統合する Retrieval And Structuring (RAS) をパラダイムとして定義し、その構成要素・応用・技術的課題・研究機会を体系的に整理することを目標とする。
技術的なやり方
サーベイの構成と、各節で取り上げる代表手法は以下のとおり。
| 節 | 内容 | 代表手法（原語） |
|---|---|---|
| 2. Preliminaries | LLM のアーキテクチャ（Encoder-only / Encoder-Decoder / Decoder-only）、学習段階（Pre-training / SFT / RL）、推論戦略（ICL / CoT / Test-Time Scaling）。RAG のパラダイム（Naive / Advanced / Modular）、構成要素（検索ソース・粒度と埋め込み・文脈処理）、ワークフロー（adaptive / iterative / recursive retrieval） | BERT, T5, GPT, DeepSeek-R1, PPO, DPO, rewrite-retrieve-read, generate-read, demonstrate-search-predict |
| 3. Information Retrieval | Sparse retrieval（TF-IDF、BM25 と統計的変種、学習型スパース）、Dense retrieval（dual encoder、負例サンプリング改善、効率化）、その他（編集距離、NER ベース、Generative Retrieval）、近年の戦略（hybrid、データ拡張、query expansion/rewriting、多段リランキング） | BM25, BM25F, BM25+, DeepCT, uniCOIL, SPLADE, DPR, ANCE, RocketQA, GTR, ColBERT, CoCondenser, E5, CLEAR, Doc2query, DocT5query, InPars, DeepRetrieval, s3 |
| 4.1 Text Mining | Taxonomy 構築（seed 構造からの拡張）と enrichment（flat / hierarchical）、テキスト分類（flat / hierarchical、弱教師あり・プロンプト型）、情報抽出（NER・fine-grained entity typing・関係抽出） | HiExpan, CoRel, TaxoCom, SetExpan, CGExpan, CatE, TaxoGen, JoSH, WeSTClass, LOTClass, X-Class, NPPrompt, CARP, WeSHClass, TaxoClass, TELEClass, AutoNER, RoSTER, GPT-NER, X-NER, OntoType, UFET, RelationPrompt, QA4RE, GenRES, REBEL, SURE |
| 4.2 Knowledge Structuring | Knowledge graph 構築（OpenIE パイプライン → end-to-end → LLM 利用、ドメイン固有・テーマ固有 KG）、データベース移入、表形式データの組織化 | KnowledgeGraph GPT, AutoKG, KG-FIT, TagReal, MedKG, FolkScope, TKGCon, DB-GPT, D-Bot, ChatDB, Text2DB, RolePred, ODIE, TableLLAMA, Table-GPT, StructGPT, EVAPORATE, RelBench |
| 5.1 Structure-Enhanced Retrieval | Taxonomy による検索強化（検索空間フィルタ・トピック分布マッチ・クエリ拡充）、KG による検索強化（グラフ探索・personalized PageRank・graph foundation model） | ToTER, TaxoIndex, KG-RAG, HippoRAG, GFM-RAG |
| 5.2 Structure-Enhanced LLM Generation | 初期 PLM+KG（神経的統合 / ルール的統合）、現代 LLM+KG（KG 上での LLM 推論、KG を LLM に埋め込む、構造の要約） | KG-BART, GreaseLM, Dragon, MHGRN, QA-GNN, UniKGQA, ToG, ToG-2, Graph-of-Thought, Graph CoT, RoG, ChatRule, MindMap, ORT, GraphToken, G-Retriever, GraphRAG, KARE |
| 6. Future Directions | 技術課題と研究機会（下記「限界・課題」） | — |
著者が Figure 1 で示す RAS の抽象的な処理の流れ（著者自身が「有望な RAS 手法」として描いたもの）：
- Taxonomy で強化した retriever がコーパスからテーマ的・意味的に関連する文書を取得する
- 取得文書を subgraph に構造化し、クエリ固有の KG を更新する
- KG が LLM に構造化された情報を与え、LLM が回答を生成する
- 情報が不足していれば LLM が KG を条件にした subquery を生成し、十分な知識が集まるまで検索サイクルを繰り返す
結果
数値なし（サーベイのため独自実験はない）。本文中で引用されている定量的・比較的な主張は次のとおり。
| 主張 | 出典（本文の引用） |
|---|---|
| DeepRetrieval は教師なしで検索指標（Recall@K、NDCG）を直接最適化する RL 手法で、文献検索・証拠探索・SQL 検索で 3B パラメータのみで SOTA を達成 | [92] |
| s3 は生成を考慮した報酬で search-only agent を RL 学習し、桁違いに少ない学習データで下流性能を向上 | [96] |
| Fine-tuning は多少の改善を示すが、既存知識・新規知識の双方で RAG が一貫して上回る | [193] |
| Generative Retrieval は同じパラメータ数・学習データでより高い性能と解釈性を達成 | [236, 252] |
| Sparse retrieval は深層学習時代でも強いベースラインで、学習データが少ない場合やドメイン制約下で競争力を保つ | [238] |
限界・課題
サーベイ自身の限界については記載なし。著者が RAS 分野の技術的課題・研究機会として挙げるもの：
| 区分 | 項目 | 内容 |
|---|---|---|
| 技術課題 | Retrieval Efficiency | データ量の増大に対し、低遅延でスケールするインデックス手法と、クエリ複雑度に応じた適応的検索が必要 |
| 技術課題 | Knowledge Quality | Taxonomy 構築や情報組織化の自動化はノイズ・不整合を持ち込む。ドメイン知識を取り込んだ検証・反復改良が必要 |
| 技術課題 | Integration Challenges | 異なる知識源の統合で、矛盾の解消・冗長性の最小化・新情報による更新（incremental learning、conflict resolution）が課題 |
| 研究機会 | Multi-modal Knowledge Integration | 画像・動画・音声を含む統一的なマルチモーダル索引 |
| 研究機会 | Cross-lingual Systems | 多言語埋め込みによる言語非依存の taxonomy、高資源言語からの転移 |
| 研究機会 | Interactive and Self-Refining Systems | 対話的なクエリ精緻化、RL・meta-learning による自己修正 |
| 研究機会 | Human-AI Collaborative Frameworks | 専門家による taxonomy 精緻化、クラウドソーシングによる鮮度維持 |
| 研究機会 | Personalized Knowledge Delivery | ユーザープロファイル・履歴・フィードバックを取り込んだ検索と構造化 |
要点
RAG の先にある「検索＋構造化（RAS）」を一つのパラダイムとして定義し、検索手法・テキスト構造化（taxonomy・分類・情報抽出・KG 構築）・構造化知識と LLM の統合手法を一枚の地図にまとめた KDD'25 サーベイ。 非構造テキストを taxonomy や KG に構造化して検索と生成の両方を強化する、という流れを俯瞰するための基礎文献。 独自実験はなく、課題として検索効率・構造化知識の品質・知識統合を挙げている。