LazyGraphRAG: Setting a new standard for quality and cost
| 項目 | 内容 |
|---|---|
| 論文ID | D01 |
| 区分・分類 | 業界資料・構造化知識の利用 |
| 著者・所属 | Darren Edge(Senior Director)、Ha Trinh(Senior Data Scientist)、Jonathan Larson(Partner Data Architect) |
| 発表先 | Microsoft Research Blog |
| 発表日 | 2024-11-25 |
| 引用数 | -(OpenAlex 2026-10-06時点) |
| 言語 | 英語 |
| URL | https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/ |
| 取得できず | |
| 読んだ範囲 | 全文(Webページ本文。図1は画像のため数値は読めず) |
論文タイプ
新技術。GraphRAG の事前要約を不要にする新しいグラフ型RAG「LazyGraphRAG」を提案し、比較評価しているため。
研究の目標
GraphRAG はテキスト内の暗黙の関係を使い、データセット全体を対象とする global クエリ(「データの主要テーマは何か」等)に答えられる点が vector RAG に対する強み。一方 vector RAG は、答えが特定のテキスト箇所にある local クエリ(who/what/when/where)に強い。ただし GraphRAG はソースデータの事前要約が必要で、そのインデックス作成コストが一部の利用者・用途には過大になりうる。本記事は、事前要約なしで vector RAG と Graph RAG の利点を両立し、コストと品質を1つのパラメータで調整できる方式を狙う。
技術的なやり方
vector RAG はクエリ類似度で最良チャンクを選ぶ best-first 探索(global の広がりを考慮できない)、GraphRAG global search はコミュニティ構造で全体を見る breadth-first 探索(local に適したコミュニティを選べない)。LazyGraphRAG は両者を iterative deepening で組み合わせ、LLM の利用をクエリ時まで先送りする("lazy")。主パラメータは relevance test budget の1つ。
| 段階 | GraphRAG | LazyGraphRAG |
|---|---|---|
| インデックス構築 | LLM でエンティティ・関係を抽出・記述し要約、グラフ統計で階層コミュニティ抽出 | NLP の名詞句抽出で概念と共起を抽出、グラフ統計で階層コミュニティ抽出 |
| インデックス要約 | LLM で各コミュニティを要約 | なし |
| クエリ精緻化 | なし | LLM でサブクエリを特定し拡張クエリに再結合、概念グラフで精緻化 |
| クエリ照合 | 全コミュニティ要約を使用 | サブクエリ(3〜5個)ごとに、チャンク埋め込みでチャンク→コミュニティを順位付け、LLM の文単位関連性判定で上位チャンクを評価、関連ゼロが続けば下位コミュニティへ再帰、budget/q で終了 |
| map / reduce | コミュニティ要約のバッチに LLM で回答し統合 | 関連チャンクから主張(claims)を抽出・絞り込み、拡張クエリに回答 |
評価:5,590件の AP news 記事、合成クエリ100件(local 50・global 50)、指標は Comprehensiveness・Diversity・Empowerment(LLM が回答ペアを一対比較)。LazyGraphRAG 3設定(Z100_Lite / Z500 / Z1500)を競合8条件(GraphRAG Global Search C1・C2・C3_Dynamic、Local Search、DRIFT、vector RAG SS_8K・SS_64K、RAPTOR)と比較。
結果
| 項目 | 記事の記載 |
|---|---|
| インデックスコスト | vector RAG と同一、full GraphRAG の 0.1% |
| vector RAG 並みのクエリコスト | local クエリで long-context vector RAG・DRIFT・GraphRAG local search を含む全手法を上回る。同じ構成で global クエリは GraphRAG Global Search と同等の品質を700倍以上低いクエリコストで達成 |
| Z100_Lite(SS_8K と同コスト) | local・global とも全条件を有意に上回る(global クエリでの GraphRAG global search 条件を除く) |
| Z500(C2 のクエリコストの 4%) | local・global とも全条件を有意に上回る(C2 を含む) |
| Z1500 | budget 増加に伴い勝率がさらに上昇 |
勝率の具体値は図1(画像)のみで本文に記載なし。表3に米国医療保険の選び方を問うクエリへの vector RAG(64K)と LazyGraphRAG の回答例を併記。
限界・課題
著者は「すべてのグラフ型RAGを lazy にすべきではない」とし、理由を3つ挙げる。 1. エンティティ・関係・コミュニティ要約の GraphRAG インデックスは、レポートとして読む・共有するなど質問応答以外にも価値がある 2. GraphRAG インデックスと LazyGraphRAG 型検索の組み合わせは、LazyGraphRAG 単独より良い結果になる見込み 3. LazyGraphRAG 型検索向けの新しいインデックス(主張・トピックの事前抽出など)が最良の結果を出す見込み
これらは今後探るとしている。合成クエリの生成方法は今後のブログで説明予定で、本記事には記載なし。
要点
LLM 利用をクエリ時まで先送りし、名詞句抽出の概念グラフだけでインデックスを作るグラフ型RAG。インデックスコストは full GraphRAG の 0.1%、relevance test budget 1つでコストと品質を調整でき、C2 の 4% のクエリコストで local・global とも全比較手法を有意に上回ったと報告。著者は one-off クエリ・探索的分析・ストリーミングデータ向きとしている。