LazyGraphRAG: Setting a new standard for quality and cost

項目 内容
論文ID D01
区分・分類 業界資料・構造化知識の利用
著者・所属 Darren Edge(Senior Director)、Ha Trinh(Senior Data Scientist)、Jonathan Larson(Partner Data Architect)
発表先 Microsoft Research Blog
発表日 2024-11-25
引用数 -(OpenAlex 2026-10-06時点)
言語 英語
URL https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/
PDF 取得できず
読んだ範囲 全文(Webページ本文。図1は画像のため数値は読めず)

論文タイプ

新技術。GraphRAG の事前要約を不要にする新しいグラフ型RAG「LazyGraphRAG」を提案し、比較評価しているため。

研究の目標

GraphRAG はテキスト内の暗黙の関係を使い、データセット全体を対象とする global クエリ(「データの主要テーマは何か」等)に答えられる点が vector RAG に対する強み。一方 vector RAG は、答えが特定のテキスト箇所にある local クエリ(who/what/when/where)に強い。ただし GraphRAG はソースデータの事前要約が必要で、そのインデックス作成コストが一部の利用者・用途には過大になりうる。本記事は、事前要約なしで vector RAG と Graph RAG の利点を両立し、コストと品質を1つのパラメータで調整できる方式を狙う。

技術的なやり方

vector RAG はクエリ類似度で最良チャンクを選ぶ best-first 探索(global の広がりを考慮できない)、GraphRAG global search はコミュニティ構造で全体を見る breadth-first 探索(local に適したコミュニティを選べない)。LazyGraphRAG は両者を iterative deepening で組み合わせ、LLM の利用をクエリ時まで先送りする("lazy")。主パラメータは relevance test budget の1つ。

段階 GraphRAG LazyGraphRAG
インデックス構築 LLM でエンティティ・関係を抽出・記述し要約、グラフ統計で階層コミュニティ抽出 NLP の名詞句抽出で概念と共起を抽出、グラフ統計で階層コミュニティ抽出
インデックス要約 LLM で各コミュニティを要約 なし
クエリ精緻化 なし LLM でサブクエリを特定し拡張クエリに再結合、概念グラフで精緻化
クエリ照合 全コミュニティ要約を使用 サブクエリ(3〜5個)ごとに、チャンク埋め込みでチャンク→コミュニティを順位付け、LLM の文単位関連性判定で上位チャンクを評価、関連ゼロが続けば下位コミュニティへ再帰、budget/q で終了
map / reduce コミュニティ要約のバッチに LLM で回答し統合 関連チャンクから主張(claims)を抽出・絞り込み、拡張クエリに回答

評価:5,590件の AP news 記事、合成クエリ100件(local 50・global 50)、指標は Comprehensiveness・Diversity・Empowerment(LLM が回答ペアを一対比較)。LazyGraphRAG 3設定(Z100_Lite / Z500 / Z1500)を競合8条件(GraphRAG Global Search C1・C2・C3_Dynamic、Local Search、DRIFT、vector RAG SS_8K・SS_64K、RAPTOR)と比較。

結果

項目 記事の記載
インデックスコスト vector RAG と同一、full GraphRAG の 0.1%
vector RAG 並みのクエリコスト local クエリで long-context vector RAG・DRIFT・GraphRAG local search を含む全手法を上回る。同じ構成で global クエリは GraphRAG Global Search と同等の品質を700倍以上低いクエリコストで達成
Z100_Lite(SS_8K と同コスト) local・global とも全条件を有意に上回る(global クエリでの GraphRAG global search 条件を除く)
Z500(C2 のクエリコストの 4%) local・global とも全条件を有意に上回る(C2 を含む)
Z1500 budget 増加に伴い勝率がさらに上昇

勝率の具体値は図1(画像)のみで本文に記載なし。表3に米国医療保険の選び方を問うクエリへの vector RAG(64K)と LazyGraphRAG の回答例を併記。

限界・課題

著者は「すべてのグラフ型RAGを lazy にすべきではない」とし、理由を3つ挙げる。 1. エンティティ・関係・コミュニティ要約の GraphRAG インデックスは、レポートとして読む・共有するなど質問応答以外にも価値がある 2. GraphRAG インデックスと LazyGraphRAG 型検索の組み合わせは、LazyGraphRAG 単独より良い結果になる見込み 3. LazyGraphRAG 型検索向けの新しいインデックス(主張・トピックの事前抽出など)が最良の結果を出す見込み

これらは今後探るとしている。合成クエリの生成方法は今後のブログで説明予定で、本記事には記載なし。

要点

LLM 利用をクエリ時まで先送りし、名詞句抽出の概念グラフだけでインデックスを作るグラフ型RAG。インデックスコストは full GraphRAG の 0.1%、relevance test budget 1つでコストと品質を調整でき、C2 の 4% のクエリコストで local・global とも全比較手法を有意に上回ったと報告。著者は one-off クエリ・探索的分析・ストリーミングデータ向きとしている。