HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction
| 項目 | 内容 |
|---|---|
| 論文ID | P48 |
| 区分・分類 | 論文・構造化知識の利用 |
| 著者・所属 | Bhaskarjit Sarmah（BlackRock, Inc.）、Benika Hall（NVIDIA）、Rohan Rao（NVIDIA）、Sunil Patel（NVIDIA）、Stefano Pasquali（BlackRock, Inc.）、Dhagash Mehta（BlackRock, Inc.） |
| 発表先 | ACM International Conference on AI in Finance (ICAIF 2024) |
| 発表日 | 2024-11-14 |
| 引用数 | 127（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1145/3677052.3698671 |
| 論文/pdf/P48.pdf | |
| 読んだ範囲 | 全文（arXiv v1、9ページ） |
論文タイプ
新技術：VectorRAG と GraphRAG の取得文脈を結合する HybridRAG を提案し、金融文書のQ&Aで単独手法と比較しているため。
研究の目標
決算説明会の書き起こし（earnings call transcripts）などの金融文書は、専門用語や複雑な書式のため、ベクトルDBで検索する従来のRAG（VectorRAG）でも情報抽出が難しい。段落単位のチャンク分割は財務文書の階層構造を無視し、文脈を失う。一方、知識グラフ（KG）を使う GraphRAG は、抽象的な質問や、質問に明示的なエンティティが無い場合に弱い。両者を組み合わせ、正確で文脈に合う回答を生成することが狙い。著者らは両者のハイブリッドを提案する初の研究としている。
技術的なやり方
- データ：Nifty 50 構成企業50社の決算説明会書き起こし（インド会計年度2024年Q1）。平均27ページ・60,000トークン。アナリストの質問を400件ランダムに選び、書き起こし中の実際の回答を正解とした。FinQA・FinanceBench 等は元文書やKG由来の文脈が無く比較に使えないため自作
- KG構築：2段のLLMチェーン（①チャンクの要約的整理、②エンティティ・関係抽出）。エンティティ型は企業・財務指標・経営陣・製品/サービス・地域・企業イベント・法規制の7種。トリプルは ['h','type','r','o','type','metadata'] 形式でメタデータ付き。曖昧性解消を行い、KGは静的として扱う
| VectorRAG | GraphRAG | HybridRAG | |
|---|---|---|---|
| 検索 | Pinecone＋text-embedding-ada-002。四半期・年・企業名で絞り込み、文脈4件取得 | LangChain の NetworkxEntityGraph／GraphQAChain。指定エンティティから深さ1のDFS | 両者の文脈を連結（VectorRAG が先、GraphRAG が後） |
| 規模・設定 | チャンク1024、重複0 | トリプル13,950、ノード11,405、エッジ13,883 | ― |
| 生成 | GPT-3.5-Turbo（温度0） | 同左 | 同左 |
- 評価：RAGAS を一部改変し、検索段・生成段を4指標で評価
結果
| 指標 | VectorRAG | GraphRAG | HybridRAG |
|---|---|---|---|
| Faithfulness | 0.94 | 0.96 | 0.96 |
| Answer Relevance | 0.91 | 0.89 | 0.96 |
| Context Precision | 0.84 | 0.96 | 0.79 |
| Context Recall | 1 | 0.85 | 1 |
- HybridRAG は Faithfulness・Answer Relevance で最高、Context Recall も1。Context Precision は最低で、著者は2つの文脈を結合し正解と合わない内容が増えたためとしている
- 定性的に、GraphRAG は抽出型の質問、VectorRAG は原文に明示されない抽象型の質問に強く、HybridRAG は一方が文脈を取り損ねたときに他方で補えるとしている
限界・課題
- 結合した文脈が大きくなり、回答の precision に影響する。後ろに置く GraphRAG 文脈から回答が作られると precision が下がる
- GraphRAG は質問に明示的なエンティティが無いと誤答することがある
- KG は静的で、市場変化に合わせた継続更新は資源集約的で難しい
- VectorRAG と GraphRAG を比較できる公開ベンチマークが無く、自作データに依存。RAG評価の標準ツールも確立していない
- 今後：マルチモーダル入力、数値データ分析、金融言語や数値の正確性を測る評価指標、リアルタイム金融データとの統合
要点
ベクトル検索とKG検索の文脈を連結する HybridRAG を、インド企業50社の決算説明会Q&A 400問で評価。Faithfulness・Answer Relevance・Context Recall は単独手法と同等以上だが、Context Precision は最も低い。