Lost in the Files：複数専門文書からの網羅的情報抽出における長コンテキストLLMとRAGの比較
| 項目 | 内容 |
|---|---|
| 論文ID | P63 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | 佐藤 正太（株式会社Lightblue）、古川 慧（清水建設株式会社）、生駒 和也（清水建設株式会社）、園田 亜斗夢（株式会社Lightblue） |
| 発表先 | 人工知能学会全国大会論文集（JSAI 2026） |
| 発表日 | 2026-06 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390308917529171328 |
| 論文/pdf/P63.pdf（J-STAGE公開版） | |
| 読んだ範囲 | 全文 |
論文タイプ
評価。既存の2手法（長コンテキストLLMへのPDF全文入力とRAG）を同じ条件で比べ、失敗のパターンと使い分けの指針を示す研究であるため。
研究の目標
複数の専門文書に散らばった記述を漏れなく集める作業は、今は専門家の精読に頼っている。RAGには検索漏れとチャンク境界での文脈分断、全文入力には位置バイアス（Lost-in-the-Middle）という弱点があるが、それぞれがどんな条件で表に出るかは整理されていない。本研究は、情報の配置と必要な処理の種類に着目し、文書数を変えて両手法の再現率を比べ、手法選択の指針を示すことを目指す。
技術的なやり方
| 項目 | 内容 |
|---|---|
| データ | 清水建設の有価証券報告書（2020〜2024年度）。総ページ数を160に固定し、ファイル数を1〜5に変える |
| 設問 | 15問。Type A：局所・定型検索型（例：執行役員の全氏名）／Type B：広域・連続記述型（例：研究開発の成果を全列挙）／Type C：条件・トピック絞り込み型（例：「AI」を含む成果） |
| RAG | ページ単位でチャンク化し、年度をメタデータとして付与。k=30件を取得し、ページ画像も渡す |
| モデル | Gemini 2.5 Pro、GPT-5.1-2025-11-13（両手法で使用） |
| 評価 | 再現率。要素が含まれているか（要素）、年度まで正しいか（年度）の2段階で、第一著者が目視で判定 |
結果
5ファイルのときの再現率（要素／年度）。1ファイルでは、RAGのType B（0.447）を除いて全て0.95以上。
| Type | 全文入力 GPT-5.1 | 全文入力 Gemini | RAG GPT-5.1 | RAG Gemini |
|---|---|---|---|---|
| A | 0.952／0.907 | 0.857／0.795 | 1.000／1.000 | 0.884／0.884 |
| B | 0.984／0.984 | 0.831／0.831 | 0.302／0.302 | 0.302／0.302 |
| C | 0.813／0.740 | 0.911／0.846 | 0.821／0.821 | 0.805／0.805 |
- Type B：RAGは検索が章タイトル付近のページに偏り、章の後半を取りこぼす
- 全文入力：約100人の執行役員を年度別に並べる問題（Q13）や、Type Cで年度を混同した。Geminiは4ファイルのType Cで要素0.900に対し年度が0.630まで落ち、存在しない年度に情報を割り当てるハルシネーションも起きた
- 判断を伴う処理では、4ファイル前後で両手法とも性能が落ちた
限界・課題
- 結果は実験条件に依存する。大規模な文書群や異なる構造の文書については追加検証が必要
- タスクや文書構造に合わせて処理戦略を動的に変える、適応的な設計の検討が今後の課題
- RAGでType Bを網羅するには、章・節単位のチャンク化や、見出しを後続ページに付与するなどの再設計が必要（考察）
要点
RAGは局所的に集まった情報に強いが、章をまたぐ連続記述はページ単位チャンクのせいで取りこぼす。全文入力は文書の量ではなく処理の種類で崩れ、条件判定が加わると文書数の増加につれて欠落や年度混同が起きる。指針は、局所ならRAG、連続記述なら全文入力、条件判定を伴う場合は3ファイル以下なら全文入力。