ESGReveal: An LLM-based approach for extracting structured data from ESG reports
| 項目 | 内容 |
|---|---|
| 論文ID | P18 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | Yi Zou, Zhongjie Chen, Zhu Deng, ZongXiong Lei, HongXiang Tong, Lei Xiao, Wenwen Zhou（Alibaba Cloud）／Mengying Shi（Tsinghua University）／Zihan Zeng, Shiming Yang（Sun Yat-Sen University） |
| 発表先 | Journal of Cleaner Production |
| 発表日 | 2024-12-24 |
| 引用数 | 68（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1016/j.jclepro.2024.144572 |
| 論文/pdf/P18.pdf | |
| 読んだ範囲 | 全文（arXiv版 2312.17264v1。補足の表・図は画像のためキャプションのみ） |
論文タイプ
新技術。LLM＋RAGでESG報告書から構造化データを抽出する枠組み ESGReveal を提案・評価し、HKEx上場企業の報告書分析に応用している。
研究の目標
ESG報告書は数が多く書式もばらばらで、企業・業界横断での開示データ統合が難しい。第三者格付は詳細指標の透明性を欠き、詳細指標を網羅した公開データベースもない。そこで数値情報の構造化抽出に重点を置いた手法を作り、HKEx上場企業の2022年報告書に適用して業界ベンチマークを示す。
技術的なやり方
| モジュール | 内容 |
|---|---|
| ESG metadata module | 指標を |
| Report preprocessing module | LayoutLMv3・GeoLayoutLM で構造要素抽出と文書アウトライン構築、Table-Transformer・LORE-TSR で表構造復元。テキストは mt5 で要約、m3e でベクトル化し FAISS・Milvus に格納 |
| LLM agent module | クエリをベクトル検索（コサイン類似度）し coROM で再ランク。取得内容＋専門知識を含むプロンプトで |
データ：HKEx上場企業の2022年ESG報告書約2,249件から12業種・時価総額を考慮し166社を抽出。数値指標を人手アノテーションし、開示判定精度（Acc_DC）と数値抽出精度（Acc_DE）で評価。比較LLMは GPT-4・GPT-3.5・QWEN・ChatGLM。アブレーションは LangChain の基本RAGをBenchmarkとする。
結果
| モデル | Acc_DE | Acc_DC |
|---|---|---|
| GPT-4 | 76.9% | 83.7% |
| QWEN | 54.9% | 61.4% |
| GPT-3.5 | 47.1% | 51.9% |
| ChatGLM | 46.2% | 53.9% |
アブレーション（開示判定／数値抽出）：
| 構成 | GPT-4 | GPT-3.5 |
|---|---|---|
| Benchmark | 57.8% / 52.2% | 31.7% / 26.6% |
| Enhanced-RAG | 81.2% / 74.0% | 42.0% / 38.9% |
| ＋ESG Knowledge | 83.7% / 76.9% | 51.9% / 47.1% |
知識追加の効果はGPT-3.5（+9.9）の方がGPT-4（+2.5）より大きい。開示分析では環境指標の平均開示率69.5%、社会指標57.2%で、80%を超える業界はなし。主要アクションの高頻度語は「Greenhouse gas reduction」が24.3%で最多。
限界・課題
- 図などの画像で示された情報は抽出できない（今後改良予定）
- LLM間の能力差が大きく、文書構造解析と検索精度に性能が強く依存する
- 評価は数値指標のみ（定性指標は定量評価が難しい）
- 今後は業種別の詳細データセット整備、IPCC文書等への適用拡大
要点
指標メタデータ（定義＋専門知識＋検索語）と、レイアウト解析・表復元・再ランクを組み込んだ強化RAGでESG報告書から数値を構造化抽出。GPT-4で数値抽出76.9%・開示判定83.7%、基本RAG比20ポイント超の改善。文書構造化と検索精度がLLM抽出の性能を左右することを示した。