特別損失に関する適時開示資料のゼロショット構造化手法の検討
| 項目 | 内容 |
|---|---|
| 論文ID | P62 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | 田中 麻由梨、土井 惟成（株式会社日本取引所グループ） |
| 発表先 | 人工知能学会 第二種研究会資料（SIG-FIN） |
| 発表日 | 2026-03-18 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390589054384128640 |
| 論文/pdf/P62.pdf（J-STAGE 公開版、8ページ） | |
| 読んだ範囲 | 全文 |
論文タイプ
応用。既存の LLM（3種）とそのアンサンブル、固定ルールによる変換を、特別損失に関する適時開示 PDF に当てはめて精度を試験的に検証している。
研究の目標
TDnet の適時開示資料は主に PDF だけで公開される。XBRL がある資料でも、詳しい説明は PDF にしか書かれないことがあり、機械的な情報抽出や他システムでの再利用の妨げになっている。本研究は、追加学習や教師データを用意せず、プロンプト設計だけで PDF から構造化データを得られるか（ゼロショット）を検証する。まずは特別損失の開示を対象とした。損失の内容・理由・金額・時期・業績影響など、抜き出す情報の粒度が比較的はっきりしているためである。
技術的なやり方
| 段階 | 内容 |
|---|---|
| 対象データ | 2023〜2025年に開示された東証上場会社の特別損失の資料。1ページのもの（訂正・追加は除く）をファイルサイズの小さい順に200件。正解 JSON は2名が人手で作成 |
| タスク1：PDF→JSON | 入力は PDF 本体と、pdfplumber で抜き出したテキスト行・表。出力は文書メタ情報（header）、special_loss.items（カテゴリ7区分、recognition_status、scope、金額、根拠テキスト）、performance_impact、related_items。モデルは GPT-5.2、Gemini 2.5 Flash、Claude Sonnet 4.6（temperature 0、Structured Outputs 相当） |
| アンサンブル | 3モデルのうち2つ以上が一致した値を採用する。1モデルだけの値は、文書中に明示されている値、次に Gemini の値を優先する |
| タスク2：JSON→知識グラフ | 固定写像規則で RDF（Turtle）に決定的に変換する。ノードは Company、Disclosure、SpecialLossItem など7種。rdflib で再パースし、構造制約を満たすか確認する |
結果
| モデル | Header Exact | SpecialLoss F1 | PerformanceImpact Exact | RelatedItems F1 |
|---|---|---|---|---|
| GPT-5.2 | 0.960 | 0.844 | 0.725 | 0.949 |
| Gemini 2.5 Flash | 0.965 | 0.839 | 0.755 | 0.868 |
| Claude Sonnet 4.6 | 0.980 | 0.838 | 0.770 | 0.949 |
| Ensemble | 0.980 | 0.842 | 0.775 | 0.886 |
- 正解データの件数は special_loss.items 319件（平均1.60件/文書）、related_items 70件
- アンサンブルは Recall が最も高く、PerformanceImpact の完全一致率も最大だった。一方、SpecialLoss F1 のモデル間差は0.838〜0.844と小さく、優劣は断定できないと著者は述べている
- 文書単位の総合一致率（header・item 配列・performance_impact の主要属性がすべて一致した文書の割合）は、最大でも0.175にとどまった
- 金額（amount_yen、amount_text）は高精度だった。recognition_status、scope、impact_assessment は相対的に難しかった
- タスク2では、200文書の TTL をすべて正常に再パースできた（トリプル9,149件）。構造制約と型付けはすべて満たしていた
限界・課題
- 小さな属性誤りが積み重なり、文書単位の完全一致が難しい。expected と recognized の取り違え、scope の過剰特定、カテゴリ判定の揺れが目立った。項目数が増えると取りこぼしや重複も起きやすい
- 正解作成で2名の判断が分かれたデータが複数あった。変換ルールとスキーマに曖昧さが残っている可能性がある
- 評価対象は1ページの特別損失開示に限られている。他の適時開示資料への一般化、それに向けたスキーマの検討、より広い範囲での精度検証は今後の課題
- 知識グラフを使った推論の有効性は、まだ定量的に検証していない
要点
特別損失の適時開示 PDF を、ゼロショットの LLM で JSON にし、固定ルールで RDF 知識グラフに変換する2段階の手法。メタ情報と金額は高精度で抜き出せた（Header 0.96以上）。一方、認識状態・範囲・業績影響の解釈は難しく、文書単位の完全一致は最大0.175だった。知識グラフへの変換は決定的で安定しており、誤りは PDF→JSON の段階に集中する。