OCRテキストからの構造化コーパス構築手法とLLM学習への活用
| 項目 | 内容 |
|---|---|
| 論文ID | P65 |
| 区分・分類 | 論文・文書解析・表 |
| 著者・所属 | 藤井 巧朗、藤武 将人（株式会社ファーストアカウンティング） |
| 発表先 | 人工知能学会全国大会論文集（JSAI 2026） |
| 発表日 | 2026-06 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390590392506105728 |
| 論文/pdf/P65.pdf（J-STAGE、DOI 10.11517/pjsai.jsai2026.0_4yinb44） | |
| 読んだ範囲 | 全文（4ページ） |
論文タイプ
新技術。OCRテキストをLLM学習用コーパスに変換する2段階パイプライン OCR2Corpus を提案し、下流タスクで効果を検証している。
研究の目標
仕様書・証憑・書籍などの紙媒体には、Webでは得にくい長文で構造化された記述や専門ドメインの実務知がある。しかしOCRテキストは誤認識ノイズと、ヘッダー/フッター混入・ページ境界での文や表の分断があり、学習コーパスとして扱いにくい。既存のスキャン文書コーパス（Institutional Books 1.0 等）の後処理はルールベース／統計的手法が中心で、多様なレイアウトへの対応に限界がある。人手アノテーションに頼らず、文書種に依存しにくい形でOCRテキストをコーパス化することを目指す。
技術的なやり方
| 段階 | 内容 |
|---|---|
| 1. ルールベース・統計的処理（Rule/Stats） | JSON形式のOCR出力に対し、①OCRが付けたヘッダー/フッター/ページ番号ラベルを疑似教師に、座標を特徴量とする線形SVMで全wordの役割を推定し除去 ②図領域と重なり率0.3以上の文字を除去 ③表は1行目をヘッダ行としてMarkdown表に変換し、表領域と重なる文字を除去 ④文字のフォントサイズ（バウンディングポリゴンの短辺長）の段落平均と、Title/sectionHeading段落から学習した2成分GMMのしきい値で見出しを判定し # を付与 |
| 2. Refiner | 定義した4種のOCR固有ノイズ（ランダムな改行、表の分断、ノイズ文字、注釈の混入）を除去。Wikipediaのカテゴリ木（深さd）から取得したページをMarkdown化したクリーン文書に、ノイズを擬似注入して対データを作り、LoRAによるSFTで学習 |
- 実験ドメインは経理・財務会計。Wikipediaは財務会計・簿記・IFRS など9カテゴリを深さ d=3 まで取得
- Refinerのベースモデル: Qwen/Qwen3-4B-Instruct-2507（LoRA rank 16）
- 実データ: 経理・財務会計の文書・レポート・パンフレット計534件を購入・裁断・スキャン・OCR
- 下流評価: Llama-3.2-3B、Qwen3-14B、gpt-oss-20b、mistral-7b を Unsloth で LoRA 事後学習（rank 128、4エポック）。Pretrained／Rule/Stats／OCR2Corpus の3条件を比較
- 評価データ: JMMLU professional accounting、EDINET-Bench（earnings forecast、fraud detection）、japanese-lm-fin-harness（cma basics、fp2）。Accuracy（%）、5シード平均±標準偏差
結果
- Refiner適用でトークン数が19Mから18Mになり、1M tokenのノイズを除去
- 定性評価: ヘッダー・ページ番号の除去、空白・改行・表の分断（ノイズ1〜3）の解消を確認。注釈の混入（ノイズ4）は解消できず
- 4モデル×5タスクの20条件での勝敗
| 比較 | OCR2Corpusが上 | 同値 | 相手が上 |
|---|---|---|---|
| 対 Pretrained | 13 | 4 | 3 |
| 対 Rule/Stats | 17 | 2 | 1 |
- Qwen3-14B の EDINET-Bench: earnings forecast 12.0（Pretrained）／8.4（Rule/Stats）→ 34.2、fraud detection 4.8／14.2 → 39.6
- JMMLU professional accounting は全モデルで Pretrained より改善（例: gpt-oss-20b 22.4 → 36.1、Qwen3-14B 43.2 → 49.9）
- Rule/Stats は20条件中9条件で Pretrained を下回った
- 表の読み方の注意: EDINET-Bench の2タスクは二値分類だが、多くの値が50%を下回る。理由は論文に記載なし
限界・課題
- Refinerは注釈の混入を解消できない
- 一部の設定で下流タスク性能が低下する
- 他ドメインでの検証は未実施
- 見出し判定はセクションとサブセクションを区別できない
要点
OCRテキストを、ルール/統計処理でMarkdown化し、Wikipediaから作った擬似ノイズ対データで学習したLLM（Refiner）で整える2段階手法 OCR2Corpus。経理ドメインで、Refinerまで通したデータでの事後学習が、ルール処理だけの場合より多くの条件で下流性能を改善した。