Enhancing scientific table understanding with type-guided chain-of-thought
| 項目 | 内容 |
|---|---|
| 論文ID | P25 |
| 区分・分類 | 論文・文書解析・表 |
| 著者・所属 | Zhen Yin、Shenghua Wang（所属はOpenAlex登録情報：Beijing Renhe Information Technology Co. Ltd.／Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals。本文では未確認） |
| 発表先 | Information Processing & Management |
| 発表日 | 2025-03-27 |
| 引用数 | 27（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1016/j.ipm.2025.104159 |
| 取得できず | |
| 読んだ範囲 | 要旨のみ |
論文タイプ
新技術：表の種類を判定して、その種類に応じたCoTプロンプトでLLMに表を処理させる枠組み「SciTable-Sowise」と、評価用データセットを提案している。
研究の目標
- 背景：科学論文の表は重要なデータと知見を伝えるが、従来の手法では今の表データの複雑さに対応しきれない
- 到達点：表ごとに種類を判定し、その種類の情報をLLMへの指示（CoTプロンプト）に組み込むことで、表の内容の処理（推論・要約）の精度を上げる
技術的なやり方
| 要素 | 内容 |
|---|---|
| 枠組み | SciTable-Sowise |
| 手順1：表の種類判定 | ファインチューニングした表分類器（table classifier）で各表の種類を判定する |
| 手順2：種類に応じたプロンプト | 判定した種類の情報を使って、LLM向けのChain-of-Thought（CoT）プロンプトを組み立てる |
| 対象タスク | 表に関する推論（QA）、表の要約 |
| 構築したデータセット | Sci-Table-QA（推論QA 55,000件）、Sci-Table-Summarization（要約 5,264件）。複数分野、中国語と英語 |
| 評価指標（要約） | ROUGE、BertScore、GPT-4oを使った評価（G-Eval-4） |
- 表の種類の分け方、分類器のモデル、使ったLLM、比較対象のモデルは要旨に記載なし
- 参考：ScienceDirectページの検索結果の抜粋には「分類器はDeBERTaをファインチューニングしたもの」とあった。本文では未確認
結果
| タスク | 結果 |
|---|---|
| 表推論の精度（中国語） | 81.9%。7.2%向上 |
| 表推論の精度（英語） | 83.1%。7.5%向上 |
| 要約 | ROUGE、BertScore、G-Eval-4で性能が向上したとある。数値は要旨に記載なし |
- 要旨には「既存モデルを上回った」とある。何と比べた向上幅かは要旨に記載なし
限界・課題
記載なし（要旨のみ読んだため。本文は未確認）
要点
- 科学論文の表をまず種類分けして、種類ごとに合わせたCoTプロンプトでLLMに読ませると、表の推論・要約の精度が上がる
- 中国語・英語の科学表のQAデータセット（55,000件）と要約データセット（5,264件）を作った。要旨ではデータセットは公開済みとしている（公開先は見つからなかった）