Automatic structuring of radiology reports with on-premise open-source large language models
| 項目 | 内容 |
|---|---|
| 論文ID | P19 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | Piotr Woźnicki, Caroline Laqua, Ina Fiku, Amar Hekalo, Bettina Baeßler, Fabian Christopher Laqua（University Hospital Würzburg）、Daniel Truhn（University Hospital Aachen）、Sandy Engelhardt（Heidelberg University Hospital / DZHK）、Jakob Kather（TU Dresden ほか）、Sebastian Foersch（University Medical Center Mainz）、Tugba Akinci D'Antonoli（Cantonal Hospital Baselland）、Daniel Pinto dos Santos（University of Cologne / University Hospital Frankfurt） |
| 発表先 | European Radiology |
| 発表日 | 2024-10-10 |
| 引用数 | 41（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/s00330-024-11074-y |
| 論文/pdf/P19.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
応用。既存のオープンソースLLM（Llama-2-70B-chat）と出力制御ライブラリを放射線レポートの構造化という業務課題に適用し、人間読者と比較評価した研究。
研究の目標
構造化レポートは比較性・可読性・AI連携に有利だが、ワークフロー変更への抵抗、テンプレートの硬直性、記載時間の増加などで臨床での普及が限定的。LLMで自由記述レポートを事後的に構造化すれば、放射線科医は従来の記述スタイルを保ったまま構造化データを得られる。先行研究はGPT-4などクラウド型モデルに依存し（患者データを外部送信するプライバシー懸念）、見出し・順序を整える第1レベルの構造化が中心だった。本研究は、院内設置のオープンソースLLMで、常に有効（valid）かつ完全な第2レベル構造化レポート（所見と属性を選択肢から選ぶ形式）を自動生成する手法を作り、英語・ドイツ語の胸部X線レポートで人間との同等性を検証する。
技術的なやり方
| 要素 | 内容 |
|---|---|
| データ | MIMIC-CXR（英語、202件）と University Hospital Würzburg の院内レポート（ドイツ語、197件、49名の臨床医が執筆）。各300件を無作為抽出し、所見なしの報告を除外。所見セクションのみ使用 |
| テンプレート | 上級放射線科医が設計。7セクション48項目（yes/no 34問、単一選択 11問、複数選択 2問）。32問はトップレベル、16問は親所見が「あり」のときのみ問うネスト構造 |
| モデル・環境 | Llama-2-70B-chat（HuggingFace、8bit量子化）。Docker、NVIDIA RTX 8000 ×2、Intel Xeon Gold 5218R、128GB RAM |
| プロンプト | 「You are Randy, a helpful radiology assistant…」に続けてレポートとテンプレートを渡す。ドイツ語レポートにも英語プロンプトを使用 |
| 出力制御 | Guidance ライブラリで (1) 冗長な回答の抑止 (2) 指定選択肢への生成制約 (3) 親の選択に応じた下位質問の分岐 (4) コンテキストキャッシュ。これにより全件で有効・完全な構造化を保証 |
| 比較対象 | 人間読者2名（循環器内科2年目レジデント、経験8年の放射線技師/MSc）。参照標準は上級放射線科医と最終年レジデントの合議 |
| 統計 | 階層ベイズモデル（Dirichlet事前の多項分布）、No-U-Turn Sampler（4チェーン、burn-in 4000、10,000サンプル）。主指標は micro-averaged MCC、副指標は F1・感度・特異度。94% HDI、ROPE は [−0.05, 0.05]。Python 3.11、pymc + blackjax。コードは github.com/baessler-lab/llm-tag |
結果
- LLM は全件で有効な構造化レポートを生成。1件あたりの所要時間は LLM 10〜30秒、人間 30秒〜3分。
- トップレベル所見全体（94% HDI）：
| コホート | 指標 | Llama-2-70B | Reader 1 | Reader 2 |
|---|---|---|---|---|
| MIMIC-CXR（英） | MCC | 0.75 (0.70–0.80) | 0.74 (0.70–0.79) | 0.74 (0.69–0.79) |
| MIMIC-CXR（英） | F1 / 感度 / 特異度 | 0.75 / 0.80 / 0.99 | 0.74 / 0.75 / 0.98 | 0.75 / 0.79 / 0.98 |
| UH（独） | MCC | 0.66 (0.62–0.70) | 0.67 (0.62–0.71) | 0.66 (0.62–0.70) |
| UH（独） | F1 / 感度 / 特異度 | 0.68 / 0.75 / 0.97 | 0.68 / 0.66 / 0.96 | 0.68 / 0.75 / 0.97 |
- MCC の対差（ΔMCC、94% HDI）：MIMIC-CXR で LLM−Reader1 0.01 (−0.05, 0.07)、LLM−Reader2 0.01 (−0.05, 0.07)、Reader1−Reader2 0.00 (−0.06, 0.06)。UH で LLM−Reader1 −0.01 (−0.07, 0.05)、LLM−Reader2 0.00 (−0.06, 0.06)、Reader1−Reader2 0.01 (−0.05, 0.07)。いずれも大部分が ROPE 内で、LLM は人間に非劣性。
- セクション別では差が大きい。Image quality は LLM が低い（MCC：MIMIC 0.35、UH 0.17 に対し Reader1 は 0.64、0.83）。UH の Foreign materials and devices も LLM 0.54 vs Reader1 0.72（ΔMCC −0.18 (−0.26, −0.08)、ROPE外）。一方 Pleura・Lung parenchyma・Diaphragm・Mediastinum では LLM は人間と同等かそれ以上。
限界・課題
- 非実験的研究のため因果的結論は限定的で、仮説生成的と解釈すべき。サンプルが小さく、ROPE 枠組みで二値判断するにはデータ不足。
- テンプレートの硬直性と自由記述の曖昧さ（"small to moderate"、"possible"、"cannot be excluded" 等）のため参照標準の定義が困難。テンプレート外の所見や曖昧な所見は事後構造化で情報損失が起こる。
- 単一モダリティ・単一解剖領域のみ。トップレベル所見のみ評価し、ネスト項目は未評価。プロンプトは1種類のみで、医療・ドイツ語への fine-tuning なし。
- ドイツ語の成績が英語より低い。Llama-2 の学習コーパスでドイツ語は 0.17%（英語 89.7%）。略語の意味差（PE＝英語では pulmonary embolism、独語では Pleuraerguss）も要因。
- ハルシネーション：記載のない胸腔ドレーンを、肺炎や大量胸水から「もっともらしい」として存在と予測した例を観察。
- 感度が 0.66〜0.80 と低めで、重要所見の見逃しリスクがある。
- 今後の課題として、前向き評価、放射線科医の修正からのフィードバックループ、曖昧表現の解釈ガイドライン、マルチモーダル化、ベイズ・アンサンブル・Monte Carlo Dropout による信頼度推定を挙げる。
要点
院内設置の Llama-2-70B に Guidance で選択肢制約をかけ、胸部X線の自由記述レポートを48項目テンプレートへ全件有効に構造化。英語・ドイツ語とも人間読者との MCC 差が ROPE 内でほぼ同等。ただし言語（独語は低い）と所見種別（画像品質・デバイス）で性能差があり、感度の低さが課題。