Information extraction from clinical notes: are we ready to switch to large language models?
| 項目 | 内容 |
|---|---|
| 論文ID | P22 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | Yan Hu, Xu Zuo, Xiaoqian Jiang, Kirk E. Roberts（McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston）／Yujia Zhou, Xueqing Peng, Jimin Huang, Vipina K. Keloth, Vincent J. Zhang, Ruey-Ling Weng, Qingyu Chen, Hua Xu（Department of Biomedical Informatics and Data Science, Yale School of Medicine, Yale University） |
| 発表先 | Journal of the American Medical Informatics Association |
| 発表日 | 2025-11-21 |
| 引用数 | 18（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1093/jamia/ocaf213 |
| 論文/pdf/P22.pdf | |
| 読んだ範囲 | 全文（arXiv v4 版、2025-01-07） |
論文タイプ
評価。instruction-tuning した LLaMA と fine-tuning した BERT を、臨床ノートの NER・RE で性能・汎化性・計算資源・スループットの観点から系統的に比較する研究（併せて IE パッケージ Kiwi を公開）。
研究の目標
EHR の自由記述（臨床ノート）からの情報抽出（NER・RE）で、従来の SOTA である BERT から LLM に乗り換える準備ができているかを問う。背景として、LLM は zero-/few-shot では fine-tuned BERT に及ばないことが多く、fine-tuning 後の比較研究も同種テキスト・限られたエンティティ／関係種類に偏り、複数機関にまたがる汎化性や、性能とスループット・エネルギー消費のトレードオフを調べた包括的研究が無かった。到達点は、(1) 複数機関 1,588 件の注釈コーパス構築、(2) LLaMA-2/3 と BERT の多面的比較、(3) 資源状況別のモデル選択指針、(4) BERT・LLaMA 両対応の公開パッケージ Kiwi。
技術的なやり方
| 項目 | 内容 |
|---|---|
| データ | UT Physicians (UTP) 1,342 件、MTSamples 146 件、MIMIC-III 50 件、2010 i2b2 50 件。主エンティティ 4 種（Problem, Test, Drug, Other Treatment）＋修飾子 16 種（Negation, Temporal, Severity, Dosage 等）、関係 21 種。i2b2 は訓練に使わず未見機関の汎化テスト専用 |
| LLM | LLaMA-2-chat（7B/13B/70B）、LLaMA-3-instruct（8B/70B）。4bit 量子化＋QLoRA（r=16, α=64, dropout=0.05, 線形層のみ）、lr 2e-4、2 epoch、batch 4。推論は vLLM、temperature 0 |
| BERT | NER は BioClinicalBERT（lr 5e-5, 20 epoch, batch 4）、RE は BiomedBERT（lr 1e-6, 20 epoch, batch 64） |
| 指示形式 | NER・RE 共通の統一形式。文中のエンティティを <span class='entity type'> で囲んだ HTML 風テキストを生成。RE は主エンティティがタグ付けされた文を入力し、関連修飾子を同じ span 形式でマーク。文単位で処理 |
| 評価 | P/R/F1（exact match／relaxed match）。BERT に対する有意差は one-sided Wilcoxon rank-sum test＋bootstrap 1,000 回。計算コストは GPU 時間・GPU メモリ・エネルギー消費（0.39 kg CO2/kWh で換算）。スループットは訓練・推論のノートあたり秒（推論は batch 100）。NVIDIA A100 80GB 使用 |
| エラー分析 | 自動分析＋各データセット 40 文の手動分析 |
| Kiwi | Python ベースの Docker イメージ。CPU 版（BERT）と GPU 版（BERT＋LLaMA）、バッチ処理と Web GUI デモ。https://kiwi.clinicalnlp.org/ |
結果
Exact match F1（Table 2、全 LLaMA の結果が BERT に対して統計的に有意）:
| タスク | モデル | UTP | MTSamples | MIMIC-III | i2b2（未見） |
|---|---|---|---|---|---|
| NER | LLaMA-3-70B | 0.932 | 0.876 | 0.855 | 0.872 |
| NER | LLaMA-3-8B | 0.929 | 0.869 | 0.843 | 0.852 |
| NER | BERT | 0.921 | 0.833 | 0.810 | 0.798 |
| RE | LLaMA-3-70B | 0.937 | 0.795 | 0.858 | 0.744 |
| RE | LLaMA-3-8B | 0.936 | 0.787 | 0.859 | 0.739 |
| RE | BERT | 0.898 | 0.670 | 0.808 | 0.703 |
- 訓練データが十分な UTP では LLaMA の改善は NER 1%、RE 1.5〜3.7%。少データの MTSamples・MIMIC-III では NER 3.7〜4.5%、RE 最大 12.5% の改善。未見の i2b2 では LLaMA-3-70B が BERT を NER で 7% 超、RE で 4% 超（F1）上回る。
- 計算資源（Table 3）: 70B モデルは訓練 57.6〜66.3 GB、推論 146 GB（A100 2 枚）。BERT は 21.3 GB／65.7 GB。訓練エネルギーは 70B で 101〜125 kWh（39〜49 kg CO2）、小型 LLaMA と BERT は 13〜28 kWh。推論は BERT 0.03 kWh、LLaMA 0.14（3-8B）〜0.86 kWh（2-70B）。
- スループット（Table 4）: 総訓練 GPU 時間は LLaMA-3-8B 38.6 h が最短、BERT 96.8 h（20 epoch のため）、70B は 273.5〜320.2 h。epoch あたりでは BERT 4.84 h に対し LLaMA-3-8B 19.3 h。推論は BERT が LLaMA より 5〜28 倍速い（UTP のノートあたり: BERT 2.9 秒、LLaMA-3-8B 11.6 秒、LLaMA-3-70B 59.6 秒）。
- エラー分析: 70B は FN が少なく FP がやや多い。BERT は FN・FP とも多いが境界エラーは少ない。手動分析で 7.5% のアノテーション誤り（モデルが人の見落としを検出）。
- 著者の推奨: 推論は複数 A100 なら LLaMA-3-70B、単一 A100 なら LLaMA-3-8B、資源制約下では BERT。注釈データが豊富な機関では BERT、少ない場合や他機関展開では LLM を優先。
限界・課題
- 文単位で抽出しており、ノートを文分割してから処理する。LLM の長文処理能力を活かせておらず、文間関係などセクション／文書レベルの抽出は今後の課題。
- ベースモデルの LLaMA-2/3 は医療テキストで事前学習されていない。Me-LLaMA 等のドメイン特化基盤モデルでの instruction-tuning は今後の課題。
- 将来課題として、大型 LLM の知識蒸留による小型化、機関固有データでの継続学習を挙げている。
要点
- 4 ソース 1,588 件の臨床コーパスで、instruction-tuned LLaMA は BERT を一貫して上回り、差は少データ・未見機関（i2b2 で NER +7%、RE +4%）で特に大きい。
- ただし推論は BERT の 5〜28 倍遅く、メモリ・電力も大幅に多い。データが十分なら BERT、少データ・他機関展開なら LLM と、用途と資源で選ぶべきと結論。
- BERT・LLaMA 両対応の臨床 IE パッケージ Kiwi を公開。