Data extraction from polymer literature using large language models
| 項目 | 内容 |
|---|---|
| 論文ID | P17 |
| 区分・分類 | 論文・情報抽出 |
| 著者・所属 | Sonakshi Gupta, Akhlak Mahmood, Pranav Shetty, Aishat Adeboye, Rampi Ramprasad（全員 Georgia Institute of Technology。School of Computational Science and Engineering / School of Materials Science and Engineering / School of Chemical and Biomolecular Engineering） |
| 発表先 | Communications Materials |
| 発表日 | 2024-12-19 |
| 引用数 | 77（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1038/s43246-024-00708-9 |
| 論文/pdf/P17.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
応用。LLM（GPT-3.5）とNERモデル（MaterialsBERT）を組み合わせたパイプラインをポリマー論文68.1万件の全文に適用し、100万件超の特性データを抽出・公開した。モデル比較評価も含むが主眼は大規模適用。
研究の目標
材料インフォマティクスは構造化データの不足に苦しみ、過去のデータは論文の非構造テキストに埋もれている。従来のNERベース抽出は複数文にまたがる関係の把握が苦手で、ポリマーは命名が非標準（慣用名・略語・同義語）なため特に難しい。一方LLMは推論コストが高い。本論文は、ポリマー論文の全文から特性データを大規模に自動抽出する枠組みを作り、NER・商用LLM・オープンソースLLMを量・質・時間・コストの4軸で比較し、抽出データをPolymer Scholarで公開することを狙う。
技術的なやり方
| 段階 | 内容 |
|---|---|
| コーパス | 11出版社から取得した約240万件の材料科学論文（2021年まで、HTML/XMLのみ）。タイトル・要旨に「poly」を含む681,000件を選び、2,330万段落に分割。対象は24特性（Tg・融点・bandgap・引張強度・水接触角・ガス透過性など） |
| 2段階フィルタ | heuristic filter（特性名とその別名の文字列一致・辞書照合）で約260万段落（約11%）→ NER filter（MaterialsBERTで material / property name / property value の全エンティティの存在を確認）で約716,000段落（約3%） |
| 抽出モデル | MaterialsBERT（NER＋ルールベース関係抽出）、GPT-3.5-turbo-0613（OpenAI API、temperature 0.001）、LlaMa-2-chat 70B（4-bit GPTQ量子化、Nvidia Quadro GP100×4で自前運用） |
| プロンプト | 「Extract all |
| few-shot | 630要旨から手動作成した595件のTg値・356件のbandgap値をショットのプールとする。「Similar」選択：MaterialsBERTエンコーダの埋め込みをk-means（k=10）でクラスタ化し、入力テキストに最も近いクラスタの重心例を1件付ける。「Random」選択と比較 |
| 後処理 | 特性名の照合、単位の標準化（kPa/GPa→MPa、K→°Cなど）、特性ごとの値範囲チェック、ポリマー名リストとの照合。不合格データは破棄 |
| 評価 | 1000論文のサブセット（手動キュレーション済み630件＋ランダム370件）。37,434段落→heuristic後12,817→NER後6,179段落。material・property・value（単位込み）が手動データと一致した場合のみ正解としてF1を算出（LLMのハルシネーション対策） |
結果
評価サブセット（6,179段落）での比較：
| モデル | 抽出ペア数 | F1（Tg） | F1（bandgap） | 時間・コスト |
|---|---|---|---|---|
| GPT-3.5 Random-shot | 4,706 | 約0.67 | 0.87 | $4.48（約290万トークン） |
| GPT-3.5 Similar-shot | 4,589 | 0.67（Randomよりわずかに上） | 0.85 | $4.48 |
| MaterialsBERT | 3,631 | 0.63 | 0.66 | 30分未満・無料 |
| LlaMa-2 70B | 3,441 | 0.64 | 0.77 | 無料だが推論時間が最長 |
- ショット数は1件が最適で、増やすと精度が下がった（Tg・bandgapとも）。
- 全コーパス抽出（24特性）：GPT-3.5 672,449件、MaterialsBERT 390,813件。要旨のみからの前回抽出（31,539件）に対し、GPT-3.5は21倍、MaterialsBERTは12倍。LLMはNERより72%多い。
- Tg：GPT-3.5 125,585件（69,740材料）、MaterialsBERT 75,722件（20,511材料）。bandgap：GPT-3.5 63,361件（31,337材料）、MaterialsBERT 30,732件（10,627材料）。
- GPT-3.5はMaterialsBERTが失敗した47,966段落から抽出に成功、逆は7,311段落。材料名の完全一致は11,042件のみで、GPT-3.5は88,128件の材料名を追加で抽出（組成・種類を詳細に抽出する傾向）。
- MaterialsBERTはブレンド・複合材で冗長な値を抽出しがち。GPT-3.5は組成の扱いに優れる。
- 全コーパスのGPT-3.5処理は716,000段落で約1か月、約1,200ドル。
- 抽出データはTgと結晶化温度の正相関、水接触角と吸水率の逆相関など既知の傾向と整合。
限界・課題
著者がOutlookで述べているもの： - 材料名からSMILESへの変換は手作業。ポリマー構造は図でのみ示されることが多く、テキストから抽出できない（将来は画像モデルとの統合が必要）。 - 段落・文をまたぐエンティティ関係の確立が困難。「copolymer」とだけ書かれた材料の実名を特定できない。分子量・温度・合成条件などの付随情報の抽出も未対応。全文をLLMに投入するのは計算資源の浪費。会話型LLMの出力は不整合があり構造化に手作業が要る。 - 表や補足資料（PDF）からの抽出は未対応。 - 合成レシピなど手順の抽出は今後の課題。 - 両モデルとも材料について複雑な議論を含むテキストからは正しい値を取れない。LlaMa-2は化学エンティティの認識と関係抽出が弱い。
要点
ポリマー論文68.1万件の全文から、heuristic＋NERフィルタで段落を絞ったうえでGPT-3.5とMaterialsBERTで24特性・100万件超を抽出しPolymer Scholarで公開。GPT-3.5は量・質（bandgap F1 0.85〜0.87）で優位、MaterialsBERTは速度・コストで優位。1ショット＋類似例選択が有効で、全コーパス処理は約1,200ドル・約1か月。