LLMs4SchemaDiscovery: A Human-in-the-Loop Workflow for Scientific Schema Mining with Large Language Models
| 項目 | 内容 |
|---|---|
| 論文ID | P32 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | Sameer Sadruddin, Jennifer D'Souza, Hamed Babaei Giglou（TIB Leibniz Information Centre for Science and Technology）、Sören Auer（TIB／L3S Research Center, Leibniz University of Hannover）、Eleni Poupaki, Adrie Mackus, Erwin Kessels（TU/e Eindhoven University of Technology）、Alex Watkins, Bora Karasulu（University of Warwick）、Anisa Rula（University of Brescia） |
| 発表先 | Extended Semantic Web Conference (ESWC 2025, LNCS) |
| 発表日 | 2025-06 |
| 引用数 | 7（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/978-3-031-94578-6_14 |
| 取得（arXiv 2504.00752v1、18ページ） | |
| 読んだ範囲 | 全文（arXiv v1。LNCS掲載版ではない） |
論文タイプ
新技術。LLMと専門家フィードバックでスキーマを抽出するツール schema-miner とワークフローを提案し、ALDの事例に適用した Resource track 論文のため。
研究の目標
- 背景：科学の知見は主に非構造の論文で共有され、構造化メタデータが乏しい。スキーマはオントロジー工学やKG構築の土台だが、科学分野では分野ごとに手作りされ断片的。従来のスキーママイニングは半構造データ前提でスケールしない。
- 到達点：非構造の論文集合から、スキーマ S = (P 性質, T データ型, C 制約, R 入れ子構造の関係) を JSON 形式で発見する、汎用で人が介在するワークフローを作ること。
技術的なやり方
| 段階 | 入力 | 内容 |
|---|---|---|
| Stage 1 初期生成 | 専門家が用意した領域仕様書 | System Prompt（Role・Task・InputFormat・OutputFormat）＋仕様書で初期 JSON スキーマを生成 |
| Stage 2 精緻化 | 専門家が選んだ1〜10本の論文＋専門家フィードバック（任意） | 論文1本ずつ前回スキーマを更新。フィードバックは「記述式（4つの問い：統合すべき性質・まとめるべき性質・欠けている性質・説明の明確さ）」か「スキーマの直接編集」 |
| Stage 3 確定 | 未選別の大規模論文集合（100本以上まで） | 同じ形式で一般化・網羅性を高める |
| Stage 4 オントロジー接地 | OLS API | 前処理→検索→説明の無い候補を除外→sentence-transformer で類似度順位付けし top-k を付与。材料分野では TIB Terminology Service の50オントロジーを使用 |
- 実装：Python・LangChain。Ollama／HuggingFace 経由で任意の LLM を差し替え可能。MIT License で公開。
- 適用：Atomic Layer Deposition (ALD) の「実験」と「シミュレーション」の2設定。Stage 2 は各7本の専門家選定論文、Stage 3 は AtomicLimits ALD Database（TU/e）の論文（本数は記載なし）。
- モデル：GPT-4o、GPT-4-turbo、LLama 3.1 (8B)。温度0.3、コンテキスト長128K。
- 実験設定：フィードバック種別（記述式／編集／両方）×（初回のみ／毎回）の6通り＋フィードバック無し、計7設定×3モデル＝21実験。
結果
- 専門家評価で最良は「記述式と編集の両方を毎回与える」設定（Experiment 3）。
- Table 1（Experiment 3・ALD実験スキーマ、モデル間の一致度。RougeL／BERT-F1。BERT-F1 は SciBERT 使用）
| 比較ペア | Stage 1 | Stage 2 | Stage 3 |
|---|---|---|---|
| GPT-4o 対 GPT-4-turbo | 0.3428／0.8098 | 0.3071／0.8094 | 0.3690／0.8046 |
| GPT-4o 対 LLama 3.1 (8B) | 0.3100／0.8044 | 0.3535／0.8112 | 0.3337／0.7716 |
| GPT-4-turbo 対 LLama 3.1 (8B) | 0.4118／0.7765 | 0.3363／0.7695 | 0.2891／0.7560 |
BLEU は 0.2392〜0.4515（最大は Stage 2 の GPT-4o 対 GPT-4-turbo）。
- 定性評価：GPT-4o と LLama 3.1 (8B) は安定し不要な追加をしなかった。GPT-4-turbo は過度に具体的な性質を追加し、Stage 3 で崩れた。フィードバック無しでは個別論文に特化しすぎて逸脱した。
- 最終スキーマ：実験用は GPT-4o 出力で4階層（ALD system、reactant selection、process parameters、material properties）、シミュレーション用は3階層（simulation parameters、materials、growth rate、reactor conditions）。
限界・課題
独立した限界の節は無い。本文で著者が述べている問題点： - GPT系は入れ子が過剰で、性質が冗長になりやすい - 単位の誤り（GPT-4o が reaction rate を moles/second でなく atoms/second にした）や、不要な boolean 性質の追加 - LLama 3.1 (8B) で性質の重複（filmProperties が2か所）。プロンプトに重複禁止の指示を加えて再実行で対処 - Stage 3 の大規模集合（レビュー論文含む）で一部モデルが逸脱 - 定量評価は紙幅の都合で ALD実験スキーマのみ。評価は ALD の1分野のみ - 今後：複数LLMを組み合わせるアンサンブル
要点
LLMに「仕様書→少数の厳選論文→大量の論文」の順でJSONスキーマを作らせ、各段階で専門家が記述式コメントと直接編集で直すワークフロー（schema-miner）。 ALDで検証し、両方のフィードバックを毎回入れる設定が最良、フィードバック無しでは逸脱した。