Dynamic Retrieval Augmented Generation of Ontologies using Artificial Intelligence (DRAGON-AI)
| 項目 | 内容 |
|---|---|
| 論文ID | P30 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | Sabrina Toro（University of North Carolina at Chapel Hill）、Christopher J. Mungall（Lawrence Berkeley National Laboratory、責任著者）ほか計30名。所属は The Jackson Laboratory、EMBL-EBI、Sanger Institute、SIB Swiss Institute of Bioinformatics、University of Cambridge、INRAE 等の計22機関 |
| 発表先 | Journal of Biomedical Semantics |
| 発表日 | 2024-10-16 |
| 引用数 | 54（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1186/s13326-024-00320-3 |
| 論文/pdf/P30.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。LLMとRAGでオントロジー用語の関係・定義・論理定義を補完する手法DRAGON-AIを提案し、10のオントロジーで評価している。
研究の目標
生命科学のオントロジー（GO、Mondo、Uberon、FoodOn等）は数千〜数万語あり成長し続けるが、用語ごとの定義・関係は手作業で入力されている。OWL推論によるis-a付与以外はほぼ手作業で、Ontology Learningは専門家の後処理が必要で生物オントロジーでの採用例がなく、リンク予測（rdf2vec、owl2vec*）は精度が低い。 GitHub Copilotのように、ラベルなど部分的な用語から残り（定義・関係・論理定義）を生成し、編集者の反復作業を減らすことが狙い。人間の置き換えは目指さない。
技術的なやり方
| 段階 | 内容 |
|---|---|
| 索引化 | 用語をJSON化し、数値ID（CL:1001502）をラベルのcamel case（MitralCell）に置換（IDの幻覚対策）。text-embedding-ada-002で埋め込みChromaDBに格納。GitHub issueも別索引に格納 |
| 検索 | 入力用語で上位k件（既定10）を取得し、Maximal Marginal Relevance (MMR) で多様化 |
| 生成 | 取得用語を入力→出力のfew-shot例としてプロンプトに入れ、LLMがJSONを返す。存在しない用語への関係は除去 |
評価：CL、UBERON、GO、HP、MP、MONDO、ENVO、FOODON、OBI、OBAで各50語（UBERONは40）。データ漏洩を避けるため可能な限り2022年11月以降の追加語を使用（ENVOは2021〜22年）。モデルはgpt-4、gpt-3.5-turbo、nous-hermes-13b-ggml（ローカル）。関係は既存関係を正解とし、Elk推論器と比較。定義はBERTScoreと、編集者・キュレータ24名のブラインド5段階評価（accuracy・consistency・overall score。3が許容水準）。
結果
| 指標 | gpt-3.5-turbo | gpt-4 | nous-hermes-13b | 比較対象 |
|---|---|---|---|---|
| 関係 SubClassOf P / R / F1 | 0.846 / 0.419 / 0.561 | 0.894 / 0.5 / 0.642 | 0.73 / 0.353 / 0.476 | Elk推論 1.0（定義上）/ 0.337 / 0.504 |
| 関係 全種類 P / R / F1 | 0.758 / 0.446 / 0.562 | 0.802 / 0.505 / 0.62 | 0.64 / 0.355 / 0.457 | 推論は対象外 |
| 定義 BERTScore F1 | 0.923 | 0.920 | 0.916 | ランダム 0.838 |
| 定義 専門家評価 accuracy / score / consistency | 4.058 / 3.632 / 3.735 | 3.97 / 3.567 / 3.689 | 3.776 / 3.389 / 3.566 | 人手 4.326 / 4.069 / 4.13 |
- 生成定義は全モデルで許容水準を超えたが、人手との差は全指標で統計的に有意。gpt-3.5-turboとgpt-4の差は有意でない
- 評価者の確信度が高いほど人手とAIの差を大きく評価した（Pearson相関0.973）
- CL・UBERON・ENVOでGitHub issueを加えると改善（gpt-4でaccuracy 4.041→4.241）。accuracy・scoreの改善は有意
- 論理定義は4オントロジーで評価し、ばらつきが大きい（数値は図のみ）
限界・課題
- 公開オントロジーはLLMに記憶されているため訓練カットオフ後の用語に限定し、テスト集合が小さい。ゼロからの構築は未評価
- 既存関係を正解としたため、妥当な別表現や未登録の関係も誤りに数えた
- 確信度の低い評価者ほど誤った定義を受け入れやすい（「gaslighting effect」）。経験の浅い編集者の利用は注意が必要
- 長年の開発で残る「legacy」用語は手本に向かず、RAGの取得順位を利用者が調整する拡張が今後の課題
要点
既存オントロジーの類似用語をRAGで手本に与え、部分的な用語から関係・定義をLLMで補完する手法。 関係の精度は高く（gpt-4で0.894）再現率は中程度、定義は許容水準だが人手に及ばない。 編集者が採否を決める補完ツールとしての位置づけ。