Ontology Generation Using Large Language Models
| 項目 | 内容 |
|---|---|
| 論文ID | P34 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | Anna Sofia Lippolis（University of Bologna / ISTC-CNR）、Mohammad Javad Saeedizade（Linköping University）、Robin Keskisärkkä（Linköping University）、Sara Zuppiroli（ISTC-CNR）、Miguel Ceriani（ISTC-CNR）、Aldo Gangemi（University of Bologna / ISTC-CNR）、Eva Blomqvist（Linköping University）、Andrea Giovanni Nuzzolese（ISTC-CNR） |
| 発表先 | Extended Semantic Web Conference (ESWC 2025, LNCS) |
| 発表日 | 2025-06 |
| 引用数 | 28（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1007/978-3-031-94575-5_18 |
| 論文/pdf/P34.pdf | |
| 読んだ範囲 | 全文（arXiv版 2503.05388v1、全20ページ） |
論文タイプ
新技術。主な貢献を2つの新しいプロンプト手法の提示と評価と述べているため。
研究の目標
オントロジー設計は専門技能が必要で、大部分が手作業のため負荷が高い。ユーザーストーリーと competency question（CQ）から LLM で OWL オントロジーの下書きを直接作り、熟練者の手間を減らし初心者を支援することを狙う。あわせて、LLM 生成オントロジーに適した評価基準と、その強み・弱みを明らかにする。
技術的なやり方
- データ：実プロジェクト4件（Polifonia、Onto-DESIDE、WHOW、IKS）と教育用3件から、オントロジー10個・CQ 100個・ストーリー29個。CQ ごとに不要要素を除いた minimal ontology module を正解として作成
| 手法 | 内容 |
|---|---|
| Memoryless CQbyCQ | CQ を1つずつ独立にモデル化し、最後にマージ。過去の生成結果を入力に含めず、入力コンテキストを約60%削減 |
| Ontogenia | Metacognitive Prompting を eXtreme Design に当てはめた手法。Ontology Design Pattern を注入し、CQ ごとに生成結果をマージして次の入力に含める |
- 実験：CQ 単独生成（GPT-4、全データ）と、1ストーリー全体の生成（GPT-4、o1-preview、Llama-3.1-405B。SemanticWebCourse の3ストーリー45 CQ）。比較対象は先行手法 CQbyCQ と、設計経験のない修士学生の提出物
- 評価：OOPS! の critical pitfall、CQ がモデル化された割合、不要要素（superfluous element）の比率、専門家2名の定性評価（Cohen's kappa 0.61）
結果
- CQ 単独生成（GPT-4）：モデル化された割合は Memoryless CQbyCQ 0.91、Ontogenia 0.84。複雑な CQ では 0 と 0.66
- ストーリー全体の生成：Ontogenia + o1-preview が最高。両手法とも全モデルで学生を上回り、Memoryless CQbyCQ は先行手法 CQbyCQ も上回った
- 不要要素は先行手法より多く、Llama は約40%。最も多い pitfall は domain・range の重複定義
- 専門家評価で適切とされた CQ の割合（Ontogenia）：o1-preview は Music 0.96・Theatre 1.0・Hospital 1.0、Llama は 0.86・0.63・0.66
限界・課題
- 全実験で domain・range や逆関係の誤り、不要・重複したクラスとプロパティが残る。不要要素を防ぐ仕組みは無い
- 資源不足で、多面的な評価はストーリー全体の生成の一部にしか行えていない
- 学習データへの混入（データリーク）の恐れ。生成物は主に単一モジュールで再利用性が限られる
- Memoryless CQbyCQ は過去のやり取りに依存するモデル化に向かない
- オープンモデル（Llama）は品質が低く、商用モデルのコストとブラックボックス性の問題が残る
要点
CQ とストーリーから LLM で OWL オントロジーの下書きを作る2つのプロンプト手法を提案した。o1-preview + Ontogenia は初心者の学生や先行手法を上回るが、不要要素や domain・range の誤りが残る。評価には自動指標だけでなく専門家評価を含む多面的な評価が必要とする。