LLMs4OL 2025 Overview: The 2nd Large Language Models for Ontology Learning Challenge
| 項目 | 内容 |
|---|---|
| 論文ID | P38 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | Hamed Babaei Giglou（TIB Leibniz Information Centre for Science and Technology）、Jennifer D'Souza（同）、Nandana Mihindukulasooriya（IBM Research, New York）、Sören Auer（TIB／L3S Research Center, Leibniz University of Hannover） |
| 発表先 | Open Conference Proceedings (LLMs4OL Challenge @ ISWC 2025) |
| 発表日 | 2025-10-01 |
| 引用数 | 2（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.52825/ocp.v6i.2913 |
| 論文/pdf/P38.pdf | |
| 読んだ範囲 | 全文（17ページ。図1・図2は画像のためキャプションと本文で補った） |
論文タイプ
評価：共有タスク LLMs4OL 2025 のベンチマーク（タスク・データセット・評価指標）を定め、参加チームのシステムを同じ条件で評価・比較した総括論文。
研究の目標
オントロジーを人手で作るのは遅くて高コストで、人間の言語の量・多様さに追いつかない。LLM の生成能力を、オントロジーに必要な精度・一貫性・論理的厳密さを損なわずにオントロジー学習（OL）に使えるかを問う LLMs4OL シリーズの第2回。第1回（2024）では Non-Taxonomic Relation Extraction が最も難しく、結果はデータセットの多様性に左右された。第2回は OL パイプラインの初期段階にあたる「非構造テキストからの用語・型の抽出（Text2Onto）」を加え、生テキストから再利用可能な知識までの流れを強化することを狙う。
技術的なやり方
OL の5要素（語彙 L、概念型 T、階層分類 HT、非分類関係 R、公理 A）に沿って、4タスク・26サブタスクを設定した。
| タスク | 内容 | サブタスク |
|---|---|---|
| A Text2Onto | 文書群から用語（A1）と型（A2）を抽出 | 5（Scholarly・Engineering・Ecology） |
| B Term Typing | 用語に一般化された型を付ける（例: aspirin → Pharmaceutical Drug） | 6（OBI・MatOnto・SWEET＋Blind 3） |
| C Taxonomy Discovery | 型どうしの is-a 関係を抽出 | 11（OBI・MatOnto・SWEET・DOID・SchemaOrg・PROCO・FoodOn・PO＋Blind 3） |
| D Non-Taxonomic RE | (head-type, relation, tail-type) の is-a 以外の関係を抽出 | 4（SWEET・FoodOn・GO＋Blind 1） |
- データ：医学・材料・環境・化学・農業・一般知識などの実在オントロジーから構築。2つの評価フェーズがある。Seen-Eval は同じオントロジーの訓練データあり、Blind-Eval は訓練データなしの未知オントロジー
- Text2Onto のテキスト作成：オントロジー要素を Capacitated Minimum Spanning Tree Problem アルゴリズムで、1ホップの分類関係でつながる部分集合に分割 → 公理をテンプレートで文章化 → LLM で自然文に言い換えた合成テキストを作る
- 評価：Precision・Recall・F1。A は Jaccard 類似度0.8以上で正解（各正解ラベルの照合は1回まで）、B は多ラベルの集合の積、C は親子ペアの完全一致、D は三つ組を正規化し、対称関係（equivalentClass 等）は逆向きも加えて計算
- 提出は CodaLab で受付
結果
35参加者から1,038件の提出（26サブタスク）があった。論文13件のうち1件はデスクリジェクト、11チームの論文が採録された。DaseLab は論文がなく B2 のリーダーボードにだけ載る。
| 順位 | チーム | 参加タスク | 主な手法 | Mean F1 |
|---|---|---|---|---|
| 1 | SBU-NLP | A・B・C | プロンプト設計（層化／単純ランダムサンプリング・チャンク分割・バッチプロンプト）＋埋め込み、学習なし | 0.3741 |
| 2 | Alexbek | A・B・C | few-shot＋RAG、未知ドメインは埋め込みアンサンブルの zero-shot 分類、C は型埋め込みへの cross-attention 層（LoRA） | 0.3400 |
| 3 | silp nlp | A・B・C・D | 語彙・意味クラスタリング＋適応プロンプト、RAE（Retrieval-Augmented Extraction）、MaterialsBERT・BioBERT | 0.2751 |
| 4 | LABKAG | A・C | ドメイン内 few-shot と豊富な文脈を与えるプロンプト（ファインチューニング・外部知識なし） | 0.1718 |
| 5 | IRIS | B・C・D | データ拡張・定義マイニング・類似度による候補の絞り込み＋DeBERTa-v3-large | 0.1457 |
| 6 | ELLMO | A・D | パターン規則を定義する単純なプロンプト。D はクラスタリングで候補の辺を減らし、LLM に辺の確率を出させる | 0.0902 |
| 7 | DREAM-LLMs | B | 複数 LLM の予測と理由を1つの LLM が審議して最終判断する合議アンサンブル | 0.0796 |
| 8 | Phoenixes | A | Chain-of-Thought few-shot プロンプト | 0.0638 |
| 9 | T-GreC | B | ファインチューニング済み埋め込み＋k-NN、文字単位のデータ拡張 | 0.0604 |
| 10 | DaseLab | B2のみ | Finetuning（GPT-3.5-Turbo） | 0.0125 |
| 11 | CUET Zenith | C | Sentence-BERT クラスタリング＋Qwen3-14B、XGBoost＋2段の LLM 検証 | 0.0077 |
| 12 | SEMA | C（MatOnto） | prompt-decoupled fine-tuning（LLaMA-3.1-8B, LoRA） | 0.0055 |
Mean F1 は参加したサブタスクの数で偏る（著者の注記）。サブタスク別の最高 F1（Table 3）は次のとおり。
| タスク | 最高 F1（チーム） |
|---|---|
| A | A1.2 0.7000・A1.3 0.6661・A2.2 0.8308（LABKAG）、A2.1 0.6602（SBU-NLP）、A2.3 0.6750（ELLMO） |
| B | B1 0.9425・B3 0.6935・B4 0.7563・B5 0.9271（SBU-NLP）、B2 0.6667（IRIS）、B6 0.1715（Alexbek） |
| C | C1 0.3972（IRIS）、C2 0.6621・C3 0.4997・C5 0.6567（SBU-NLP）、C4 0.1806・C6 0.3865・C7 0.1171・C8 0.4817（Alexbek）、C9 0.0485（LABKAG）、C10 0.5735・C11 0.4684（silp nlp） |
| D | D1 0.6263・D2 0.0084・D4 0.5051（silp nlp）、D3 は参加0 |
- SBU-NLP：Claude Sonnet 4（Batch）が Task B の全ドメインと Blind で最高 F1。OBI では事前学習済みの文埋め込みが単純な token overlap ベースラインと同程度
- T-GreC：RoBERTa-base は k-NN で F1 0.862（直接ファインチューニングは 0.827）。DeBERTa-v3-base は直接 0.022 → k-NN 0.850
- Phoenixes：Qwen2.5-72B-Instruct が Scholarly の用語抽出で F1 0.3950、Ecology の型抽出で F1 0.4309
- SEMA：対照学習の負例サンプリングは 偽:真 = 6:1 が最適
- 著者の総括：上位は商用 LLM（Gemini-2.5・Claude Sonnet 4・GPT-4o）とオープンソースモデル・埋め込み・検索／クラスタリングを組み合わせたハイブリッド。中位はファインチューニング・データ拡張でドメイン適応。下位は軽量モデルで特定タスクに特化。教訓として、プロンプト設計、RAG、LLM アンサンブル、データ拡張、LoRA による小型モデル、クラスタリングによる探索空間の削減、コンテキスト長の管理、バッチプロンプトの有効性を挙げる
- 本文と表の食い違い：本文は LABKAG の A2.1 を 0.6661 とするが、Table 3 では A2.1 = 0.5595（0.6661 は A1.3）。本文は CUET Zenith の C5 0.0866 を「最高」と書くが、Table 3 の C5 最高は SBU-NLP の 0.6567
限界・課題
- サブタスク間で性能差が大きい（最高F1はB1 0.9425、B5 0.9271、C4 0.1806、C9 0.0485、D2 0.0084。Table 3の値）。頑健性の問題があり、資源効率のよいファインチューニングも課題として残る
- 1つの手法で全タスクに対応できるものはない
- D 系列は提出が少ない（D3 は参加0）
- 参加チームが挙げた限界：語彙の手がかりが少ない／細かい意味の区別が要るドメインで精度が落ちる（Alexbek）。専門用語の多い Scholarly・SWEET で F1 が低い（silp nlp）。データ拡張・k-NN が MatOnto・SWEET に汎化しない（T-GreC）。訓練データと試験データで性能が大きく落ちる（ELLMO）
- 今後：評価データセットの拡張、再現性の向上、セマンティック Web と NLP のコミュニティの連携
要点
LLM によるオントロジー学習の共有タスク第2回（4タスク・26サブタスク・12チーム）の総括。 1つの手法で全タスクをこなせるものはなく、商用 LLM＋埋め込み＋RAG／クラスタリングのハイブリッドが最上位だった。 一部の分類階層や非階層関係の発見は低性能に留まる（最高F1はC4 0.1806、C9 0.0485、D2 0.0084）。非階層関係すべてがほぼ0という意味ではなく、D1は0.6263、D4は0.5051で、タスク・分野による差が大きい。