Agent-OM: Leveraging LLM Agents for Ontology Matching
| 項目 | 内容 |
|---|---|
| 論文ID | P35 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | Zhangcheng Qiang（Australian National University）、Weiqing Wang（Monash University）、Kerry Taylor（Australian National University） |
| 発表先 | Proceedings of the VLDB Endowment (VLDB 2025) |
| 発表日 | 2024-11-01 |
| 引用数 | 24（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.14778/3712221.3712222 |
| 論文/pdf/P35.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。LLM エージェントを使うオントロジーマッチング（OM）の枠組み Agent-OM を提案し、実装・評価しているため。
研究の目標
オントロジーマッチング（OM）は2つのオントロジー間で対応するエンティティを見つけるタスク。既存の知識ベース型（LogMap 等）は専門家知識が、機械学習型（BERTMap 等）は大量の学習データが要る。LLM は再学習が困難で、ドメインオントロジーは100〜200エンティティ程度と fine-tuning には少ない。LLM エージェント（計画・ツール・記憶）で人手を介さず OM を自動化することを狙う。対象はクラス・プロパティ間の等価関係のみ。
技術的なやり方
| 構成 | 内容 |
|---|---|
| Retrieval Agent | 各エンティティの表記（トークン化・正規化）、意味（LLM に文脈・注釈付きで問う）、関係（トリプルを LLM で文章化）を取得。メタデータは関係DB、文章は埋め込みで pgvector に保存 |
| Matching Agent | 表記・意味・関係ごとにコサイン類似度検索し、順位を reciprocal rank fusion（RRF）で統合。上位から LLM に「等価か yes/no」を問い（Validator）、両方向で見つかった対応だけ採用（Merger） |
| 実装 | LangChain、PostgreSQL。LLM は API 型4種（gpt-4o 等）とオープンソース6種（llama-3-8b 等） |
全ペアを LLM に問うと比較回数は Ns×Nt だが、DB 検索で (k+1)(Ns+Nt) に抑える。評価は OAEI の Conference・Anatomy・MSE の3トラックで、OAEI 2022・2023 参加システムと比較（gpt-4o、閾値0.90、top@k=3）。
結果
P/R/F1 の値は図のみ。本文の記載は順位・比較。
| テスト | 結果 |
|---|---|
| Conference（few-shot） | F1 が 2022年 13中3位、2023年 12中5位 |
| Anatomy 自明な対応込み | F1 が 2022・2023 とも2位 |
| Anatomy 非自明な対応のみ | OLaLa を含む11システムより F1 が上、Matcha のみに劣る |
| MSE TC1・TC2 | 4システムと比べ F1 最高 |
| MSE TC3 | 2022年の最良と同等、2023年は Matcha に劣る |
アブレーション：LLM-Only は precision・recall とも低く、LLM-with-Context はトークン消費が非常に多く不安定。Validator・Merger は precision・F1 を上げ recall をわずかに下げる。推奨値は閾値0.90〜0.95、k=3〜5。
限界・課題
- TBox のみ評価。ABox（個体データ）はプライバシーの懸念で対象外
- API コストのため最新の商用モデル（o1、claude-3-opus）は未評価
- プロンプトは手作りで、全 LLM 共通のものはほぼ不可能
- ハルシネーションは軽減できるが除去できない
- 複雑・few-shot タスクでは強いが、単純タスクでは突出しない
要点
LLM を二値判定だけに使うのではなく、計画・ツール・記憶を持つエージェントとして使い、検索と照合の2エージェント＋ハイブリッドDB でオントロジーマッチングを自動化した。単純タスクでは既存最良に近く、複雑・few-shot タスクでは上回った。