大規模言語モデルを用いたオントロジー自動構築のためのゼロショット・プロンプトの比較と基礎的評価
| 項目 | 内容 |
|---|---|
| 論文ID | P59 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | 古崎 晃司、洲濱 美幸、鈴木 陽太（大阪電気通信大学） |
| 発表先 | 人工知能学会全国大会論文集（JSAI 2025） |
| 発表日 | 2025-05 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390023229740669184 |
| 論文/pdf/P59.pdf（J-STAGE） | |
| 読んだ範囲 | 全文 |
論文タイプ
評価。2種類のゼロショット・プロンプト手法を提案するが、目的は両者の比較による基礎的評価と使い分け指針の提示にある。
研究の目標
オントロジーは構築コストが課題。本研究は、新しい領域で学習用の事例を用意しにくい場面を想定し、文書・用語などの事前知識なしに学習済みLLMだけで初期的なオントロジーを作る（用語/概念の抽出と関係抽出を同時に行う）。再帰的プロンプトと単一プロンプトを比較し、使い分けの指針を示すことが到達点。
技術的なやり方
| 再帰的プロンプト | 単一プロンプト | |
|---|---|---|
| 入力 | 最上位概念名・is-a階層の深さ・幅 | 同左 |
| 手順 | 「〇〇のsubclassを単語で列挙」（個数＝幅、「〇〇に関連する内容であること」を条件）で下位概念を得て、それを次段の入力に使い指定の深さまで繰り返す。得た各概念について part-of と attribute-of をそれぞれ別プロンプトで列挙 | 「単語〇〇のd段w幅の"is-a"関係のみをツリー構造で生成」と1回で指示。総単語数n、日本語の単語、親子に同じ単語を含めない、段数分の空白で出力などの条件を付ける |
| 出力 | is-a階層＋part-of・attribute-of関係 | is-a階層のみ |
| 実装 | ChatGPT API＋JavaScript、GPT-4 Turbo | ChatGPT API＋JavaScript（モデル名は論文に記載なし）。Wikidataのクラス階層と比較する評価機能付き |
評価方法： - 再帰的プロンプト：最上位概念「気候変動」（深さ3・幅15）、「食品」「家具」（深さ3・幅10）。気候変動は環境の専門家1名、食品・家具は大学生4名が正誤を判定。is-a以外の関係は無作為に抜粋して評価 - 単一プロンプト：「家具」「生物」「食物」「教育機関」「職業」「菓子」「店」「ドレス」「車両」「家電製品」の10語、深さ1〜3段・幅1〜10。Wikidataのクラス階層との文字列一致（名称・別名）で上位-下位の組を照合。加えて大学生6名の多数決でis-a関係の正誤を判定
結果
| 項目 | 内容 |
|---|---|
| 再帰的・規模 | 気候変動：下位概念231・is-a以外の関係5,218。食品：110・2,636。家具：107・2,583 |
| 再帰的・is-a | 段が深いほど正しい下位概念の割合が下がる。全体では気候変動が10％（本文の記載どおり）、食品・家具が80〜100％ |
| 再帰的・is-a以外 | どの事例も80〜90％が正しいと判定 |
| 単一・Wikidata比較 | 同じ深さ・幅でも最上位語で得られる概念数が異なり、is-a階層が得られない条件もあった |
| 単一・人の評価 | 正しいと判定された割合は最上位語によって60〜90％。Wikidataに概念がある場合とない場合で大きな差はない |
| 単一・深さ別 | Wikidata一致率・人の評価のどちらも段数が増えると下がり、1段と3段で2倍以上の差 |
| 手法比較 | 共通の「家具」「食品（食物）」では両手法とも80〜90％で大差なし。深くなるほど下がる傾向は両手法にあるが、単一プロンプトの方が下がり幅が大きく、深いis-a階層には再帰的プロンプトが適している |
限界・課題
- 家具・食物は10語の中では評価が比較的高かったため、より多くの概念での比較が必要
- Wikidataとの比較は、Wikidataに無い概念が不一致になり適切な評価ができない（人の評価で補った）
- 今後は両手法のツール統合と評価方法の共通化を進め、より詳しい比較を行う予定
要点
事前知識なしのゼロショット・プロンプトでLLMにオントロジーを作らせる2手法（再帰的／単一）を比較した。is-a以外の関係は80〜90％が正しく、is-a階層は深くなるほど精度が落ちる。深い階層には再帰的プロンプトが向く。