Do LLMs Really Adapt to Domains? An Ontology Learning Perspective

論文タイプ

評価。既存LLMがドメインに適応しているかを、語を無意味語に置き換えた対照実験で検証する研究のため。

研究の目標

LLMはKnowledge Base CompletionやOntology Learning（OL）に使えるとされるが、その成功が文中の意味関係を推論した結果なのか、事前学習で覚えた語の意味（lexical senses）に頼っているだけなのかは検証されていない。ドメイン固有データでは語の意味が学習時と異なりうるため、この区別が重要になる。本論文は「LLMは本当にドメインに適応し、構造化知識を一貫して抽出できるのか」を確かめる。

技術的なやり方

• コーパス作成：Open English WordNet（2023 Edition）で根概念からBreadth-First Search（hypernymy・派生・topic関係、深さ5）で概念を集め、3ドメインを作る。各概念の表記と定義を gibberish（無意味語）に置き換えた並行コーパスを生成する。定義文中で参照される概念も一貫して同じ無意味語に置き換わるよう、依存関係を順に解決する

• タスク：Relation Extraction（定義文から「is a subclass of／is a part of」の三つ組を出力）、Taxonomy Discovery（AがBのサブクラスかを判定。負例は上位語を差し替えて作る）
• モデル（そのまま利用）：GPT-3.5、GPT-4、Falcon-40B、LLaMa2-13B、Zephyr-7B-β。出力はJSON、効果があればChain-of-Thought・少数例を使う
• 評価：「正解 vs 英語版の出力」「正解 vs gibberish版の出力」「英語版の出力 vs gibberish版の出力（一貫性）」の3通りでPrecision・Recall・F1
• Fine-tuning：Zephyr-7B-β、Falcon-7BをTaxonomy Discovery用に命令チューニング（概念の半分で学習、20 epoch、4bit量子化＋LoRA α=256, r=1024）。さらにgibberishのみで、学習と別のドメインへの転移を試す

結果

• Relation Extraction（WN-sweets、F1 英語→gibberish）：GPT-3.5 0.228→0.115、GPT-4 0.251→0.207、Falcon-40B 0.238→0.128、LLaMa2-13B 0.223→0.138、Zephyr-7B-β 0.233→0.137。RecallがPrecisionより低い
• Taxonomy Discovery（F1 英語→gibberish。GPT-4は費用と速度のためWN-sweetsのみ）

• 一貫性（英語版 vs gibberish版のF1）：Relation Extraction 0.145〜0.515、Taxonomy Discovery 0.352〜0.716。著者は「そのままのLLMは意味関係を推論していない」と解釈
• Fine-tuning後のTaxonomy Discovery（F1 前→後）

• 転移（Zephyr-7B-β、gibberishのみ）：F1は14%（WN-football→WN-sweets）〜32%（WN-music→WN-football）向上。WN-music→WN-sweetsのみ低下（0.504→0.475）。Recallが上がりPrecisionが下がる傾向

限界・課題

• WordNetは上位語・部分関係の注釈が乏しく、正解が不完全なため絶対値が低い（目的は相対比較なので致命的ではないとする）。部分関係は注釈不足のため、正解との比較では上位語関係のみで評価
• GPT-4はWN-sweetsのみで評価。有料モデルは1データセット15€の予算に制限。全LLMを網羅した研究ではない
• gibberishでfine-tuningしても、実語でfine-tuningした性能には届かない（事前に学んだ意味への依存による適応の限界）
• fine-tuningで上位語関係の手がかりに敏感になる一方、Precisionが下がる

要点

既製のLLMは、語を無意味語に置き換えると同じ意味関係でも上位下位関係を一貫して取り出せず、事前学習で覚えた語の意味に頼っている。 fine-tuningすれば未知語のドメインでも性能が上がり、別ドメインへも転移する。 任意ドメインのOLにLLMをそのまま使うことへの注意喚起となる評価研究。