TELEClass: Taxonomy Enrichment and LLM-Enhanced Hierarchical Text Classification with Minimal Supervision
| 項目 | 内容 |
|---|---|
| 論文ID | P39 |
| 区分・分類 | 論文・スキーマ・オントロジー |
| 著者・所属 | Yunyi Zhang, Ruozhen Yang, Xueqiang Xu, Jinfeng Xiao, Jiawei Han（University of Illinois Urbana-Champaign）、Rui Li（University of Science and Technology of China）、Jiaming Shen（Google Deepmind） |
| 発表先 | Proceedings of the ACM Web Conference (WWW 2025) |
| 発表日 | 2025-04-22 |
| 引用数 | 27（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1145/3696410.3714940 |
| 論文/pdf/P39.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。クラス名だけを教師とする階層テキスト分類の新手法 TELEClass を提案し、既存手法と比較しているため。
研究の目標
階層テキスト分類（文書をラベル分類体系＝taxonomy の複数ノードに割り当てる）は、ラベル空間が大きく構造を持ち、細かいクラスや出現の少ないクラスがあるため難しい。従来手法は人手ラベルを大量に必要とし、LLM の zero-shot は数百クラスをプロンプトに入れると構造が失われ精度・コストともに悪い。既存の弱教師手法（TaxoClass）はコーパス中のクラス手がかりを使わず、含意モデルによる疑似ラベル選択も不安定。本論文は「各ノードのクラス名だけ」を教師として、LLM の一般知識とラベルなしコーパス固有の知識を組み合わせ、多ラベル分類器を学習することを狙う。ラベル体系は木ではなく DAG（1ノードが複数の親を持てる）とする。
技術的なやり方
4段階で疑似ラベルを作り、分類器を学習する。
| 段階 | 内容 |
|---|---|
| (1) LLM-Enhanced Core Class Annotation | LLM に各クラスのキーワードを生成させる（親と関連し兄弟とは無関係な語、各10語）。文書とキーワードの埋め込み類似度で根から下へ木探索し（レベル l で l+3 個の子を選ぶ）候補を絞り、その候補から LLM が文書の「core class（最も的確な細かいクラス）」を選ぶ |
| (2) Corpus-Based Taxonomy Enrichment | AutoPhrase でコーパスから語句候補を抽出。人気度（文書頻度）・兄弟クラスとの区別度（BM25 の softmax）・クラス名との意味類似度の幾何平均で、クラスごとに上位 k=20 語を選び、LLM 生成語と合併 |
| (3) Core Class Refinement | 文書を Sentence Transformer で埋め込み、キーワードを含む文書の平均をクラス表現とする。類似度順の並びで差が最大になる位置より上を core class とし、その差を確信度として上位75%の文書を採用 |
| (4) Path-Based Data Augmentation と学習 | 一度も core class に選ばれないクラス（Amazon 11.6%、DBPedia 5.4%）を補うため、上位から葉までの経路ごとに LLM で疑似文書を q=5 件生成。BERT-base の文書エンコーダ＋log-bilinear のマッチングネットワークを BCE 損失で学習（self-training なし） |
LLM は GPT-3.5-turbo-0125。データセットは Amazon-531（商品レビュー、531ラベル・3層）と DBPedia-298（Wikipedia 記事、298ラベル・3層）。評価は Example-F1、P@1、P@3、MRR。
結果
弱教師・zero-shot 手法との比較（Example-F1 / P@1）：
| 手法 | Amazon-531 | DBPedia-298 |
|---|---|---|
| Hier-0Shot-TC | 0.4742 / 0.7144 | 0.6765 / 0.7871 |
| ChatGPT（全クラスをプロンプトに入れる） | 0.5164 / 0.6807 | 0.4816 / 0.5328 |
| TaxoClass-NoST | 0.5431 / 0.7918 | 0.7712 / 0.8621 |
| TaxoClass | 0.5934 / 0.8120 | 0.8156 / 0.8942 |
| TELEClass | 0.6483 / 0.8505 | 0.8633 / 0.9351 |
| Fully-Supervised | 0.8843 / 0.9524 | 0.9786 / 0.9945 |
- LLM プロンプトとの比較（テスト集合全体の推定コスト・時間）：Amazon では GPT-3.5-turbo（level：階層を1段ずつ問う）0.6621、GPT-4 0.6994（1,000件の部分集合で推定）が TELEClass 0.6483 を上回る。DBPedia では TELEClass が全手法を上回る。推論コストは TELEClass が <$1・3分（Amazon）／7分（DBPedia）、GPT-4 は $800／$2,500
- 学習時間は Amazon で TELEClass・TaxoClass ともに約5〜5.5時間
- アブレーション：LLM による拡充を外すと Amazon の Example-F1 が 0.5520、コーパスによる拡充を外すと DBPedia が 0.8185 に低下。LLM 拡充は Amazon、コーパス拡充は DBPedia でより効いた。経路ベース生成だけで学習（Gen-Only）でも TaxoClass-NoST と同程度
限界・課題
- 語ベースの疑似ラベル付けによる偏りで誤る事例がある（「treatment」の語により skin care を health care と予測）。階層設定での解決は今後の研究とする
- Amazon では GPT-3.5-turbo（level）と GPT-4 に及ばない
- 最も単純な分類器と損失関数しか使っておらず、より高度なネットワークやノイズに強い学習目的での改善は未検討。self-training も未適用
- LLM が知識を持たない領域（非公開ドメインなど）、ラベルなしコーパスが少ない場合、数百万クラス規模のラベル空間への拡張は今後の課題
要点
クラス名だけを教師に、LLM 生成語とコーパスから抽出した語で分類体系の各ノードを拡充し、LLM による core class 付与と経路単位の疑似文書生成で疑似ラベルを作って階層多ラベル分類器を学習する手法。2データセットで既存の弱教師手法を上回り、GPT-4 プロンプトと同程度の精度を推論コスト <$1 で実現した。