Magneto: Combining Small and Large Language Models for Schema Matching

項目	内容
論文ID	P29
区分・分類	論文・スキーマ・オントロジー
著者・所属	Yurong Liu（New York University）、Eduardo H. M. Pena（Federal University of Technology Paraná）、Aécio Santos（New York University）、Eden Wu（New York University）、Juliana Freire（New York University）
発表先	Proceedings of the VLDB Endowment (VLDB 2025)
発表日	2025-04-01
引用数	22（OpenAlex 2026-10-06時点）
言語	英語
URL	https://doi.org/10.14778/3742728.3742757
PDF	論文/pdf/P29.pdf
読んだ範囲	全文

論文タイプ

新技術。小型言語モデル（SLM）と大規模言語モデル（LLM）を組み合わせたスキーマ・マッチング手法 Magneto と、新ベンチマーク GDC を提案している。

研究の目標

複数の表データを統合するときの列の対応付け（schema matching）を、人手の学習データ無しで、低コストかつ高精度に行うこと。がん研究の実データ 10 件を 700 超の属性を持つ GDC 標準へ対応付ける作業では、既存手法は最高でも MRR 0.45 だった。SLM は手作業の学習データが要り、LLM は計算コストとコンテキスト窓の制約がある。

技術的なやり方

SLM で候補を絞り（retrieval）、LLM で並べ替える（reranking）2 段構成。

構成要素	内容
候補検索	MPNet で列（列名・型・値 10 件）を埋め込み、cosine 類似度で順位付け。値は Priority Sampling で抽出
SLM の学習（ft）	意味が同じで表記が違う列を LLM に生成させ（llm-aug）、triplet loss で対照学習。LLM は学習時のみ使う
再ランク（llm）	入力側の列 1 本と候補上位 k 件（既定 20）を GPT-4o-mini に渡し、0.00〜1.00 のスコアを付けさせる
代替再ランク（bp）	二部グラフの割当問題として解く。LLM を使えない場面向け
評価	GDC（10 組、標準側 736 列）と Valentine の 5 データセット。COMA、COMA++、Distribution、SimFlooding、ISResMat、Unicorn と比較。指標は MRR、Recall@GT

結果

項目	数値
GDC	Magneto 4 種すべてがベースラインを上回り、ft＋llm が最高（数値は図のみ）
Valentine	ベースラインと同等以上。例外の Unicorn は Valentine で学習済み（データリークの可能性）
実行時間（GDC、CPU）	zs-bp 11〜33 秒、zs-llm 545〜589 秒。制限 2 時間で ISResMat は完走できず、Unicorn は 100 列まで
学習データ（GDC、MRR）	llm-aug 0.866、struct-aug（行の入れ替え・列名の摂動など）0.798
LLM 再ランク（GDC、k=5）	二部グラフ比で MRR 0.731→0.780、Recall@GT 0.375→0.475
LLM だけで全列を処理	全 Magneto 変種より低精度。GPT-4o で 1 表 6,000 秒超
LLM の差し替え	LLaMA3.3-70B は GPT-4o-mini を上回る（MRR 0.837 対 0.815）

限界・課題

正解が候補上位 k 件に無いと、再ランクでは回復できない
学習データに無い分野ではゼロショット性能に限界がある
再ランクの質がプロンプトに左右される
LLM 再ランクはコストが増える

要点

SLM で候補を絞り LLM で並べ替える 2 段構成で、人手の学習データ無しでも実データの列対応付けを高精度・実用的な時間で行う。LLM に学習データを作らせる点が工夫の中心。実データに基づく新ベンチマーク GDC も公開した。