SLOT: Structuring the Output of Large Language Models
| 項目 | 内容 |
|---|---|
| 論文ID | P44 |
| 区分・分類 | 論文・構造化出力 |
| 著者・所属 | Darren Yow-Bang Wang, Zhengyuan Shen（共同第一著者）, Soumya Smruti Mishra, Zhichao Xu, Yifei Teng, Haibo Ding（Amazon Web Services） |
| 発表先 | EMNLP 2025 Industry Track |
| 発表日 | 2025-11 |
| 引用数 | 5（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.18653/v1/2025.emnlp-industry.32 |
| 論文/pdf/P44.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。LLM出力を後処理でJSONに変換する手法SLOTと、ベンチマークSLOTBENCH・評価指標を提案しているため。
研究の目標
LLMは事前に定めたスキーマから外れた出力をしやすく、エージェントや情報抽出での信頼性を損なう。既存策（constrained decoding、モデルごとの事後学習）は特定モデルに縛られ、多数のLLMを扱い新モデルに即日対応したいプラットフォームでは拡張できない。そこで、元のLLMの重みに触れずに、その自由記述出力を指定JSON schemaへ変換する、モデル非依存・タスク非依存の後処理層を作ることを狙う。
技術的なやり方
| 要素 | 内容 |
|---|---|
| 問題設定 | text-to-structure。入力x＝LLMの応答文、f＝JSON schema、出力y＝構造化JSON |
| 評価指標 | Schema Accuracy：キー文字列と値の型がスキーマに完全一致し、単体で有効なJSONか。Content Similarity：同じキー（祖先キー含む）同士の値をSentence-BERTで比べたsoft-precisionとsoft-recallの調和平均（欠けたキーは0点） |
| SLOTBENCH（テスト9,126件） | WebNLG、E2E NLG、WikiBio、ToTTo、HF GitHub Issues。後の2つはLLMでスキーマと正解を合成し検証・フィルタ |
| 学習データ | Claude-3.5-Sonnetで合成126K件（業種30・JSON複雑度10段階・文長10・ジャンル40・テキスト形式10を変えて生成）＋公開データ。①形式検証→②LLM validatorで本文から推論できない内容を除去 |
| モデル学習 | Llama-3.2-1B/3B、Mistral-7B-v0.2（Instruct版）をLoRAでSFT。損失は出力部分のみ。推論時にOutlines・XGrammarとの併用も評価 |
| 比較対象 | Claude-3.5-Haiku/Sonnet（プロンプト）、Qwen-2.5-14B/32B・Llama-3.3-70B（＋Outlines/XGrammar） |
結果
5テストセット平均（Schema Accuracy／Content Similarity、%）
| 構成 | Schema | Content |
|---|---|---|
| Claude-3.5-Haiku＋プロンプト | 89.0 | 80.7 |
| Claude-3.5-Sonnet＋プロンプト | 74.7 | 73.9 |
| Llama-3.3-70B＋XGrammar | 99.6 | 89.1 |
| Llama-3.2-1B＋プロンプト / ＋SFT / ＋SFT&XGrammar | 9.6 / 88.9 / 96.2 | 7.1 / 81.7 / 89.6 |
| Mistral-7B＋プロンプト / ＋SFT / ＋SFT&XGrammar | 0.0 / 98.2 / 99.5 | 0.0 / 92.9 / 94.0 |
- 最難関のGitHub IssuesでMistral-7BのSchema Accuracyは0%→93.1%（SFT）
- Qwen-2.5-32BのGitHub Issuesでは、XGrammarは97.1%、Outlinesは76.4%。Outlinesは深い入れ子で時間切れが起きる
- 学習データの比較（Llama-3.2-1B）：公開データのみ63.1/68.3、合成のみ89.6/74.4、両方89.0/81.7
- 誤り分析：SFT後も3〜4階層より深い入れ子で誤りが多い
限界・課題
- 合成データは、スキーマと正解が入力文の実体・関係の大半を含むケースが中心。一部だけを構造化するケースや、複雑な絞り込み・変換が要るケースは十分に調べていない
- レイテンシは分析したが、ハードウェア依存のため詳細は報告していない
- 理想は前段のLLMが生成した文を入力とするend-to-end評価だが、LLM出力を模した文で評価している
- 非常に複雑なスキーマのコンパイル時間切れ、曖昧な内容をどのフィールドに割り当てるかの判断が残る誤り
要点
任意のLLM出力を、小型モデルのSFT（＋constrained decoding）による後処理でJSONに変換する手法。Mistral-7Bでスキーマ正確率99.5%、内容類似度94.0%となり、Claude-3.5-Sonnetのプロンプト方式を上回った。