Large Language Model-Driven Structured Output: A Comprehensive Benchmark and Spatial Data Generation Framework
| 項目 | 内容 |
|---|---|
| 論文ID | P45 |
| 区分・分類 | 論文・構造化出力 |
| 著者・所属 | Diya Li（Survey123, Esri／Texas A&M University 地理学科）、Yue Zhao、Zhifang Wang、Calvin Jung（以上 Survey123, Esri）、Zhe Zhang（Texas A&M University 地理学科、責任著者） |
| 発表先 | ISPRS International Journal of Geo-Information |
| 発表日 | 2024-11-10 |
| 引用数 | 18（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.3390/ijgi13110405 |
| 論文/pdf/P45.pdf（MDPI 出版社版、CC BY、20ページ） | |
| 読んだ範囲 | 全文 |
論文タイプ
評価。fine-tuning・RAG・prompt engineering で構造化出力（JSON/GeoJSON）を生成する手法を、新しい指標とデータセットで比較するベンチマークが中心。加えて新手法 REL も提案している。
研究の目標
LLM は JSON・XML などの構造化形式を、明示的な指示なしには通常生成しない。特に空間情報（GeoJSON）を統一された構造化形式で生成することが難しく、本番環境への組み込みを妨げている。また、構造化出力の主な手法である fine-tuning・RAG・prompt engineering を網羅的に比べた研究がない。本論文は (1) 3手法の比較、(2) 新しい指標とデータセットによるベンチマーク構築、(3) R-tree 空間索引で GeoJSON 生成を改善する手法 REL の開発、の3点を狙う。
技術的なやり方
データセット（学習80%／テスト20%で分割）
| データセット | 件数 | 複雑さ | 内容 |
|---|---|---|---|
| Schema Dataset | 485 | High | 自由文を Schema.org の JSON-LD に変換 |
| Nous Dataset | 484 | Low | 与えられた JSON schema に文章を当てはめる |
| Paraloq Dataset | 100 | Medium | 要件に沿って情報を抽出し JSON を出力 |
| GeoJSON（Coleridge Initiative） | 195 | High | 論文中のデータセット説明から LLM で空間関連の195件を抽出し、米国郡単位の GeoJSON に対応付け |
比較した手法
| 手法 | 構成 |
|---|---|
| Fine-tuning | LoRA（rank 8）＋GPTQ 4bit 量子化。gemma-2b、gemma-7b、phi-2、codellama2-7b、mistral-7b、llama3-7b |
| RAG | GPT-4o-mini。FAISS に例ペア10組を格納して参照 |
| Prompt engineering（PE） | GPT-4o-mini。明示的指示・例・JSON schema・区切り記号を入れたプロンプト |
| REL（R-tree enhanced LLM） | fine-tune 済み llama3-7b＋RAG＋R-tree 空間索引。郡の最小外接矩形（MBR）を索引にし、まず空間的な近さで絞り込み、次に意味的類似度で選ぶ |
評価指標 - JScore：JSON の key-value 組を平坦化して比べる。一致しない組は Levenshtein 距離で類似度を測る（Jaccard 係数を応用）。GeoJSON 用は座標のユークリッド距離による空間類似度を加える - 内容評価：GPT-4o が完全性・正確性・粒度・一貫性の4項目を1〜5で採点 - 書式エラー率：JSON パースに失敗した出力の割合
結果
| データセット | 主な JScore（書式エラー率） |
|---|---|
| GeoJSON | REL 0.91（0.03）、llama3-7b 0.90（0.06）、RAG 0.89（0.09）、PE 0.87（0.12）、gemma-2b 0.75（0.21） |
| Schema | llama3-7b 0.57（0.00）、PE 0.56（0.04）、REL 0.55（0.00）、RAG 0.52（0.14）、gemma-2b 0.25（0.47） |
| Paraloq | PE・RAG 0.91、REL・llama3-7b 0.90 |
| Nous | RAG・REL・llama3-7b・phi-2 が 1.00 |
- 全データセット平均の JScore は PE が最高の 0.81、mistral-7b と llama3-7b が 0.80
- 学習ステップを100から500に増やすと書式エラー率は下がった（mistral-7b 0.29→0.14、llama3-7b 0.25→0.09）
- 内容評価では llama3-7b が全データセット平均 4.188 で fine-tune モデル中最高。GeoJSON では REL が完全性 3.64、粒度 3.53、一貫性 4.08 で最高（正確性は 3.68 で llama3-7b と同値）
- 2.79B パラメータの phi-2 が gemma-7b を上回った。著者はコード系の学習データが効いた可能性を挙げる
- どのモデルも複雑なデータセットほど低スコア。JScore の標準偏差は Paraloq 0.25、Schema 0.29
限界・課題
- 実験の最大トークン数が10kに制限され、10万トークンを超える世界規模の GeoJSON などは扱えなかった
- 計算資源が VRAM 24GB に制限され、fine-tuning の効果に影響した
- 学習損失だけではモデル性能を評価できない
- GeoJSON では緯度経度のトークンが大量に生成されるため、編集距離では手法間の差がはっきり出なかった可能性がある
要点
fine-tuning・RAG・prompt engineering の JSON/GeoJSON 生成精度を、独自指標 JScore と4データセットで比較した。 一般 JSON では PE の平均が最も高く、fine-tune した7B級モデルがそれに近い。 GeoJSON では、fine-tune 済みモデルに RAG と R-tree 空間索引を組み合わせた REL が JScore・書式エラー率とも最良だった。