Dango: A Mixed-Initiative Data Wrangling System using Large Language Model
| 項目 | 内容 |
|---|---|
| 論文ID | P54 |
| 区分・分類 | 論文・データ整備 |
| 著者・所属 | Wei-Hao Chen（Purdue University）、Weixi Tong（Huazhong University of Science and Technology）、Amanda Case（University of Iowa）、Tianyi Zhang（Purdue University） |
| 発表先 | CHI Conference on Human Factors in Computing Systems (CHI 2025) |
| 発表日 | 2025-04-24 |
| 引用数 | 19（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1145/3706598.3714135 |
| 論文/pdf/P54.pdf | |
| 読んだ範囲 | 全文 |
論文タイプ
新技術。LLMを使った新しいデータラングリングシステムDangoを提案し、ユーザー実験で評価している。
研究の目標
データラングリング（表の配置変更・形式変換・欠損値や誤り値の補完）は時間のかかる工程である。既存ツールには次の問題がある。
- 従来の対話型ツールは単一の表しか扱えない。また、ユーザーが操作して見せる方式（PBD）が中心で、「値の4分の1以上が欠損した行だけ消す」のような条件を伝えにくい
- LLMを使うツール（SheetCopilot等）は自然言語（NL）でしか指示できない。NLは曖昧なうえ、意図を明確にする手段も、LLMの誤り（ハルシネーション）を見つけて直す支援もない
到達点は、複数の表にまたがる作業で、ユーザーが意図を表現・明確化し、生成された処理を理解・修正できるようにすることである。
技術的なやり方
3段階の処理で構成され、段階ごとにfew-shotプロンプトのLLMエージェントを置く。
| 段階 | 内容 |
|---|---|
| Intent Analysis | 表上の操作（挿入・削除・セル編集・コピー・ドラッグ）を記録して「Table Diff」とし、チャットのNL指示と合わせてLLMに渡す。曖昧な点があれば、選択肢と「Other (please specify)」付きの多肢選択式の確認質問（CQ）を出す。曖昧さがなくなったら意図を要約する |
| DSL-based Program Synthesis | Potter's WheelのDSLを、複数表の操作と統計検定に対応するよう拡張した（表・行列・集約・文字列の4種類）。手順の計画を作ってからDSLを生成する。構文チェッカーで引数を検査し、誤りがあれば再生成する。元の表は残し、table_v1のような版を新たに作る |
| Program Evaluation & Refinement | DSLの各文を、LLMを使わずテンプレート規則で手順ごとのNL説明に変換し、ハルシネーションを防ぐ。ユーザーは説明の手順を編集・削除・追加でき、それに応じてスクリプトが更新される。表単位のデータ来歴（provenance）を図示する |
- 使用LLM：gpt-4o-mini（temperature 0）
- 評価1：被験者内実験（n=38、7タスク、うち複数表5）。比較する3条件は次のとおり
- A：デモ＋チャット＋LLMのNL要約
- B：Aの要約を手順ごとのNL説明（編集可）に替えたもの
- C：B＋CQ（最終版）
- 評価2：追加24タスク（既存研究10件＋Kasica et al.の複数表タスク14件）を著者2名が解く
結果
| 指標 | A | B | C |
|---|---|---|---|
| 平均完了時間 | — | — | 3分30秒（Aより45%、Bより32%短い。p=1.76e-05） |
| 平均試行回数 | 2 | 1.66 | 1.43 |
| セッション当たりのハルシネーション割合 | 0.65 | 0.59 | 0.18 |
| スクリプトへの自信（7段階） | 5.31 | 6.18 | 6.34 |
| 「説明がスクリプトの理解に役立つ」と回答 | 47% | 82% | 95% |
- Cを好むと答えた参加者は82%。Aでは2名が10分以内に完了できなかった
- 複雑・条件付きのタスク5〜7では、CがBより有意に速かった
- 初回に誤ったスクリプトが出た割合と、修正にかかった時間：A 57%（4分6秒）、B 49%（2分41秒）、C 34%（2分25秒）
- CQに答えた参加者の62%が初回で成功した（A 43%、B 51%）
- 経験別の完了時間に有意差はなかった。ただし統計検定を含むタスク7では、熟練者2分10秒に対し、中級者6分54秒・初心者6分53秒だった
- 24タスクでは、著者2名が全タスクを解いた（平均62.67秒／75.90秒）。CQを「役立つ」と判定した割合は87%／94%
限界・課題
- DSLがすべての場面を網羅しているわけではない（for/whileのような制御構造がない）
- 検査は構文のみで、意味の正しさは検査しない
- セルに数式を書くなどの表計算機能を合成できない
- 実験はラボ内の統制環境で行った。実際の複雑な作業や、複数人での長期作業は反映していない
- プロンプトでDSLの文法を示してもLLMが誤用する。CQは、ユーザーが要求の抽象度をシステムに合わせられない問題には対応していない
- 24タスクの評価は著者が解いたもので、理想条件での性能である
要点
複数の表を扱うデータ整備で、LLMが曖昧な点を多肢選択の質問で確かめ、生成した処理を規則ベースで手順ごとの文章にして直接編集させるシステム。確認質問を入れた版は、完了時間・試行回数・誤りを有意に減らした。