仮想スキーマ構造化によるデータレイク向けテーブルフォーマットの提案
| 項目 | 内容 |
|---|---|
| 論文ID | P61 |
| 区分・分類 | 論文・データ整備 |
| 著者・所属 | 宗形 聡（東北大学サイバーサイエンスセンター）、中村 隆喜（東北大学サイバーサイエンスセンター、責任著者）※本文未入手のためJ-STAGE記事ページから転記 |
| 発表先 | 電気学会論文誌C（電子・情報・システム部門誌） |
| 発表日 | 2026-08-01 |
| 引用数 | 未取得（OpenAlex 2026-10-06時点） |
| 言語 | 日本語 |
| URL | https://cir.nii.ac.jp/crid/1390872077769170304 |
| 取得できず（J-STAGEで「認証あり」＝購読者限定。5年エンバーゴ後にフリー化。OpenAlexでもオープン版なし） | |
| 読んだ範囲 | 要旨のみ（英文抄録・キーワード） |
論文タイプ
新技術。オブジェクトメタデータを使う新しいテーブルフォーマットを提案し、ベンチマークで評価しているため。
研究の目標
- 背景の問題：テーブルフォーマットを使うと、データ分析者はオブジェクトストレージのバケット内のオブジェクトをデータベースのように問い合わせでき、データサイエンスのワークロードで効率よくデータを取り出せる。しかし従来のテーブルフォーマットでは、非構造化データを Parquet や ORC などの構造化形式に変換し、別のバケットに保存する必要がある。この変換に余分な時間と手間がかかり、別バケットに保存することでデータ管理上データが重複する
- 狙う到達点：非構造化データを構造化変換せずに、そのバケットをそのままテーブルとして扱えるようにし、変換のオーバーヘッドをなくし、データ管理を単純にする
技術的なやり方
オブジェクトメタデータを利用して、非構造化データに「仮想スキーマ構造」を導入するテーブルフォーマットを提案する（要旨の記述）。
| 観点 | 従来のテーブルフォーマット | 提案手法 |
|---|---|---|
| 非構造化データの扱い | Parquet / ORC などへ構造化変換 | 構造化変換しない。オブジェクトメタデータで仮想スキーマ構造を付与 |
| 保存先 | 変換後データを別バケットに保存（データが重複） | 非構造化データのバケットをそのままテーブルとして扱う |
- 評価：TPCx-BB ベンチマークのデータを使い、クエリ実行時間を測定
- 仮想スキーマの具体的な構成、メタデータの記述方法、使用したクエリエンジン、比較した既存テーブルフォーマットの名前、実験環境・データ規模：要旨に記載なし（本文未確認）
結果
数値なし（要旨には数値の記載がない）。要旨の記述は「提案テーブルフォーマットは、従来のものと同等以上のクエリ性能を達成した」のみ。
限界・課題
要旨に記載なし（本文未確認）。
要点
非構造化データを Parquet / ORC に変換・別バケットへ複製する従来のやり方をやめ、オブジェクトメタデータで「仮想スキーマ」を付けてバケットをそのままテーブルとして問い合わせる方式。TPCx-BB データでのクエリ実行時間は従来と同等以上（要旨より）。