Textual Factors: A Scalable, Interpretable, and Data-Driven Approach to Analyzing Unstructured Information
| 項目 | 内容 |
|---|---|
| 論文ID | P14 |
| 区分・分類 | 論文・構造化とは |
| 著者・所属 | Lin William Cong（SC Johnson College of Business, Cornell University / NBER）、Tengyuan Liang（University of Chicago）、Xiao Zhang（Compass Lexecon LLC）、Wu Zhu（Tsinghua University） |
| 発表先 | Management Science |
| 発表日 | 2025-10-14 |
| 引用数 | 14（OpenAlex 2026-10-06時点） |
| 言語 | 英語 |
| URL | https://doi.org/10.1287/mnsc.2020.01180 |
| 論文/pdf/P14.pdf（NBER Working Paper 33168、2024年11月版。Management Science掲載版ではない） | |
| 読んだ範囲 | 全文（本文＋付録A〜L、全59ページ） |
論文タイプ
新技術。単語埋め込み・LSHクラスタリング・トピックモデルを組み合わせた新しいテキスト分析フレームワーク「Textual Factors（TF）」を提案し、検証と3種の応用例を示す方法論論文。
研究の目標
テキスト等の非構造化データは豊富な情報を含むが、計算効率と経済的解釈性を保ったまま情報を抽出するのが難しい。既存手法はそれぞれ欠点がある（図1）。
| 既存手法 | 長所 | 短所 |
|---|---|---|
| 単語カウント・辞書法（経済・金融） | 解釈性が高い | ドメイン知識に依存、データ駆動でない、言語構造を捉えない |
| LDA等の統計的トピックモデル | モデルベース推論、データ駆動 | スケールしない、複雑な言語構造を捉えない、共通語が全トピックを支配 |
| ニューラル言語モデル（Word2Vec、BERT、LLM） | スケーラブル、意味・統語構造を捉える | 解釈が難しい、ブラックボックス |
目標は、計算スケーラビリティ・言語的複雑さ・経済的解釈性の3つを同時に満たし、大規模文書群を社会科学で標準的な回帰分析に直接つなぐデータ駆動の汎用フレームワークを作ること。資産価格モデルの「ファクター」のように、テキストを少数の解釈可能な因子への「ローディング」で表現する。
技術的なやり方
Stage I：TFの生成（3ステップ）
| ステップ | 手法 | 役割 |
|---|---|---|
| (i) 単語埋め込み | Word2Vec（Google事前学習版やGloVeを推奨。大規模コーパスがあればGensimでドメイン固有埋め込み） | one-hot表現では捉えられない意味・統語的類似性を数百次元のベクトルに保持 |
| (ii) クラスタリング | Locality-Sensitive Hashing（LSH、ランダム超平面ハッシュ、cosine距離）。Algorithm 1（階層的併合）・Algorithm 2（逐次的）の2種 | 全ペア距離計算 O(V²p) を回避し近線形時間で単語クラスタを作る。クラスタ間で語彙がほぼ重ならない「separability」を確保。最近傍発見精度90%以上になるようハッシュ関数数N・テーブル数Lを調整 |
| (iii) ガイド付きトピックモデル | 各クラスタの文書-単語部分行列にSVD（LSA的アプローチ）を適用。第1右特異ベクトルをTF（F_i）、第1特異値をトピック重要度（d_i）とする | クラスタ単位で小さな行列に分けて並列に因子分解できる。LDAのMCMC・変分推論の遅さや非収束、共通語の支配を回避。付録Eに頻度カウント版の代替定義 |
Stage II：ローディング：文書dのTF iへのローディングは x_i^(d) = ⟨N_Si^(d), F_i⟩ / ⟨F_i, F_i⟩（文書-単語ベクトルのクラスタ部分とF_iの射影）。文書はK次元ベクトル（x_1,…,x_K）となり、通常の回帰の説明変数として使う。
補助的な工夫：ドメイン知識の種語を指定してクラスタを作る seeded TFs、不要語除去・Lasso・人手による因子選択。クラスタ数Kはシルエット係数・elbow法・Davies-Bouldin指標か、下流タスクのハイパーパラメータとして決める。実証ではクラスタの最大語数を50に設定。
データ：WSJ一面記事の見出しと要旨（1889年7月〜2018年4月）、SEC EDGAR の10-K/10-Q（リスク要因セクション2005〜2022年、MD&Aセクション）、USPTO特許の要旨と請求項（1976〜2023年）、Fama-French-Carhart 4因子（Kenneth French のサイト）。
応用3類型：(1) ニュースからのマクロ経済予測、(2) 非テキストモデルの解釈（Fama-French-Carhart 4因子モデルのリスクプレミアム時系列とクロスセクションβ、深層強化学習モデル AlphaPortfolio の winner score）、(3) 特許テキストからテーマ別技術ブレークスルー指標の構築（Kelly et al. 2021b の significance index の文書-単語行列を文書-トピック行列に置換）。
ソースコードは https://github.com/textualfactor/Text_Analysis で公開。
結果
| 項目 | 数値 |
|---|---|
| 計算時間（SEC EDGAR、表1） | PV-LDA 2,293トピック：16.31時間（RAM 32GB、28コア） vs TF-SVD 2,293トピック：12.03分（RAM 16GB、8コア）。PV-LDA 29,523トピック：168時間以上 vs TF-SVD 29,523トピック（クラスタサイズ20）：29.81分 |
| マクロ予測 one-hot比（表2） | out-of-sample RMSE を平均14%削減。S&P 500 でSVMの比率 0.216〜0.229（TF数20〜200）。住宅価格のみTFが劣る（KNNで1.17〜1.29） |
| マクロ予測 LDA比（表I.1） | 大半が1未満（例：失業率 SVM・TF数20で0.539）だが one-hot比より比率は上昇 |
| CPI予測 AR(1)比（表I.2） | 全比率が1未満。Ridge・TF数50で0.552 |
| 予測回帰の調整R²（表3、I.3〜I.5） | CPI 0.300、GDP 0.135、民間投資 0.075、S&P 500 0.058、失業率 0.581、住宅価格 0.03 |
| リスクプレミアム時系列の調整R²（表J.1〜J.3） | 市場 0.095、モメンタム 0.252、バリュー 0.207。サイズプレミアムを説明するTFは見つからず |
| クロスセクションβの調整R²（表J.4〜J.7） | 市場 0.417、サイズ 0.434、バリュー 0.458、モメンタム 0.434 |
| 特許 significance index | クラスタサイズ50で計算時間を約1000分の1に短縮 |
解釈例：CPI予測で最大係数のTFは「Inflation」「Banks」「Weather」。市場プレミアムは「Crisis」「Failures/Collapse」「Sars」等。市場βは「Future, Continue, Ongoing」等の将来期待語彙。AlphaPortfolio の買い銘柄は loss-cutting・profitability・sales・cash、売り銘柄は real estate・corporate events・mistakes・uncertainty・inventory を多く語る。特許では Machine Learning のローディングが2016年前後に急増、Carbon Nanotubes は2000年前後にピーク、significance index は1984年（モノクローナル抗体）・1998〜99年（インターネット）に急上昇。
限界・課題
- TF構築は教師なしで下流タスクと独立のため、因子数を増やすと無関係な変数を含むバイアス・バリアンスのトレードオフが生じる
- WSJの見出し・要旨には住宅価格の情報が乏しく、住宅価格では one-hot に劣る
- 適切な事前学習埋め込みがなくデータが少ない場合、埋め込みのみに基づくクラスタリングはノイズを増幅しうる
- 金融・経済データは低S/N比で spurious な TF が生じうるため、不要語除去・Lasso・人手選別が必要。多義語は複数クラスタに現れうる
- 一般的な手法間の勝負（horse race）は目標でなく、データ選択は意図的に最小限。黒箱モデルの解釈は初期段階の例示にとどまる
- LLMはTFの代替ではなく補完（第1ステップの埋め込みに組み込める）と位置づけ
要点
Word2Vec埋め込み→LSHクラスタリング→クラスタ別SVDで「テキスト因子」を作り、文書を因子ローディングのベクトルに変換して通常の回帰に使える汎用フレームワーク。LDAより桁違いに速く、クラスタ間で語彙が分離するため解釈しやすい。マクロ予測・資産価格モデルの解釈・特許からの技術指標構築で有効性を示した。