word2vecは正確に何を学習するのか？

word2vecは単語の分散表現を学習するよく知られたアルゴリズムですが、その学習過程の定量的理論は長らく欠けていました。今回、カリフォルニア大学バークレー校のAI研究チームが、現実的かつ実用的な条件下でword2vecの学習問題が重みなし最小二乗行列分解に帰着され、最終的な表現が主成分分析（PCA）で与えられることを証明しました。

この理論の核心は、埋め込みベクトルを原点近くの小さなランダム値で初期化すると、モデルが離散的なステップで直交する線形部分空間を順次学習する点にあります。各ステップで埋め込み行列のランクが1増加し、損失関数は階段状に減少します。学習された部分空間は回転しないため、これらがモデルの獲得した概念となります。特徴は、コーパスの共起統計とアルゴリズムのハイパーパラメータのみで定義される行列M*の固有ベクトルとして閉形式で計算できます。行列M*の要素は単語ペアの共起確率と単語単体の確率から計算され、その上位固有ベクトルは有名人の伝記、政府行政、地理記述など解釈可能なトピックに対応します。つまり、word2vecはM*の最適な低ランク近似を実行しており、これはM*に対するPCAと等価です。ウィキペディアの統計を用いた実験でこの結果が検証されています。

理論を導出するために4つの軽微な近似（原点周りの目的関数の4次近似、ハイパーパラメータの制約、十分小さい初期重み、微小な勾配降下ステップ）を用いています。これらの近似はデータ分布に依存しないため、任意のコーパスに対して学習される特徴を予測できます。標準的なアナロジータスクでは、近似モデルが66%の精度を達成し、元のword2vecの68%に迫り、従来のPPMI法の51%を大きく上回りました。さらに、この理論を応用して抽象的な線形表現（男性/女性、過去/未来など）の出現過程を分析したところ、学習の初期には意味信号が支配的ですが、後期にはノイズが増大し表現の品質が低下することが示されました。本研究は、実用的な自然言語タスクにおける特徴学習の完全な閉形式理論を初めて提供したものであり、より高度な言語モデルの理解に向けた重要な一歩です。