word2vec到底学到了什么？
伯克利AI研究团队提出了一种新理论，揭示了word2vec的学习过程：它本质上是无权重最小二乘矩阵分解，最终表示等同于PCA。模型从小初始化开始，逐步学习正交线性子空间，每个子空间对应一个可解释的概念。该理论预测了学习特征的封闭形式，并与实验高度吻合。
word2vec是一种经典的词嵌入算法，但其学习过程的定量理论长期以来一直缺失。最近，伯克利AI研究团队在论文中提出了完整的理论，证明了在现实且实用的条件下，word2vec的学习问题可以简化为无权重最小二乘矩阵分解，且最终的词表示等同于主成分分析（PCA）的结果。
该理论的关键在于，当嵌入向量初始化接近原点的小随机值时，模型会以离散的步骤依次学习正交的线性子空间。每一步，嵌入矩阵的秩增加一个，同时损失函数阶梯式下降。这些线性子空间一旦学习完成便不再旋转，因此代表了模型学到的概念。有趣的是，这些特征可以通过一个由语料共现统计和算法超参数定义的矩阵M*的特征向量来计算。矩阵M*的元素由词对共现概率和单字概率决定，其前几个特征向量对应可解释的主题，例如名人传记、政府行政或地理描述。这意味着word2vec在执行M*的低秩近似，等价于对M*进行PCA。研究者通过维基百科统计验证了这一结果。
为了达成理论解，论文引入了四种轻微近似：目标函数在原点附近的四阶近似、对超参数的特定约束、足够小的初始权重以及极小的梯度下降步长。这些近似并不涉及数据分布，因此理论可以预测任意语料下的学习特征。实验表明，简化模型在标准类比任务上达到66%的准确率，接近原始word2vec的68%，远高于传统PPMI方法的51%。此外，该理论还用于分析抽象线性表示（如性别、时态）的涌现过程。研究发现，这些表示在学习过程中逐步形成，早期信号占主导，后期噪声可能增强，导致表示质量下降。总体而言，这项工作是首个为实际自然语言任务提供完整封闭形式特征学习理论的研究，为理解更复杂语言模型的特征学习奠定了基础。