预训练语言模型嵌入的黎曼几何方法
该研究提出黎曼均值池化（RMP）方法，通过从编码器的解析雅可比矩阵中提取逐令牌拉回度量，并在对称正定（SPD）流形上用Fréchet均值聚合，来捕捉句子级分类信号。在CoLA、CREAK、RTE数据集上，RMP优于欧氏均值池化，而在消除词汇伪像的FEVER-Symmetric上表现随机。消融实验表明，即使随机初始化的编码器结合Fréchet聚合也能在多数数据集上超过欧氏池化，表明增益主要来自几何聚合。
预训练语言模型的嵌入向量蕴含丰富的语言结构，理解其几何特性对于模型的可解释性和安全性至关重要。传统的池化方法如均值池化或最大池化通常假设嵌入位于欧几里得空间中，但语言结构可能具有非线性和非欧几里得特性。基于此，来自多家机构的研究人员提出了黎曼均值池化（Riemannian Mean Pooling, RMP）方法，旨在从预训练语言模型的上下文嵌入中捕捉句子级别的分类信号。RMP的核心思想是利用黎曼几何的工具：通过一个学习的编码器，从输入句子每个词的嵌入中提取解析雅可比矩阵，进而得到逐词的拉回度量（pullback metric）。这些度量位于对称正定（SPD）流形上，研究人员使用Fréchet均值来聚合这些度量，从而得到一个句子级别的表示。这个表示可以直接用于分类任务。实验在四个数据集上进行：CoLA（语言可接受性判断）、CREAK（常识推理）、RTE（文本蕴含）以及FEVER-Symmetric（专门设计来消除词汇伪影的基准）。结果表明，RMP在前三个数据集上显著优于传统的欧几里得均值池化，而在FEVER-Symmetric上，RMP的表现与随机猜测相当，这表明RMP没有利用词汇伪影，而是捕捉了真实的语言信号。消融实验进一步揭示了性能提升的来源：即使使用随机初始化的编码器，仅依靠Fréchet几何聚合就能在三个数据集中的两个上超越欧几里得池化。这说明几何聚合本身是关键的改进因素。当编码器经过训练后，在知识密集型的CREAK数据集上带来了额外的提升，表明学习到的表示在某些任务中仍有价值。该研究为利用黎曼几何优化语言模型嵌入提供了新方向，论文已发布于arXiv，代码和数据集也将公开。此外，研究人员还讨论了与现有几何池化方法的联系，并分析了RMP在对抗性设置下的鲁棒性。未来工作可探索将RMP扩展到其他类型的语言模型和任务中。