預訓練語言模型嵌入的黎曼幾何方法
該研究提出黎曼均值池化（RMP）方法，通過從編碼器的解析雅可比矩陣中提取逐令牌拉回度量，並在對稱正定（SPD）流形上用Fréchet均值聚合，來捕捉句子級分類信號。在CoLA、CREAK、RTE數據集上，RMP優於歐氏均值池化，而在消除詞彙偽像的FEVER-Symmetric上表現隨機。消融實驗表明，即使隨機初始化的編碼器結合Fréchet聚合也能在多數數據集上超過歐氏池化，表明增益主要來自幾何聚合。
預訓練語言模型的嵌入向量藴含豐富的語言結構，理解其幾何特性對於模型的可解釋性和安全性至關重要。傳統的池化方法如均值池化或最大池化通常假設嵌入位於歐幾里得空間中，但語言結構可能具有非線性和非歐幾里得特性。基於此，來自多家機構的研究人員提出了黎曼均值池化（Riemannian Mean Pooling, RMP）方法，旨在從預訓練語言模型的上下文嵌入中捕捉句子級別的分類信號。RMP的核心思想是利用黎曼幾何的工具：通過一個學習的編碼器，從輸入句子每個詞的嵌入中提取解析雅可比矩陣，進而得到逐詞的拉回度量（pullback metric）。這些度量位於對稱正定（SPD）流形上，研究人員使用Fréchet均值來聚合這些度量，從而得到一個句子級別的表示。這個表示可以直接用於分類任務。實驗在四個數據集上進行：CoLA（語言可接受性判斷）、CREAK（常識推理）、RTE（文本藴含）以及FEVER-Symmetric（專門設計來消除詞彙偽影的基準）。結果表明，RMP在前三個數據集上顯著優於傳統的歐幾里得均值池化，而在FEVER-Symmetric上，RMP的表現與隨機猜測相當，這表明RMP沒有利用詞彙偽影，而是捕捉了真實的語言信號。消融實驗進一步揭示了性能提升的來源：即使使用隨機初始化的編碼器，僅依靠Fréchet幾何聚合就能在三個數據集中的兩個上超越歐幾里得池化。這説明幾何聚合本身是關鍵的改進因素。當編碼器經過訓練後，在知識密集型的CREAK數據集上帶來了額外的提升，表明學習到的表示在某些任務中仍有價值。該研究為利用黎曼幾何優化語言模型嵌入提供了新方向，論文已發佈於arXiv，代碼和數據集也將公開。此外，研究人員還討論了與現有幾何池化方法的聯繫，並分析了RMP在對抗性設置下的魯棒性。未來工作可探索將RMP擴展到其他類型的語言模型和任務中。