預訓練語言模型嵌入的黎曼幾何方法
該研究提出黎曼均值池化（RMP）方法，透過從編碼器的解析雅可比矩陣中提取逐令牌拉回度量，並在對稱正定（SPD）流形上用Fréchet均值聚合，來捕捉句子級分類訊號。在CoLA、CREAK、RTE資料集上，RMP優於歐氏均值池化，而在消除詞彙偽像的FEVER-Symmetric上表現隨機。消融實驗表明，即使隨機初始化的編碼器結合Fréchet聚合也能在多數資料集上超過歐氏池化，表明增益主要來自幾何聚合。
預訓練語言模型的嵌入向量蘊含豐富的語言結構，理解其幾何特性對於模型的可解釋性和安全性至關重要。傳統的池化方法如均值池化或最大池化通常假設嵌入位於歐幾里得空間中，但語言結構可能具有非線性和非歐幾里得特性。基於此，來自多家機構的研究人員提出了黎曼均值池化（Riemannian Mean Pooling, RMP）方法，旨在從預訓練語言模型的上下文嵌入中捕捉句子級別的分類訊號。RMP的核心思想是利用黎曼幾何的工具：透過一個學習的編碼器，從輸入句子每個詞的嵌入中提取解析雅可比矩陣，進而得到逐詞的拉回度量（pullback metric）。這些度量位於對稱正定（SPD）流形上，研究人員使用Fréchet均值來聚合這些度量，從而得到一個句子級別的表示。這個表示可以直接用於分類任務。實驗在四個資料集上進行：CoLA（語言可接受性判斷）、CREAK（常識推理）、RTE（文本蘊含）以及FEVER-Symmetric（專門設計來消除詞彙偽影的基準）。結果表明，RMP在前三個資料集上顯著優於傳統的歐幾里得均值池化，而在FEVER-Symmetric上，RMP的表現與隨機猜測相當，這表明RMP沒有利用詞彙偽影，而是捕捉了真實的語言訊號。消融實驗進一步揭示了效能提升的來源：即使使用隨機初始化的編碼器，僅依靠Fréchet幾何聚合就能在三個資料集中的兩個上超越歐幾里得池化。這說明幾何聚合本身是關鍵的改進因素。當編碼器經過訓練後，在知識密集型的CREAK資料集上帶來了額外的提升，表明學習到的表示在某些任務中仍有價值。該研究為利用黎曼幾何最佳化語言模型嵌入提供了新方向，論文已釋出於arXiv，程式碼和資料集也將公開。此外，研究人員還討論了與現有幾何池化方法的聯絡，並分析了RMP在對抗性設定下的魯棒性。未來工作可探索將RMP擴充套件到其他型別的語言模型和任務中。