事前学習済み言語モデル埋め込みのためのリーマン幾何学
本研究では、符号化器の解析的ヤコビアンからトークンごとの引き戻し計量を抽出し、対称正定値（SPD）多様体上でFréchet平均により集約するリーマン平均プーリング（RMP）を提案する。CoLA、CREAK、RTEの各データセットでRMPはユークリッド平均プーリングを上回り、語彙的アーティファクトを除去したFEVER-Symmetricでは偶然レベルにとどまる。アブレーション実験により、ランダム初期化された符号化器とFréchet集約の組み合わせでも大半のデータセットでユークリッドプーリングを凌駕し、その利得は幾何学的集約に起因することが示された。
事前学習済み言語モデルの埋め込みは豊かな言語構造を含むが、その幾何学的特性の理解は解釈可能性と安全性にとって重要である。従来の手法ではユークリッド平均プーリングが用いられることが多かったが、トークン間の非線形な幾何学的関係を捉えきれていない。そこで研究チームは、リーマン平均プーリング（RMP）を提案する。RMPは学習された符号化器の解析的ヤコビアンからトークンごとの引き戻し計量を抽出し、対称正定値（SPD）多様体上でFréchet平均を用いて集約することで、文レベルの分類信号をより正確に捉える。実験はCoLA（言語容認性）、CREAK（常識推論）、RTE（テキスト含意）、FEVER-Symmetric（語彙的アーティファクトを排除したベンチマーク）の4つのデータセットで行われた。結果、RMPはCoLA、CREAK、RTEにおいてユークリッド平均プーリングを大幅に上回り、FEVER-Symmetricではランダムな性能を示した。これはRMPが語彙的アーティファクトに依存せず、真の言語信号を捉えていることを示唆する。さらにアブレーション実験から、ランダム初期化された符号化器でもFréchet幾何学的集約を行うだけで、3つのデータセット中2つでユークリッドプーリングを凌駕することが明らかになった。これは性能向上が主に幾何学的集約自体に起因することを示す。一方、学習済み符号化器はCREAK（最も知識集約的なデータセット）で追加の利得をもたらし、複雑なタスクでは学習された表現が依然として有効であることが分かる。本研究は、リーマン幾何学を活用して言語モデルの埋め込み表現を改善する新たな道を開き、埋め込み空間の幾何構造に関する今後の研究の基盤を提供する。論文はarXivで公開され、コードとデータは随時公開予定である。さらに、研究者らはRMPと他の幾何学的手法との比較や、敵対的設定下でのロバスト性分析も行っている。今後の課題として、異なるアーキテクチャの言語モデルへの適用や、より大規模なデータセットでの検証が挙げられる。