跳到主要內容
AI News HubLIVE
更多
站內改寫1 分鐘閱讀

LieBN:李羣上的批量歸一化

文章摘要

本文提出LieBN框架,用於李羣上的黎曼批量歸一化,利用左右不變度量提供理論保證,並在九個不同幾何結構上進行實例化,包括對稱正定流形、旋轉矩陣羣和滿秩相關矩陣流形,實驗驗證了其有效性。

來源arXiv Machine Learning作者: Ziheng Chen, Yue Song, Rui Wang, Xiao-Jun Wu, Nicu Sebe
LieBN:李羣上的批量歸一化
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,流形值數據在機器學習任務中越來越常見,例如計算機視覺中的對稱正定(SPD)矩陣、機器人學中的旋轉矩陣等。深度神經網絡(DNN)已被擴展到流形上,同時出現了針對不同幾何結構的歸一化技術,統稱為黎曼歸一化。然而,現有的黎曼歸一化方法大多針對特定流形設計,或者無法有效歸一化流形上的樣本分佈。為了解決這些問題,來自研究者提出了一種新的框架——LieBN,用於李羣上的黎曼批量歸一化。

LieBN 框架的核心創新在於利用李羣天然存在的左不變和右不變度量,從而為控制黎曼均值和方差提供理論保證。該框架在九種不同的幾何結構上進行了實例化:對稱正定(SPD)流形上的四種度量、旋轉矩陣羣(SO(3))上的度量,以及滿秩相關矩陣流形上的四種度量。值得注意的是,在SPD度量中,他們引入了一種新穎的右不變度量,並通過矩陣冪變形擴展了三種現有的李羣結構。

廣泛的實驗驗證了LieBN框架在不同流形上的有效性。研究人員在多種流形上進行了性能測試,結果表明LieBN能夠有效地歸一化樣本分佈,並提升模型的訓練穩定性和泛化能力。代碼已在GitHub上開源(https://github.com/GitZH-Chen/LieBN.git)。該論文於2026年6月13日提交,並被arXiv收錄。值得關注的是,該論文與arXiv:2403.11261有部分文本重疊。該工作為流形上的深度學習提供了一種通用的歸一化工具,有望推動相關領域的發展。

展開要點與分析

文章情報

研究者進階

要點

  • LieBN是首個適用於一般李羣的黎曼批量歸一化框架。
  • 利用左右不變度量,提供黎曼均值和方差的理論控制。
  • 在九個幾何結構上實例化,包括一種新的右不變度量。
  • 實驗表明LieBN在不同流形上均有效。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。