跳到主要内容
AI News HubLIVE
更多
站内改写1 分钟阅读

LieBN:李群上的批量归一化

文章摘要

本文提出LieBN框架,用于李群上的黎曼批量归一化,利用左右不变度量提供理论保证,并在九个不同几何结构上进行实例化,包括对称正定流形、旋转矩阵群和满秩相关矩阵流形,实验验证了其有效性。

来源arXiv Machine Learning作者: Ziheng Chen, Yue Song, Rui Wang, Xiao-Jun Wu, Nicu Sebe
LieBN:李群上的批量归一化
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近年来,流形值数据在机器学习任务中越来越常见,例如计算机视觉中的对称正定(SPD)矩阵、机器人学中的旋转矩阵等。深度神经网络(DNN)已被扩展到流形上,同时出现了针对不同几何结构的归一化技术,统称为黎曼归一化。然而,现有的黎曼归一化方法大多针对特定流形设计,或者无法有效归一化流形上的样本分布。为了解决这些问题,来自研究者提出了一种新的框架——LieBN,用于李群上的黎曼批量归一化。

LieBN 框架的核心创新在于利用李群天然存在的左不变和右不变度量,从而为控制黎曼均值和方差提供理论保证。该框架在九种不同的几何结构上进行了实例化:对称正定(SPD)流形上的四种度量、旋转矩阵群(SO(3))上的度量,以及满秩相关矩阵流形上的四种度量。值得注意的是,在SPD度量中,他们引入了一种新颖的右不变度量,并通过矩阵幂变形扩展了三种现有的李群结构。

广泛的实验验证了LieBN框架在不同流形上的有效性。研究人员在多种流形上进行了性能测试,结果表明LieBN能够有效地归一化样本分布,并提升模型的训练稳定性和泛化能力。代码已在GitHub上开源(https://github.com/GitZH-Chen/LieBN.git)。该论文于2026年6月13日提交,并被arXiv收录。值得关注的是,该论文与arXiv:2403.11261有部分文本重叠。该工作为流形上的深度学习提供了一种通用的归一化工具,有望推动相关领域的发展。

展开要点与分析

文章情报

研究者进阶

要点

  • LieBN是首个适用于一般李群的黎曼批量归一化框架。
  • 利用左右不变度量,提供黎曼均值和方差的理论控制。
  • 在九个几何结构上实例化,包括一种新的右不变度量。
  • 实验表明LieBN在不同流形上均有效。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。