AI News HubLIVE
站内改写1 分钟阅读

自适应多尺度Goodness聚合:前向-前向学习的新扩展

研究人员提出自适应多尺度Goodness聚合(AMSGA),作为前向-前向(FF)算法的新扩展,通过多尺度Goodness聚合、自适应课程引导的困难负样本挖掘、层依赖自适应阈值和预热余弦退火学习率调度,显著提升了局部学习神经网络的稳定性、鲁棒性和泛化能力。在MNIST和Fashion-MNIST上分别获得最高1.45%和1.50%的精度提升,且几乎不增加计算开销。

来源arXiv Machine Learning作者: Salar Beigzad, Vansh Verma

近期,arXiv上发布了一篇题为“自适应多尺度Goodness聚合用于前向-前向学习”(AMSGA)的研究论文,由Salar Beigzad和Vansh Verma撰写,于2026年5月11日提交。该研究针对前向-前向(Forward-Forward, FF)算法在稳定性、鲁棒性和泛化能力方面的局限性,提出了一种新颖的扩展方法——自适应多尺度Goodness聚合(AMSGA)。

FF算法是一种局部学习范式,因其生物合理性和内存效率而受到关注,但在实际应用中,其性能往往不如传统的反向传播算法。AMSGA通过多个创新设计来增强FF算法:首先,它引入了多尺度Goodness聚合,将局部、中间和全局表示中的Goodness信号整合在一起,为网络提供更丰富的学习信号;其次,采用自适应课程引导的困难负样本挖掘方法,根据训练进程动态调整负样本的难度,使模型能够更有效地学习判别性特征;此外,层依赖自适应阈值允许网络的不同层根据自身特性设定不同的Goodness阈值,从而更灵活地适应数据分布;最后,预热余弦退火学习率调度策略优化了训练过程的稳定性,避免了早期训练的不稳定。

实验在标准基准数据集MNIST和Fashion-MNIST上进行,结果表明AMSGA在几乎不增加计算开销的情况下,分别实现了最高1.45%和1.50%的精度提升。这些改进表明,通过精心设计Goodness估计和训练动态,局部学习方法可以变得更加具有竞争力。论文共6页,采用IEEE格式,包含5个表格,详细展示了实验结果和与基线FF算法的对比。

研究团队认为,AMSGA为未来开发更高效、更强大的生物启发式学习算法铺平了道路,特别适用于资源受限或需要在线学习的场景。论文的完整版本可通过arXiv获取(ID: 2605.18804)。