自適應多尺度Goodness聚合:前向-前向學習的新擴展
研究人員提出自適應多尺度Goodness聚合(AMSGA),作為前向-前向(FF)算法的新擴展,通過多尺度Goodness聚合、自適應課程引導的困難負樣本挖掘、層依賴自適應閾值和預熱餘弦退火學習率調度,顯著提升了局部學習神經網絡的穩定性、魯棒性和泛化能力。在MNIST和Fashion-MNIST上分別獲得最高1.45%和1.50%的精度提升,且幾乎不增加計算開銷。
近期,arXiv上發佈了一篇題為“自適應多尺度Goodness聚合用於前向-前向學習”(AMSGA)的研究論文,由Salar Beigzad和Vansh Verma撰寫,於2026年5月11日提交。該研究針對前向-前向(Forward-Forward, FF)算法在穩定性、魯棒性和泛化能力方面的侷限性,提出了一種新穎的擴展方法——自適應多尺度Goodness聚合(AMSGA)。
FF算法是一種局部學習範式,因其生物合理性和內存效率而受到關注,但在實際應用中,其性能往往不如傳統的反向傳播算法。AMSGA通過多個創新設計來增強FF算法:首先,它引入了多尺度Goodness聚合,將局部、中間和全局表示中的Goodness信號整合在一起,為網絡提供更豐富的學習信號;其次,採用自適應課程引導的困難負樣本挖掘方法,根據訓練進程動態調整負樣本的難度,使模型能夠更有效地學習判別性特徵;此外,層依賴自適應閾值允許網絡的不同層根據自身特性設定不同的Goodness閾值,從而更靈活地適應數據分佈;最後,預熱餘弦退火學習率調度策略優化了訓練過程的穩定性,避免了早期訓練的不穩定。
實驗在標準基準數據集MNIST和Fashion-MNIST上進行,結果表明AMSGA在幾乎不增加計算開銷的情況下,分別實現了最高1.45%和1.50%的精度提升。這些改進表明,通過精心設計Goodness估計和訓練動態,局部學習方法可以變得更加具有競爭力。論文共6頁,採用IEEE格式,包含5個表格,詳細展示了實驗結果和與基線FF算法的對比。
研究團隊認為,AMSGA為未來開發更高效、更強大的生物啓發式學習算法鋪平了道路,特別適用於資源受限或需要在線學習的場景。論文的完整版本可通過arXiv獲取(ID: 2605.18804)。