自適應多尺度Goodness聚合:前向-前向學習的新擴充套件
研究人員提出自適應多尺度Goodness聚合(AMSGA),作為前向-前向(FF)演算法的新擴充套件,透過多尺度Goodness聚合、自適應課程引導的困難負樣本挖掘、層依賴自適應閾值和預熱餘弦退火學習率排程,顯著提升了區域性學習神經網路的穩定性、魯棒性和泛化能力。在MNIST和Fashion-MNIST上分別獲得最高1.45%和1.50%的精度提升,且幾乎不增加計算開銷。
近期,arXiv上釋出了一篇題為“自適應多尺度Goodness聚合用於前向-前向學習”(AMSGA)的研究論文,由Salar Beigzad和Vansh Verma撰寫,於2026年5月11日提交。該研究針對前向-前向(Forward-Forward, FF)演算法在穩定性、魯棒性和泛化能力方面的侷限性,提出了一種新穎的擴充套件方法——自適應多尺度Goodness聚合(AMSGA)。
FF演算法是一種區域性學習正規化,因其生物合理性和記憶體效率而受到關注,但在實際應用中,其效能往往不如傳統的反向傳播演算法。AMSGA透過多個創新設計來增強FF演算法:首先,它引入了多尺度Goodness聚合,將區域性、中間和全域性表示中的Goodness訊號整合在一起,為網路提供更豐富的學習訊號;其次,採用自適應課程引導的困難負樣本挖掘方法,根據訓練程序動態調整負樣本的難度,使模型能夠更有效地學習判別性特徵;此外,層依賴自適應閾值允許網路的不同層根據自身特性設定不同的Goodness閾值,從而更靈活地適應資料分佈;最後,預熱餘弦退火學習率排程策略最佳化了訓練過程的穩定性,避免了早期訓練的不穩定。
實驗在標準基準資料集MNIST和Fashion-MNIST上進行,結果表明AMSGA在幾乎不增加計算開銷的情況下,分別實現了最高1.45%和1.50%的精度提升。這些改進表明,透過精心設計Goodness估計和訓練動態,區域性學習方法可以變得更加具有競爭力。論文共6頁,採用IEEE格式,包含5個表格,詳細展示了實驗結果和與基線FF演算法的對比。
研究團隊認為,AMSGA為未來開發更高效、更強大的生物啟發式學習演算法鋪平了道路,特別適用於資源受限或需要線上學習的場景。論文的完整版本可透過arXiv獲取(ID: 2605.18804)。