經典萬能逼近定理早已證明，Sigmoid多層感知機（MLP）具有強大的表達能力，但如何為網絡權重賦予初始值，使其能夠編碼數據分佈的幾何結構，這一直是一個懸而未決的問題。來自研究者Yi-Shan Chu的最新工作提出了S-GAI（Spectral Geometry-Aware Initialization），一種針對單隱層Sigmoid MLP的譜幾何感知初始化框架，旨在從數據集的幾何特性出發，為網絡提供更優的起點。
S-GAI的核心思想源於將Sigmoid單元視為平滑的半空間門控。傳統方法常依賴手工指定的平面幾何，而S-GAI則轉向從圖像數據中估計的類別譜幾何。具體而言，對於每個類別，該方法通過奇異值分解（SVD）計算均值、主方向以及譜尺度。隨後，利用能量閾值篩選出最重要的方向，每個保留方向由兩個Sigmoid門表示。這些類別特定的門組合成一個共享的隱藏層，其權重直接由訓練集初始化，從而將數據幾何結構嵌入網絡。
為了驗證所估計的譜類別幾何是否已具備判別性，研究者還設計了一個基於SVD的子空間分類器作為非神經網絡的幾何參考。實驗在MNIST、Fashion-MNIST以及更具挑戰性的CIFAR-10數據集上進行。結果顯示，採用S-GAI初始化的MLP，其隱藏狀態從一開始就比Xavier初始化包含更多信息；在完整訓練後，兩者能達到相近的最終準確率。特別地，當隱藏層被凍結、僅訓練輸出層時，S-GAI初始化的網絡性能顯著優於使用隨機門的凍結隱層，這有力證明了S-GAI能夠有效地將類別譜幾何嵌入到MLP的初始權重中。這一工作為利用數據幾何指導神經網絡初始化提供了新思路，未來可能擴展到深層網絡和其他激活函數。此外，S-GAI的計算開銷主要集中在訓練前的SVD分解，實際訓練過程中不增加額外負擔，具有較好的實用潛力。該研究成果已在arXiv上發佈，代碼預計將開源，有望推動相關領域的進一步探索。