經典萬能逼近定理早已證明，Sigmoid多層感知機（MLP）具有強大的表達能力，但如何為網路權重賦予初始值，使其能夠編碼資料分佈的幾何結構，這一直是一個懸而未決的問題。來自研究者Yi-Shan Chu的最新工作提出了S-GAI（Spectral Geometry-Aware Initialization），一種針對單隱層Sigmoid MLP的譜幾何感知初始化框架，旨在從資料集的幾何特性出發，為網路提供更優的起點。
S-GAI的核心思想源於將Sigmoid單元視為平滑的半空間門控。傳統方法常依賴手工指定的平面幾何，而S-GAI則轉向從影像資料中估計的類別譜幾何。具體而言，對於每個類別，該方法透過奇異值分解（SVD）計算均值、主方向以及譜尺度。隨後，利用能量閾值篩選出最重要的方向，每個保留方向由兩個Sigmoid門表示。這些類別特定的門組合成一個共享的隱藏層，其權重直接由訓練集初始化，從而將資料幾何結構嵌入網路。
為了驗證所估計的譜類別幾何是否已具備判別性，研究者還設計了一個基於SVD的子空間分類器作為非神經網路的幾何參考。實驗在MNIST、Fashion-MNIST以及更具挑戰性的CIFAR-10資料集上進行。結果顯示，採用S-GAI初始化的MLP，其隱藏狀態從一開始就比Xavier初始化包含更多資訊；在完整訓練後，兩者能達到相近的最終準確率。特別地，當隱藏層被凍結、僅訓練輸出層時，S-GAI初始化的網路效能顯著優於使用隨機門的凍結隱層，這有力證明了S-GAI能夠有效地將類別譜幾何嵌入到MLP的初始權重中。這一工作為利用資料幾何指導神經網路初始化提供了新思路，未來可能擴充套件到深層網路和其他啟用函式。此外，S-GAI的計算開銷主要集中在訓練前的SVD分解，實際訓練過程中不增加額外負擔，具有較好的實用潛力。該研究成果已在arXiv上釋出，程式碼預計將開源，有望推動相關領域的進一步探索。