隨機神經網絡(RdNNs)通過凍結隨機初始化的輸入到隱藏層權重,避免了反向傳播,從而能夠高效訓練。這種權重凍結使得輸出層可以通過閉式解求解。然而,傳統隨機初始化方法完全獨立地生成權重,忽略了特徵之間的相關性、不對稱性和尾部依賴,導致問題條件數惡化並降低預測性能。據我們所知,這一侷限性在RdNN文獻中尚未得到解決。
為了填補這一空白,本文提出CAWI(Copula-Aligned Weight Initialization,基於Copula對齊的權重初始化)框架。CAWI從數據擬合的Copula中採樣輸入到隱藏層的權重,使得凍結的投影能夠尊重特徵間的依賴關係,同時不犧牲閉式解的優勢。具體分為三步:首先,使用經驗累積分佈函數(CDF)將每個特徵映射到單位區間;其次,擬合一個多元Copula來捕捉特徵間的秩相關依賴性;最後,從擬合的Copula中採樣每個權重列,並應用固定的逆邊際變換來設置尺度。目標函數、求解器和“凍結一次”的範式保持不變,僅權重W的採樣律變得具有依賴性感知。
在依賴性建模方面,CAWI考慮了橢圓族(Gaussian、t)和阿基米德族(Clayton、Frank、Gumbel)兩種Copula族,能夠處理包括尾部依賴在內的多種依賴結構。為了驗證效果,研究者在83個不同的分類基準(包括二分類和多分類)以及兩個生物醫學數據集(BreaKHis和精神分裂症數據集)上,採用標準淺層和深層RdNN架構進行評估。結果表明,CAWI在預測性能上始終顯著優於傳統隨機初始化方法。
CAWI提出了一種新穎的權重初始化策略,在不改變RdNN本質的前提下,將數據依賴性融入初始權重中。這不僅提升了模型性能,還保持了閉式解的簡潔性。所有代碼已在GitHub上公開(https://github.com/mtanveer1/CAWI),該論文已被AISTATS 2026會議接收。