跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

CAWI:基於Copula對齊的隨機神經網路權重初始化

文章摘要

隨機神經網路(RdNNs)透過凍結隨機權重實現高效的無反向傳播訓練,但傳統隨機初始化忽略了特徵間的依賴關係。CAWI提出了一種基於Copula的權重初始化方法,能夠保留特徵依賴性,在83個基準測試和兩個醫學資料集上顯著提升了預測效能。

來源arXiv Machine Learning作者: Mushir Akhtar, M. Tanveer, Mohd. Arshad
CAWI:基於Copula對齊的隨機神經網路權重初始化
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

隨機神經網路(RdNNs)透過凍結隨機初始化的輸入到隱藏層權重,避免了反向傳播,從而能夠高效訓練。這種權重凍結使得輸出層可以透過閉式解求解。然而,傳統隨機初始化方法完全獨立地生成權重,忽略了特徵之間的相關性、不對稱性和尾部依賴,導致問題條件數惡化並降低預測效能。據我們所知,這一侷限性在RdNN文獻中尚未得到解決。

為了填補這一空白,本文提出CAWI(Copula-Aligned Weight Initialization,基於Copula對齊的權重初始化)框架。CAWI從資料擬合的Copula中取樣輸入到隱藏層的權重,使得凍結的投影能夠尊重特徵間的依賴關係,同時不犧牲閉式解的優勢。具體分為三步:首先,使用經驗累積分佈函式(CDF)將每個特徵對映到單位區間;其次,擬合一個多元Copula來捕捉特徵間的秩相關依賴性;最後,從擬合的Copula中取樣每個權重列,並應用固定的逆邊際變換來設定尺度。目標函式、求解器和“凍結一次”的正規化保持不變,僅權重W的取樣律變得具有依賴性感知。

在依賴性建模方面,CAWI考慮了橢圓族(Gaussian、t)和阿基米德族(Clayton、Frank、Gumbel)兩種Copula族,能夠處理包括尾部依賴在內的多種依賴結構。為了驗證效果,研究者在83個不同的分類基準(包括二分類和多分類)以及兩個生物醫學資料集(BreaKHis和精神分裂症資料集)上,採用標準淺層和深層RdNN架構進行評估。結果表明,CAWI在預測效能上始終顯著優於傳統隨機初始化方法。

CAWI提出了一種新穎的權重初始化策略,在不改變RdNN本質的前提下,將資料依賴性融入初始權重中。這不僅提升了模型效能,還保持了閉式解的簡潔性。所有程式碼已在GitHub上公開(https://github.com/mtanveer1/CAWI),該論文已被AISTATS 2026會議接收。

展開要點與分析

文章情報

工程師進階

要點

  • RdNNs透過凍結隨機輸入權重實現閉式訓練,但標準初始化忽略了特徵間的相關性。
  • CAWI使用資料擬合的Copula取樣權重,在不影響閉式解的前提下保留特徵依賴。
  • 在83個分類任務和生物醫學資料上,CAWI一致優於隨機初始化。
  • 程式碼已在GitHub開源,論文被AISTATS 2026接收。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。