本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

CAWI: コピュラアライメントによるランダムニューラルネットワークの重み初期化

記事の要約

ランダムニューラルネットワーク(RdNN)はランダムな重みを固定することで効率的な学習を可能にしますが、従来の初期化では特徴間の依存関係を無視していました。CAWIはコピュラに基づく重み初期化を提案し、特徴依存性を保持することで、83のベンチマークと2つの医療データセットで性能を向上させました。

ソースarXiv Machine Learning著者: Mushir Akhtar, M. Tanveer, Mohd. Arshad
CAWI: コピュラアライメントによるランダムニューラルネットワークの重み初期化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ランダムニューラルネットワーク(RdNN)は、ランダムに初期化された入力隠れ層の重みを固定することで、逆伝播を不要にし、効率的な学習を可能にする。この重み固定により、出力層は閉形式解で求められる。しかし、従来のランダム初期化は特徴間の相関、非対称性、尾部依存を無視し、問題の条件数を悪化させ予測性能を低下させる。この限界はRdNNの文献では未解決のままである。

このギャップを埋めるため、本論文ではCAWI(Copula-Aligned Weight Initialization)フレームワークを提案する。CAWIはデータに適合したコピュラから入力隠れ層の重みをサンプリングし、固定された投影が特徴間の依存性を尊重しつつ、閉形式解の利点を損なわないようにする。手順は以下の通り:まず、経験CDFを用いて各特徴を単位区間に写像する。次に、特徴間の順位相関依存性を捉える多変量コピュラを適合する。最後に、適合されたコピュラから各重み列をサンプリングし、固定の逆周辺変換を適用してスケールを設定する。目的関数、ソルバー、「一度固定する」パラダイムは変わらず、Wのサンプリング則のみが依存性を考慮したものになる。

依存性モデリングでは、楕円族(ガウシアン、t)とアルキメデス族(Clayton、Frank、Gumbel)の2つのコピュラ族を検討する。これにより、尾部依存を含む多様な依存性を扱える。効果を検証するため、83の多様な分類ベンチマーク(二値および多クラス)と2つの生物医学データセット(BreaKHis、精神分裂病データセット)を用い、標準的な浅い・深いRdNNアーキテクチャで評価した。結果、CAWIは従来のランダム初期化を一貫して大幅に上回る予測性能を示した。

CAWIは、RdNNの本質を変えずにデータ依存性を初期重みに組み込む新しい初期化戦略を提供する。これにより、閉形式解の簡潔さを保ちつつモデル性能を向上させる。コードはGitHub(https://github.com/mtanveer1/CAWI)で公開されており、本論文はAISTATS 2026で採択された。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • RdNNはランダム重みを固定して閉形式学習を行うが、標準初期化では特徴間相関を無視。
  • CAWIはデータに適合したコピュラから重みをサンプリングし、閉形式解を保ちつつ依存性を維持。
  • 83の分類タスクと生体医療データで、ランダム初期化を一貫して上回る性能。
  • コードはGitHubで公開、論文はAISTATS 2026に採択。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。