相関ノイズを用いたDP-SGDで学習されたコルモゴロフ・アーノルドネットワークの母集団リスク境界
研究者らは、ミニバッチSGDと勾配クリッピングで学習されたKolmogorov-Arnoldネットワーク（KAN）に対して、非プライベートSGDと、独立および時間的に相関したガウスノイズを用いた差分プライベートSGD（DP-SGD）の両方をカバーする初めての母集団リスク境界を確立した。この研究は、非凸設定における相関ノイズDP学習のための新しい解析経路を導入し、従来の研究よりも鋭い境界を達成している。
最近、arXivに投稿された論文（arXiv:2605.12648）で、Kolmogorov-Arnoldネットワーク（KAN）をミニバッチ確率的勾配降下法（SGD）と勾配クリッピングで学習した場合の母集団リスクに関する厳密な境界が初めて確立されました。この研究はPuyu Wang氏を含む7名の著者によって行われ、2026年5月12日に提出されました。研究では、非プライベートSGDだけでなく、独立および時間的に相関したガウスノイズを導入した差分プライベートSGD（DP-SGD）もカバーしています。この設定は、実用面で従来のKAN理論よりも現実に近いものです。第一に、トレーニングはフルバッチ勾配降下法（GD）ではなく、現代のネットワークの標準的な手法であるミニバッチSGDが使用されています。第二に、経験的に相関ノイズ機構は独立ノイズ機構よりもプライバシーとユーティリティのトレードオフが良好であることが示されています。
論文の結果は、Wangら（2026）によるKANのフルバッチGDおよび独立ノイズDP-GDの結果を包含し、固定された第二層に対してよりシャープな特殊化を提供しています。技術的な核心は、非凸領域における相関ノイズDP学習のための新しい解析経路です。時間依存性は、標準的な1ステップSGDの議論の基礎となる条件付きセンタリング構造を破壊し、投影ステップは相関摂動の正確な打ち消し構造を妨げます。これらの困難に対処するため、研究者らは補助的な非投影ダイナミクス、現在のノイズ摂動を吸収するシフトされた反復、および高確率で投影の非アクティブ性を保証するブートストラップを導入しました。具体的には、投影ステップの複雑さを回避するために非投影の補助プロセスを設計し、シフト反復により現在のノイズ摂動を吸収して条件付きセンタリングを回復しました。最後に、高確率ブートストラップを用いて投影ステップがほとんどの時間非アクティブであることを証明し、解析の有効性を確保しました。
この最適化解析と安定性に基づく一般化議論を組み合わせることで、提示された母集団リスク境界が得られました。研究者らによると、これは凸学習以外、特にニューラルネットワークにおいて、DPトレーニングの相関ノイズ機構に対する初めての最適化および母集団リスク解析です。この研究は、自然言語処理やコンピュータビジョンなどの分野での差分プライバシーモデルトレーニングにおいて、相関ノイズ機構がプライバシーとモデルユーティリティのより良いバランスを実現する可能性を示す理論的基盤を提供します。