近年、arXivに投稿された論文「Bernstein-Schur Kernels: Random Features by Sketched Modulation and Radial Randomization」(著者Taha Bouhsine)は、バーンスタイン・シュール(Bernstein-Schur)核のための新しいランダム特徴構成を提案しています。バーンスタイン・シュール核は、有限特徴核と完全単調移動不変核の積として定義される非定常核関数のクラスであり、移動不変核と内積核の中間に位置します。そのため、従来のBochnerサンプリングや多項式スケッチ手法を直接適用することはできません。
本研究では、このクラス全体に対する統一的なランダム特徴構成を提案しています。この構成は、有限変調をスケッチし、放射因子の1次元バーンスタイン・ウィッダー(Bernstein-Widder)スケールをサンプリングした後、ガウスランダムフーリエ特徴を適用することで、両方の因子をランダム化します。特徴次元はDmであり、厳密な変調特徴に必要なO(d^2)の複雑さを回避し、線形特徴次元を実現します。
理論的保証として、変調を厳密に保つ(m→∞の極限)場合、著者らは不偏性、正確な分散、そして上位の核および変調固有値と内在次元によって制御される行列バーンスタイン作用素ノルムバウンドを証明しています。これにより、粗いN max_ij経路を回避し、より精密な理論的基盤を提供します。
さらに、リッジ回帰の文脈では、ホワイトニングにより有効次元d_eff(λ)が行列分散の正確な内在次元となります。これにより、O((1+||P||_op/λ) log(d_eff/δ))回の放射サンプリングでカーネルリッジ解を保存できます。さらに、閉形式のホワイトニングレバレッジによるチルティング(傾斜)により、複雑性を有効次元カウントO((1+d_eff) log(d_eff/δ))に最適化します。スケッチへの条件付けにより、すべての保証がデプロイされた二重ランダム化推定器に、1つの加法的スケッチ項まで拡張されます。これらの結果は、多項式グラム行列の代わりに変調グラム行列を用いることでクラス全体に適用可能です。
代表的な例(旗艦インスタンス)は、バイアス付きyat核k_{yat,b}(w,x)=(w^⊤x+b)^2/(||w-x||^2+ε)です。このカーネル族は、bの有限差分により逆多重二次核を含みます。本研究は、複雑な核関数に対するランダム特徴表現の理論的基礎と実用的方法を提供し、大規模機械学習におけるカーネル法の応用を促進することが期待されます。