本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

バーンスタイン・シュール核:スケッチ変調と放射ランダム化によるランダム特徴

記事の要約

本論文は、有限特徴核と完全単調移動不変核の積であるバーンスタイン・シュール核に対する新しいランダム特徴構成を提案する。提案手法は、スケッチ変調と放射ランダム化を組み合わせ、線形特徴次元を達成するとともに、不偏性や作用素ノルムバウンドを含む厳密な理論的保証を提供する。このアプローチはカーネルリッジ回帰の効率を向上させ、代表的な例としてバイアス付きyatカーネルが挙げられる。

ソースarXiv Machine Learning著者: Taha Bouhsine
バーンスタイン・シュール核:スケッチ変調と放射ランダム化によるランダム特徴
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

近年、arXivに投稿された論文「Bernstein-Schur Kernels: Random Features by Sketched Modulation and Radial Randomization」(著者Taha Bouhsine)は、バーンスタイン・シュール(Bernstein-Schur)核のための新しいランダム特徴構成を提案しています。バーンスタイン・シュール核は、有限特徴核と完全単調移動不変核の積として定義される非定常核関数のクラスであり、移動不変核と内積核の中間に位置します。そのため、従来のBochnerサンプリングや多項式スケッチ手法を直接適用することはできません。

本研究では、このクラス全体に対する統一的なランダム特徴構成を提案しています。この構成は、有限変調をスケッチし、放射因子の1次元バーンスタイン・ウィッダー(Bernstein-Widder)スケールをサンプリングした後、ガウスランダムフーリエ特徴を適用することで、両方の因子をランダム化します。特徴次元はDmであり、厳密な変調特徴に必要なO(d^2)の複雑さを回避し、線形特徴次元を実現します。

理論的保証として、変調を厳密に保つ(m→∞の極限)場合、著者らは不偏性、正確な分散、そして上位の核および変調固有値と内在次元によって制御される行列バーンスタイン作用素ノルムバウンドを証明しています。これにより、粗いN max_ij経路を回避し、より精密な理論的基盤を提供します。

さらに、リッジ回帰の文脈では、ホワイトニングにより有効次元d_eff(λ)が行列分散の正確な内在次元となります。これにより、O((1+||P||_op/λ) log(d_eff/δ))回の放射サンプリングでカーネルリッジ解を保存できます。さらに、閉形式のホワイトニングレバレッジによるチルティング(傾斜)により、複雑性を有効次元カウントO((1+d_eff) log(d_eff/δ))に最適化します。スケッチへの条件付けにより、すべての保証がデプロイされた二重ランダム化推定器に、1つの加法的スケッチ項まで拡張されます。これらの結果は、多項式グラム行列の代わりに変調グラム行列を用いることでクラス全体に適用可能です。

代表的な例(旗艦インスタンス)は、バイアス付きyat核k_{yat,b}(w,x)=(w^⊤x+b)^2/(||w-x||^2+ε)です。このカーネル族は、bの有限差分により逆多重二次核を含みます。本研究は、複雑な核関数に対するランダム特徴表現の理論的基礎と実用的方法を提供し、大規模機械学習におけるカーネル法の応用を促進することが期待されます。

要点と分析を開く

記事インテリジェンス

研究者上級

要点

  • バーンスタイン・シュール核は移動不変核と内積核の両方を一般化する非定常核である。
  • 提案されたランダム特徴構成は、変調のスケッチと放射スケールのサンプリングにより二次元性を回避し、特徴次元Dmを達成する。
  • 理論的保証には、不偏性、正確な分散、カーネル固有値と内在次元によって制御される行列バーンスタイン作用素ノルムバウンドが含まれる。
  • カーネルリッジ回帰への応用により、ホワイトニングとチルティングを介したサンプル複雑性の改善が得られ、代表例はバイアス付きyatカーネルである。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。