跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

伯恩斯坦-舒尔核:通过草图调制和径向随机化的随机特征

文章摘要

本文提出了一种针对伯恩斯坦-舒尔核的新型随机特征构造方法,该类核是有限特征核与完全单调平移不变核的乘积。该方法结合了草图调制和径向随机化,实现了线性特征维度,同时提供了包括无偏性和算子范数界在内的严格理论保证。该方法在核岭回归中提高了效率,旗舰实例是有偏yat核。

来源arXiv Machine Learning作者: Taha Bouhsine
伯恩斯坦-舒尔核:通过草图调制和径向随机化的随机特征
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为《Bernstein-Schur Kernels: Random Features by Sketched Modulation and Radial Randomization》的论文在arXiv上发布,作者Taha Bouhsine提出了一种针对伯恩斯坦-舒尔(Bernstein-Schur)核的新型随机特征构造方法,该类核是一类重要的非平稳核函数,由有限特征核与完全单调平移不变核相乘得到。这类核介于平移不变核和点积核之间,因此传统的Bochner采样或多项式草图方法无法直接应用于整个核。

针对这一挑战,论文给出了一种统一的随机特征构造方法,同时随机化两个因子:对有限调制进行草图化(sketching),并利用一维伯恩斯坦-维德(Bernstein-Widder)尺度对径向因子进行采样,然后应用高斯随机傅里叶特征。该方法得到的特征维度为Dm,避免了精确调制特征所需的O(d^2)复杂度,实现了线性特征维度。

在理论保证方面,当调制保持精确(m趋于无穷时),作者证明了估计的无偏性,给出了精确方差表达式,并推导出矩阵-伯恩斯坦算子范数界。该界限由核和调制特征值以及一个内在维度控制,而不是粗糙的N max_ij途径,从而提供了更精细的理论保证。

进一步,在核岭回归场景中,作者通过白化参数,使有效维度d_eff(λ)成为矩阵方差的精确内在维度。基于此,只需O((1+||P||_op/λ) log(d_eff/δ))次径向采样即可保持核岭解。此外,通过闭式白化杠杆倾斜采样,可将复杂度优化至有效维度计数O((1+d_eff) log(d_eff/δ)),显著提高了计算效率。所有理论保证通过条件化处理扩展到部署的双随机估计器,仅增加一个加性草图项,且整个结论对类中所有核成立,只需将调制格拉姆矩阵替换多项式格拉姆矩阵。

论文的旗舰实例是有偏yat核k_{yat,b}(w,x)=(w^⊤x+b)^2/(||w-x||^2+ε),该族通过b的有限差分包含逆多二次核。这项工作为复杂核函数的随机特征表示提供了理论基础和实用方法,有望推动核方法在大规模机器学习中的应用。

展开要点与分析

文章情报

研究者进阶

要点

  • 伯恩斯坦-舒尔核推广了平移不变核和点积核,是非平稳核函数。
  • 提出的随机特征构造通过草图调制和径向采样避免了二次维度,特征维度为Dm。
  • 理论保证包括无偏性、精确方差和矩阵-伯恩斯坦算子范数界,由核和调制特征值以及内在维度控制。
  • 在核岭回归中,通过白化和倾斜,样本复杂度得到改善,旗舰实例为有偏yat核。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。