近日,一篇题为《Bernstein-Schur Kernels: Random Features by Sketched Modulation and Radial Randomization》的论文在arXiv上发布,作者Taha Bouhsine提出了一种针对伯恩斯坦-舒尔(Bernstein-Schur)核的新型随机特征构造方法,该类核是一类重要的非平稳核函数,由有限特征核与完全单调平移不变核相乘得到。这类核介于平移不变核和点积核之间,因此传统的Bochner采样或多项式草图方法无法直接应用于整个核。
针对这一挑战,论文给出了一种统一的随机特征构造方法,同时随机化两个因子:对有限调制进行草图化(sketching),并利用一维伯恩斯坦-维德(Bernstein-Widder)尺度对径向因子进行采样,然后应用高斯随机傅里叶特征。该方法得到的特征维度为Dm,避免了精确调制特征所需的O(d^2)复杂度,实现了线性特征维度。
在理论保证方面,当调制保持精确(m趋于无穷时),作者证明了估计的无偏性,给出了精确方差表达式,并推导出矩阵-伯恩斯坦算子范数界。该界限由核和调制特征值以及一个内在维度控制,而不是粗糙的N max_ij途径,从而提供了更精细的理论保证。
进一步,在核岭回归场景中,作者通过白化参数,使有效维度d_eff(λ)成为矩阵方差的精确内在维度。基于此,只需O((1+||P||_op/λ) log(d_eff/δ))次径向采样即可保持核岭解。此外,通过闭式白化杠杆倾斜采样,可将复杂度优化至有效维度计数O((1+d_eff) log(d_eff/δ)),显著提高了计算效率。所有理论保证通过条件化处理扩展到部署的双随机估计器,仅增加一个加性草图项,且整个结论对类中所有核成立,只需将调制格拉姆矩阵替换多项式格拉姆矩阵。
论文的旗舰实例是有偏yat核k_{yat,b}(w,x)=(w^⊤x+b)^2/(||w-x||^2+ε),该族通过b的有限差分包含逆多二次核。这项工作为复杂核函数的随机特征表示提供了理论基础和实用方法,有望推动核方法在大规模机器学习中的应用。