稀疏回归在高维数据和机器学习中应用广泛，但在特征高度相关、信号微弱且维度不断增加的情况下，经典方法与贝叶斯方法之间的选择一直缺乏系统性的对比。近日，一项由Hao Xiao完成的研究填补了这一空白，通过超过2600次实验对两种范式进行了可重复的基准测试。
研究比较了六种方法：普通最小二乘（OLS）、岭回归（Ridge）、Lasso、弹性网络（Elastic Net）以及两种贝叶斯方法——Horseshoe先验和Spike-and-Slab先验。实验采用合成数据，设置三种协方差结构（相关系数高达0.9）、四种信噪比水平以及维度p=20、50、100，并包含糖尿病数据集。
结果清晰揭示了不同方法的优劣。在预测误差方面，贝叶斯方法表现突出：均方误差（MSE）仅72，而经典方法范围在108至267之间。特别地，Horseshoe先验的95%后验覆盖率达到94.8%，接近理想名义水平；而Spike-and-Slab先验尽管区间更窄，覆盖率却仅为91.9%，研究者认为其连续松弛是可能原因。在变量选择上，Lasso与Spike-and-Slab的F1分数均约为0.47，使得Lasso成为不需要不确定性估计时的实际默认选择。
这项研究强调了在真实场景中评估方法的重要性，即考虑相关性、弱信号和维度增长。作者提供了完整的代码和数据，鼓励社区进一步验证和扩展这些发现。对于实践者而言，若预测精度和不确定性量化是关键，贝叶斯方法（尤其是Horseshoe）值得优先考虑；若只需快速变量选择，Lasso则提供了极佳的平衡。
此外，研究还指出，尽管贝叶斯方法在计算上更昂贵（需要几分钟的MCMC链），但在预测性能和不确定性估计方面的优势可能超过计算成本。对于需要可靠置信区间或风险敏感的应用，这种权衡尤为重要。研究的开源代码和详细实验设置为其他研究人员复现和比较提供了坚实基础，有望推动稀疏回归方法的实际选择更加科学。