スパース回帰は高次元データや機械学習で広く使われるが、特徴量が強く相関し、信号が弱く、次元が増大する現実的な条件下では、古典的手法とベイズ的手法の選択は難しい。今回、Hao Xiao氏による研究が、2600以上の実験を通じて両パラダイムの体系的な比較を行った。
比較された手法は、OLS、リッジ、Lasso、エラスティックネット、そしてベイズ法であるHorseshoeとSpike-and-Slab。合成データでは、相関係数が最大0.9の共分散構造、4つのSNRレベル、次元p=20,50,100を設定し、さらに糖尿病データセットも使用した。
結果は明確で、予測誤差ではベイズ法が優位：平均二乗誤差（MSE）は72であるのに対し、古典的手法は108～267の範囲だった。特にHorseshoeは95%信用区間のカバレッジが94.8%と名目値をほぼ達成。一方Spike-and-Slabは区間が狭いもののカバレッジは91.9%にとどまり、連続緩和が原因とされる。変数選択では、LassoとSpike-and-SlabのF1スコアが約0.47で拮抗しており、事後分布が必要ない場合、Lassoが実用的なデフォルトとなる。
この研究は、相関、弱信号、次元増加を考慮した現実的な評価の重要性を示し、コミュニティが検証・拡張できるようコードとデータを公開している。実践者にとって、予測精度と不確実性評価が重要な場合はベイズ法（特にHorseshoe）が推奨され、高速な変数選択が目的ならLassoが優れたバランスを提供する。
さらに、ベイズ法は計算コストが高い（MCMCに数分かかる）ものの、予測性能と不確実性評価の利点がそれを上回る可能性がある。特に信頼できる区間やリスク感受性の高い応用では、このトレードオフが重要となる。研究のオープンソースコードと詳細な実験設定は、再現性を確保し、スパース回帰手法の選択をより科学的にするための基盤を提供している。