稀疏迴歸在高維資料和機器學習中應用廣泛，但在特徵高度相關、訊號微弱且維度不斷增加的情況下，經典方法與貝葉斯方法之間的選擇一直缺乏系統性的對比。近日，一項由Hao Xiao完成的研究填補了這一空白，透過超過2600次實驗對兩種正規化進行了可重複的基準測試。
研究比較了六種方法：普通最小二乘（OLS）、嶺迴歸（Ridge）、Lasso、彈性網路（Elastic Net）以及兩種貝葉斯方法——Horseshoe先驗和Spike-and-Slab先驗。實驗採用合成資料，設定三種協方差結構（相關係數高達0.9）、四種訊雜比水平以及維度p=20、50、100，幷包含糖尿病資料集。
結果清晰揭示了不同方法的優劣。在預測誤差方面，貝葉斯方法表現突出：均方誤差（MSE）僅72，而經典方法範圍在108至267之間。特別地，Horseshoe先驗的95%後驗覆蓋率達到94.8%，接近理想名義水平；而Spike-and-Slab先驗儘管區間更窄，覆蓋率卻僅為91.9%，研究者認為其連續鬆弛是可能原因。在變數選擇上，Lasso與Spike-and-Slab的F1分數均約為0.47，使得Lasso成為不需要不確定性估計時的實際預設選擇。
這項研究強調了在真實場景中評估方法的重要性，即考慮相關性、弱訊號和維度增長。作者提供了完整的程式碼和資料，鼓勵社群進一步驗證和擴充套件這些發現。對於實踐者而言，若預測精度和不確定性量化是關鍵，貝葉斯方法（尤其是Horseshoe）值得優先考慮；若只需快速變數選擇，Lasso則提供了極佳的平衡。
此外，研究還指出，儘管貝葉斯方法在計算上更昂貴（需要幾分鐘的MCMC鏈），但在預測效能和不確定性估計方面的優勢可能超過計算成本。對於需要可靠置信區間或風險敏感的應用，這種權衡尤為重要。研究的開原始碼和詳細實驗設定為其他研究人員復現和比較提供了堅實基礎，有望推動稀疏迴歸方法的實際選擇更加科學。