貝葉斯最佳化(Bayesian Optimization)是一種廣泛應用於昂貴黑箱最佳化問題的有效方法,尤其在機器學習超引數調優、自動化機器學習等領域中發揮著關鍵作用。然而,其成功與否往往高度依賴於所選核函式是否匹配目標函式的未知結構。傳統的核函式如高斯核、馬特恩核等,雖然具有較好的平滑性假設,但在面對具有不同平滑度或包含尖銳不規則性的目標函式時,可能無法提供理想的建模能力。針對這一核心挑戰,Weibo Huang及其合作者提出了一種名為ALAS(Additive Learnable Alpha-Stable Kernels,可加性可學習阿爾法穩定核)的全新高斯過程核函式族,為這一難題提供了創新解決方案。
ALAS核函式族的構建基礎是對稱α穩定譜分量。α穩定分佈是一類具有厚尾性質的分佈族,其穩定性引數α控制了分佈的尾重程度,從而影響隨機過程的樣本路徑平滑度。透過將這一性質引入高斯過程的譜表示,ALAS能夠透過學習引數α,自適應地從資料中確定最合適的有效平滑度,從而同時捕捉目標函式中的平滑趨勢和尖銳不規則性。這種靈活性使得ALAS在無需先驗知識的情況下,能夠自動適應各種複雜的目標函式結構。
該研究提出了兩種引數化方法:ALAS和ALAS-Sep。ALAS是單一平穩分量,採用聯合譜調變,適用於一般的平穩目標函式。而ALAS-Sep是可分離變體,它允許每個輸入維度學習獨立的尾部行為引數,從而對近似可分解的目標函式具有更好的魯棒性。這種維度級的靈活性在處理高維最佳化問題時尤為關鍵,因為不同維度可能表現出截然不同的平滑特性。
在實驗部分,作者在標準基準測試函式和真實世界代理函式上進行了廣泛評估。基準測試包括常見的最佳化測試函式,如Branin、Hartmann、Rosenbrock等;真實世界代理則涉及機器人控制、材料設計等領域的實際問題。實驗結果表明,ALAS及其變體在多種設定下均展現出強大而穩健的效能,無論是在預測精度還是在最佳化收斂速度上,都顯著優於或至少不遜於現有的先進核函式選擇方法。尤其值得注意的是,ALAS-Sep在目標函式具有可分解結構的場景中表現尤為突出。
此項工作的意義不僅在於提供了一種新的核函式家族,更在於它為貝葉斯最佳化中的核選擇問題提供了一個自動化且靈活的解決方案。以往實踐中,核函式的選擇往往依賴於人工經驗或繁瑣的交叉驗證,而ALAS透過學習的方式自動適配資料特徵,大大降低了使用者的技術門檻。未來,該工作有望推動貝葉斯最佳化在更廣泛的複雜最佳化任務中的應用,並激發更多關於自適應核函式設計的研究。目前,該論文已提交至arXiv平臺,作者也提供了相關的程式碼和資料,便於社群復現和進一步探索。