貝葉斯優化(Bayesian Optimization)是一種廣泛應用於昂貴黑箱優化問題的有效方法,尤其在機器學習超參數調優、自動化機器學習等領域中發揮着關鍵作用。然而,其成功與否往往高度依賴於所選核函數是否匹配目標函數的未知結構。傳統的核函數如高斯核、馬特恩核等,雖然具有較好的平滑性假設,但在面對具有不同平滑度或包含尖鋭不規則性的目標函數時,可能無法提供理想的建模能力。針對這一核心挑戰,Weibo Huang及其合作者提出了一種名為ALAS(Additive Learnable Alpha-Stable Kernels,可加性可學習阿爾法穩定核)的全新高斯過程核函數族,為這一難題提供了創新解決方案。
ALAS核函數族的構建基礎是對稱α穩定譜分量。α穩定分佈是一類具有厚尾性質的分佈族,其穩定性參數α控制了分佈的尾重程度,從而影響隨機過程的樣本路徑平滑度。通過將這一性質引入高斯過程的譜表示,ALAS能夠通過學習參數α,自適應地從數據中確定最合適的有效平滑度,從而同時捕捉目標函數中的平滑趨勢和尖鋭不規則性。這種靈活性使得ALAS在無需先驗知識的情況下,能夠自動適應各種複雜的目標函數結構。
該研究提出了兩種參數化方法:ALAS和ALAS-Sep。ALAS是單一平穩分量,採用聯合譜調製,適用於一般的平穩目標函數。而ALAS-Sep是可分離變體,它允許每個輸入維度學習獨立的尾部行為參數,從而對近似可分解的目標函數具有更好的魯棒性。這種維度級的靈活性在處理高維優化問題時尤為關鍵,因為不同維度可能表現出截然不同的平滑特性。
在實驗部分,作者在標準基準測試函數和真實世界代理函數上進行了廣泛評估。基準測試包括常見的優化測試函數,如Branin、Hartmann、Rosenbrock等;真實世界代理則涉及機器人控制、材料設計等領域的實際問題。實驗結果表明,ALAS及其變體在多種設置下均展現出強大而穩健的性能,無論是在預測精度還是在優化收斂速度上,都顯著優於或至少不遜於現有的先進核函數選擇方法。尤其值得注意的是,ALAS-Sep在目標函數具有可分解結構的場景中表現尤為突出。
此項工作的意義不僅在於提供了一種新的核函數家族,更在於它為貝葉斯優化中的核選擇問題提供了一個自動化且靈活的解決方案。以往實踐中,核函數的選擇往往依賴於人工經驗或繁瑣的交叉驗證,而ALAS通過學習的方式自動適配數據特徵,大大降低了使用者的技術門檻。未來,該工作有望推動貝葉斯優化在更廣泛的複雜優化任務中的應用,並激發更多關於自適應核函數設計的研究。目前,該論文已提交至arXiv平台,作者也提供了相關的代碼和數據,便於社區復現和進一步探索。