跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

ALAS:用於靈活貝葉斯優化的可加性可學習阿爾法穩定核

文章摘要

提出了一種基於對稱阿爾法穩定譜分量的靈活高斯過程核族ALAS,通過學習穩定參數α自動適應數據平滑程度,可同時捕捉平滑趨勢和尖鋭不規則性。包含兩種變體:ALAS(單一平穩分量)和ALAS-Sep(可分離變體),在多個基準和真實世界代理上表現強勁。

來源arXiv Machine Learning作者: Weibo Huang, Cheng Hua
ALAS:用於靈活貝葉斯優化的可加性可學習阿爾法穩定核
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

貝葉斯優化(Bayesian Optimization)是一種廣泛應用於昂貴黑箱優化問題的有效方法,尤其在機器學習超參數調優、自動化機器學習等領域中發揮着關鍵作用。然而,其成功與否往往高度依賴於所選核函數是否匹配目標函數的未知結構。傳統的核函數如高斯核、馬特恩核等,雖然具有較好的平滑性假設,但在面對具有不同平滑度或包含尖鋭不規則性的目標函數時,可能無法提供理想的建模能力。針對這一核心挑戰,Weibo Huang及其合作者提出了一種名為ALAS(Additive Learnable Alpha-Stable Kernels,可加性可學習阿爾法穩定核)的全新高斯過程核函數族,為這一難題提供了創新解決方案。

ALAS核函數族的構建基礎是對稱α穩定譜分量。α穩定分佈是一類具有厚尾性質的分佈族,其穩定性參數α控制了分佈的尾重程度,從而影響隨機過程的樣本路徑平滑度。通過將這一性質引入高斯過程的譜表示,ALAS能夠通過學習參數α,自適應地從數據中確定最合適的有效平滑度,從而同時捕捉目標函數中的平滑趨勢和尖鋭不規則性。這種靈活性使得ALAS在無需先驗知識的情況下,能夠自動適應各種複雜的目標函數結構。

該研究提出了兩種參數化方法:ALAS和ALAS-Sep。ALAS是單一平穩分量,採用聯合譜調製,適用於一般的平穩目標函數。而ALAS-Sep是可分離變體,它允許每個輸入維度學習獨立的尾部行為參數,從而對近似可分解的目標函數具有更好的魯棒性。這種維度級的靈活性在處理高維優化問題時尤為關鍵,因為不同維度可能表現出截然不同的平滑特性。

在實驗部分,作者在標準基準測試函數和真實世界代理函數上進行了廣泛評估。基準測試包括常見的優化測試函數,如Branin、Hartmann、Rosenbrock等;真實世界代理則涉及機器人控制、材料設計等領域的實際問題。實驗結果表明,ALAS及其變體在多種設置下均展現出強大而穩健的性能,無論是在預測精度還是在優化收斂速度上,都顯著優於或至少不遜於現有的先進核函數選擇方法。尤其值得注意的是,ALAS-Sep在目標函數具有可分解結構的場景中表現尤為突出。

此項工作的意義不僅在於提供了一種新的核函數家族,更在於它為貝葉斯優化中的核選擇問題提供了一個自動化且靈活的解決方案。以往實踐中,核函數的選擇往往依賴於人工經驗或繁瑣的交叉驗證,而ALAS通過學習的方式自動適配數據特徵,大大降低了使用者的技術門檻。未來,該工作有望推動貝葉斯優化在更廣泛的複雜優化任務中的應用,並激發更多關於自適應核函數設計的研究。目前,該論文已提交至arXiv平台,作者也提供了相關的代碼和數據,便於社區復現和進一步探索。

展開要點與分析

文章情報

研究者進階

要點

  • ALAS通過可學習的α穩定核實現貝葉斯優化中核函數的自動適配。
  • ALAS-Sep變體學習維度級尾部行為,提升對近似可分解目標的魯棒性。
  • 實驗證明ALAS在多種環境下具有穩定且優異的性能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。