跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

χ-sao:一種透過收斂-反收斂振盪實現多模態黑箱函式的GPU原生並行最佳化器

文章摘要

提出了一種名為χ-sao(Convergence-Halt-Invert-Stick-And-Oscillate)的GPU原生群體最佳化演算法,透過收斂-反收斂振盪迴圈在凍結已確認模態的同時逃離區域性陷阱。在Simon Fraser大學最佳化基準套件的42個函式上,針對維度d∈{2,4,8,16,32,64},χ-sao在最有挑戰性的多模態函式上實現了100%的模態恢復,而所有CPU基線在d≥8時均失敗。在Michalewicz d=64上,相比盆地跳躍加速達34倍;在Rotated Hyper-Ellipsoid d=64(純GPU紅利)上加速達39倍。即使在噪聲σ_noise高達1.0時,模態檢測仍保持100%可靠。演算法已作為開源Python包釋出在PyPI上。

來源arXiv Machine Learning作者: Ira Wolfson
χ-sao:一種透過收斂-反收斂振盪實現多模態黑箱函式的GPU原生並行最佳化器
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

一種新型GPU原生並行最佳化演算法χ-sao(Convergence-Halt-Invert-Stick-And-Oscillate)近日由研究人員提出,旨在高效解決多模態黑箱函式的所有模態查詢問題。該演算法透過獨特的收斂-反收斂振盪機制,在凍結已確認模態的同時使其他樣本繼續探索,從而有效逃離區域性陷阱。與傳統方法如盆地跳躍、CMA-ES和多重啟動梯度下降不同,這些傳統方法均順序執行,無法充分利用現代GPU的大規模並行性。χ-sao則設計為同時執行整個樣本批次,並採用不對稱的結構性移動:到達真實峰值的樣本被“凍結”並保留,而其餘樣本則透過基於動量的反收斂和隨機平滑梯度繼續探索。此外,兩種互補的自適應重取樣策略——Repulse Monkey和Golden Rooster——維持了群體的多樣性,確保了演算法在高維空間中的搜尋能力。

在Simon Fraser大學最佳化基準套件的42個函式上,χ-sao在維度d∈{2,4,8,16,32,64}上進行了全面測試。結果令人矚目:在最難的多模態函式上,當d≥8時,所有CPU基線均告失敗,而χ-sao實現了100%的模態恢復。在所有方法都成功的函式上,χ-sao在Michalewicz d=64上相比盆地跳躍取得了高達34倍的加速;在單模態函式Rotated Hyper-Ellipsoid d=64上,加速比達到39倍(純GPU紅利)。需要指出的是,所有基準測試僅透過函式值評估目標(梯度透過有限差分計算),因此報告的加速比是無導數情況下的最壞情況。

χ-sao還展現出強大的噪聲魯棒性:在似然噪聲σ_noise高達1.0時,模態檢測仍保持100%可靠。該演算法的關鍵創新在於其收斂-反收斂振盪迴圈,它使演算法能夠在確認模態的同時繼續探索未搜尋區域,從而避免陷入區域性最優。這種機制在群體最佳化中具有普適性,可應用於許多需要多模態發現的領域,如貝葉斯推斷、科學計算和機器學習超引數調優。目前,該演算法已作為獨立開源Python包釋出在PyPI上,供研究者和開發者使用,並附有詳細文件和示例。

展開要點與分析

文章情報

工程師進階

要點

  • χ-sao是首個利用收斂-反收斂振盪的GPU原生並行最佳化器,能同時執行整個樣本批次。
  • 在Simon Fraser大學基準套件的所有42個函式上,χ-sao在多模態函式維度≥8時實現100%模態恢復,遠超CPU基線。
  • 相比盆地跳躍,取得高達34倍(Michalewicz d=64)和39倍(Rotated Hyper-Ellipsoid d=64)的加速。
  • 演算法對高達σ_noise=1.0的噪聲具有魯棒性,且已作為開源Python包釋出。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。