χ-sao：一種透過收斂-反收斂振盪實現多模態黑箱函式的GPU原生並行最佳化器
提出了一種名為χ-sao（Convergence-Halt-Invert-Stick-And-Oscillate）的GPU原生群體最佳化演算法，透過收斂-反收斂振盪迴圈在凍結已確認模態的同時逃離區域性陷阱。在Simon Fraser大學最佳化基準套件的42個函式上，針對維度d∈{2,4,8,16,32,64}，χ-sao在最有挑戰性的多模態函式上實現了100%的模態恢復，而所有CPU基線在d≥8時均失敗。在Michalewicz d=64上，相比盆地跳躍加速達34倍；在Rotated Hyper-Ellipsoid d=64（純GPU紅利）上加速達39倍。即使在噪聲σ_noise高達1.0時，模態檢測仍保持100%可靠。演算法已作為開源Python包釋出在PyPI上。
一種新型GPU原生並行最佳化演算法χ-sao（Convergence-Halt-Invert-Stick-And-Oscillate）近日由研究人員提出，旨在高效解決多模態黑箱函式的所有模態查詢問題。該演算法透過獨特的收斂-反收斂振盪機制，在凍結已確認模態的同時使其他樣本繼續探索，從而有效逃離區域性陷阱。與傳統方法如盆地跳躍、CMA-ES和多重啟動梯度下降不同，這些傳統方法均順序執行，無法充分利用現代GPU的大規模並行性。χ-sao則設計為同時執行整個樣本批次，並採用不對稱的結構性移動：到達真實峰值的樣本被“凍結”並保留，而其餘樣本則透過基於動量的反收斂和隨機平滑梯度繼續探索。此外，兩種互補的自適應重取樣策略——Repulse Monkey和Golden Rooster——維持了群體的多樣性，確保了演算法在高維空間中的搜尋能力。
在Simon Fraser大學最佳化基準套件的42個函式上，χ-sao在維度d∈{2,4,8,16,32,64}上進行了全面測試。結果令人矚目：在最難的多模態函式上，當d≥8時，所有CPU基線均告失敗，而χ-sao實現了100%的模態恢復。在所有方法都成功的函式上，χ-sao在Michalewicz d=64上相比盆地跳躍取得了高達34倍的加速；在單模態函式Rotated Hyper-Ellipsoid d=64上，加速比達到39倍（純GPU紅利）。需要指出的是，所有基準測試僅透過函式值評估目標（梯度透過有限差分計算），因此報告的加速比是無導數情況下的最壞情況。
χ-sao還展現出強大的噪聲魯棒性：在似然噪聲σ_noise高達1.0時，模態檢測仍保持100%可靠。該演算法的關鍵創新在於其收斂-反收斂振盪迴圈，它使演算法能夠在確認模態的同時繼續探索未搜尋區域，從而避免陷入區域性最優。這種機制在群體最佳化中具有普適性，可應用於許多需要多模態發現的領域，如貝葉斯推斷、科學計算和機器學習超引數調優。目前，該演算法已作為獨立開源Python包釋出在PyPI上，供研究者和開發者使用，並附有詳細文件和示例。