χ-sao：一種通過收斂-反收斂振盪實現多模態黑箱函數的GPU原生並行優化器
提出了一種名為χ-sao（Convergence-Halt-Invert-Stick-And-Oscillate）的GPU原生羣體優化算法，通過收斂-反收斂振盪循環在凍結已確認模態的同時逃離局部陷阱。在Simon Fraser大學優化基準套件的42個函數上，針對維度d∈{2,4,8,16,32,64}，χ-sao在最有挑戰性的多模態函數上實現了100%的模態恢復，而所有CPU基線在d≥8時均失敗。在Michalewicz d=64上，相比盆地跳躍加速達34倍；在Rotated Hyper-Ellipsoid d=64（純GPU紅利）上加速達39倍。即使在噪聲σ_noise高達1.0時，模態檢測仍保持100%可靠。算法已作為開源Python包發佈在PyPI上。
一種新型GPU原生並行優化算法χ-sao（Convergence-Halt-Invert-Stick-And-Oscillate）近日由研究人員提出，旨在高效解決多模態黑箱函數的所有模態查找問題。該算法通過獨特的收斂-反收斂振盪機制，在凍結已確認模態的同時使其他樣本繼續探索，從而有效逃離局部陷阱。與傳統方法如盆地跳躍、CMA-ES和多重啓動梯度下降不同，這些傳統方法均順序運行，無法充分利用現代GPU的大規模並行性。χ-sao則設計為同時運行整個樣本批次，並採用不對稱的結構性移動：到達真實峯值的樣本被“凍結”並保留，而其餘樣本則通過基於動量的反收斂和隨機平滑梯度繼續探索。此外，兩種互補的自適應重採樣策略——Repulse Monkey和Golden Rooster——維持了羣體的多樣性，確保了算法在高維空間中的搜索能力。
在Simon Fraser大學優化基準套件的42個函數上，χ-sao在維度d∈{2,4,8,16,32,64}上進行了全面測試。結果令人矚目：在最難的多模態函數上，當d≥8時，所有CPU基線均告失敗，而χ-sao實現了100%的模態恢復。在所有方法都成功的函數上，χ-sao在Michalewicz d=64上相比盆地跳躍取得了高達34倍的加速；在單模態函數Rotated Hyper-Ellipsoid d=64上，加速比達到39倍（純GPU紅利）。需要指出的是，所有基準測試僅通過函數值評估目標（梯度通過有限差分計算），因此報告的加速比是無導數情況下的最壞情況。
χ-sao還展現出強大的噪聲魯棒性：在似然噪聲σ_noise高達1.0時，模態檢測仍保持100%可靠。該算法的關鍵創新在於其收斂-反收斂振盪循環，它使算法能夠在確認模態的同時繼續探索未搜索區域，從而避免陷入局部最優。這種機制在羣體優化中具有普適性，可應用於許多需要多模態發現的領域，如貝葉斯推斷、科學計算和機器學習超參數調優。目前，該算法已作為獨立開源Python包發佈在PyPI上，供研究者和開發者使用，並附有詳細文檔和示例。