跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

χ-sao:一种通过收敛-反收敛振荡实现多模态黑箱函数的GPU原生并行优化器

文章摘要

提出了一种名为χ-sao(Convergence-Halt-Invert-Stick-And-Oscillate)的GPU原生群体优化算法,通过收敛-反收敛振荡循环在冻结已确认模态的同时逃离局部陷阱。在Simon Fraser大学优化基准套件的42个函数上,针对维度d∈{2,4,8,16,32,64},χ-sao在最有挑战性的多模态函数上实现了100%的模态恢复,而所有CPU基线在d≥8时均失败。在Michalewicz d=64上,相比盆地跳跃加速达34倍;在Rotated Hyper-Ellipsoid d=64(纯GPU红利)上加速达39倍。即使在噪声σ_noise高达1.0时,模态检测仍保持100%可靠。算法已作为开源Python包发布在PyPI上。

来源arXiv Machine Learning作者: Ira Wolfson
χ-sao:一种通过收敛-反收敛振荡实现多模态黑箱函数的GPU原生并行优化器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

一种新型GPU原生并行优化算法χ-sao(Convergence-Halt-Invert-Stick-And-Oscillate)近日由研究人员提出,旨在高效解决多模态黑箱函数的所有模态查找问题。该算法通过独特的收敛-反收敛振荡机制,在冻结已确认模态的同时使其他样本继续探索,从而有效逃离局部陷阱。与传统方法如盆地跳跃、CMA-ES和多重启动梯度下降不同,这些传统方法均顺序运行,无法充分利用现代GPU的大规模并行性。χ-sao则设计为同时运行整个样本批次,并采用不对称的结构性移动:到达真实峰值的样本被“冻结”并保留,而其余样本则通过基于动量的反收敛和随机平滑梯度继续探索。此外,两种互补的自适应重采样策略——Repulse Monkey和Golden Rooster——维持了群体的多样性,确保了算法在高维空间中的搜索能力。

在Simon Fraser大学优化基准套件的42个函数上,χ-sao在维度d∈{2,4,8,16,32,64}上进行了全面测试。结果令人瞩目:在最难的多模态函数上,当d≥8时,所有CPU基线均告失败,而χ-sao实现了100%的模态恢复。在所有方法都成功的函数上,χ-sao在Michalewicz d=64上相比盆地跳跃取得了高达34倍的加速;在单模态函数Rotated Hyper-Ellipsoid d=64上,加速比达到39倍(纯GPU红利)。需要指出的是,所有基准测试仅通过函数值评估目标(梯度通过有限差分计算),因此报告的加速比是无导数情况下的最坏情况。

χ-sao还展现出强大的噪声鲁棒性:在似然噪声σ_noise高达1.0时,模态检测仍保持100%可靠。该算法的关键创新在于其收敛-反收敛振荡循环,它使算法能够在确认模态的同时继续探索未搜索区域,从而避免陷入局部最优。这种机制在群体优化中具有普适性,可应用于许多需要多模态发现的领域,如贝叶斯推断、科学计算和机器学习超参数调优。目前,该算法已作为独立开源Python包发布在PyPI上,供研究者和开发者使用,并附有详细文档和示例。

展开要点与分析

文章情报

工程师进阶

要点

  • χ-sao是首个利用收敛-反收敛振荡的GPU原生并行优化器,能同时运行整个样本批次。
  • 在Simon Fraser大学基准套件的所有42个函数上,χ-sao在多模态函数维度≥8时实现100%模态恢复,远超CPU基线。
  • 相比盆地跳跃,取得高达34倍(Michalewicz d=64)和39倍(Rotated Hyper-Ellipsoid d=64)的加速。
  • 算法对高达σ_noise=1.0的噪声具有鲁棒性,且已作为开源Python包发布。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。