估计分布算法(Estimation-of-distribution algorithms,EDA)是一类重要的进化优化方法,特别适合在目标函数结构几乎未知的黑箱场景中使用。传统进化算法依赖人工设计的变异与交叉算子,而这些算子针对未知问题结构难以设计,且容易引入偏差。EDA 则完全绕开了算子设计:它把概率分布拟合到表现最好的个体上,再从该分布采样下一代。EDA 在连续参数空间上已经相当成熟,但此前尚未推广到稀疏参数空间——在这类空间中,优质解的绝大多数系数恰好为零。
这一空白导致现有的稀疏黑箱优化器重新引入了 EDA 原本想要避免的东西:手工打造的稀疏算子、在支撑集与活跃值之间交替的双层方案、置零阈值以及其他预先设定的假设。由 Andreas Faust 等三位作者提交、编号 arXiv:2606.19369 的论文正是针对这一缺口展开研究,论文于 2026 年 6 月 11 日提交,归入机器学习(cs.LG)与人工智能(cs.AI)分类。
作者的解决方案是提出多变量零膨胀高斯(zero-inflated Gaussian,ZIG)分布,作为 EDA 的采样律。该模型采用带有独立指示维与数值维的潜高斯模型,用以表示稀疏模式、活跃参数之间的相关性,以及这两者之间的交互作用。由此,稀疏模式与活跃值可以联合优化,不需要层级结构,也不需要人工设定的置零阈值。
论文还给出了一项理论结果:与相关构造最初来源的缺失数据场景不同,该模型的潜参数可以从观测样本中被辨识出来。为了在实践中利用这一点,作者引入了基于摊销反演的估计器(amortized inversion-based estimators)。实验显示,这些估计器能够准确恢复潜在的相���结构。
在 Lunar Lander 基准上的评估中,由 ZIG-EDA 得到的算法收敛速度快于稠密高斯 EDA、手工设计的稀疏进化算法以及一种临时的稀疏 EDA,并达到更高的最终回报;同时,它找到的控制器只激活了很小一部分参数。这一结果说明,直接在采样分布中编码稀疏性,是一条可行且有效的稀疏黑箱优化路径。