跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

零膨胀高斯分布实现估计分布算法中的参数空间稀疏性

文章摘要

一篇新论文提出将多变量零膨胀高斯(ZIG)分布用作估计分布算法(EDA)的采样律,使稀疏模式与活跃参数值能够联合优化,从而无需手工设计的稀疏算子。在 Lunar Lander 基准上,ZIG-EDA 收敛更快、最终回报更高,且仅需极小比例的活跃参数。

来源arXiv Machine Learning作者: Andreas Faust, Sven Nitzsche, Juergen Becker
零膨胀高斯分布实现估计分布算法中的参数空间稀疏性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

估计分布算法(Estimation-of-distribution algorithms,EDA)是一类重要的进化优化方法,特别适合在目标函数结构几乎未知的黑箱场景中使用。传统进化算法依赖人工设计的变异与交叉算子,而这些算子针对未知问题结构难以设计,且容易引入偏差。EDA 则完全绕开了算子设计:它把概率分布拟合到表现最好的个体上,再从该分布采样下一代。EDA 在连续参数空间上已经相当成熟,但此前尚未推广到稀疏参数空间——在这类空间中,优质解的绝大多数系数恰好为零。

这一空白导致现有的稀疏黑箱优化器重新引入了 EDA 原本想要避免的东西:手工打造的稀疏算子、在支撑集与活跃值之间交替的双层方案、置零阈值以及其他预先设定的假设。由 Andreas Faust 等三位作者提交、编号 arXiv:2606.19369 的论文正是针对这一缺口展开研究,论文于 2026 年 6 月 11 日提交,归入机器学习(cs.LG)与人工智能(cs.AI)分类。

作者的解决方案是提出多变量零膨胀高斯(zero-inflated Gaussian,ZIG)分布,作为 EDA 的采样律。该模型采用带有独立指示维与数值维的潜高斯模型,用以表示稀疏模式、活跃参数之间的相关性,以及这两者之间的交互作用。由此,稀疏模式与活跃值可以联合优化,不需要层级结构,也不需要人工设定的置零阈值。

论文还给出了一项理论结果:与相关构造最初来源的缺失数据场景不同,该模型的潜参数可以从观测样本中被辨识出来。为了在实践中利用这一点,作者引入了基于摊销反演的估计器(amortized inversion-based estimators)。实验显示,这些估计器能够准确恢复潜在的相���结构。

在 Lunar Lander 基准上的评估中,由 ZIG-EDA 得到的算法收敛速度快于稠密高斯 EDA、手工设计的稀疏进化算法以及一种临时的稀疏 EDA,并达到更高的最终回报;同时,它找到的控制器只激活了很小一部分参数。这一结果说明,直接在采样分布中编码稀疏性,是一条可行且有效的稀疏黑箱优化路径。

展开要点与分析

文章情报

研究者进阶

要点

  • 提出多变量零膨胀高斯(ZIG)分布作为 EDA 的采样分布,可在稀疏参数空间中直接进行黑箱优化。
  • 借助带有独立指示维与数值维的潜高斯模型,同时刻画稀疏模式、活跃参数间的相关性以及二者的交互,实现无层级的联合优化。
  • 证明该模型的潜参数可从观测样本中辨识,并提出基于摊销反演的实用估计器,能准确恢复潜相关结构。
  • 在 Lunar Lander 基准上,ZIG-EDA 相比稠密高斯 EDA、手工稀疏进化算法和临时稀疏 EDA 收敛更快、最终回报更高,同时仅激活少量参数。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。