MAGE：理解多组件提示优化中的稳定性-性能权衡
本文通过MAGE框架研究多组件提示优化中不同组件的相互作用，揭示了提示优化耦合效应（POCE）：多个随机优化信号在闭环反射回路中相互作用，同时提升性能与放大方差。关键发现包括：基于失败反思不可或缺、MAGE在GSM8K-Hard上优于GEPA、增大候选多样性使POCE信号最明显、POCE依赖于基础模型能力空间、低数据场景下固定提示优于优化器。
一项新的研究通过MAGE（记忆增强目标导向提示进化）框架，深入探讨了多组件提示优化中不同组件如何相互作用，以及它们组合时的影响。该研究并非提出一种绝对更优的优化器，而是构建了一个用于控制消融实验的平台，集成了情景记忆、多目标Pareto选择和自适应评估。
研究人员发现了一种此前未被报道的现象——提示优化耦合效应（POCE）。当多个随机优化信号在闭环反射回路中运行，它们会以一种无法通过独立分析组件来预测的方式相互作用，同时提升性能并放大方差。这一发现挑战了传统上只关注峰值准确率的评估方式。
实验得出三个主要结论。第一，基于失败的反思至关重要：仅依赖分数（如OPRO）或抽象批判（如Self-Refine）的方法无法改进提示。第二，在GSM8K-Hard基准上，MAGE达到了46.4%的准确率，而GEPA为34.0%（提升12.4%，P(MAGE>GEPA)=0.998，在gpt-4o-mini上使用5个种子），方差相当（7.3%对比7.0%）。第三，增加候选多样性使POCE信号最为明显：将候选池从3个扩展到5个，平均准确率提升了21.6%，但方差增大了3.7倍。
进一步在Llama 3.1 8B上的验证表明，POCE取决于基础模型的能力空间：当模型已实现高准确率时，方差放大消失。在低数据场景（训练样本数Ntrain=30）下，精心设计的固定提示反而优于所有反射优化器，这暗示框架选择比优化器选择更为关键。
研究者指出，提示优化系统应被视为耦合的随机过程，其评估应同时考虑性能与稳定性，而非仅仅峰值准确率。这项研究为提示工程提供了新的视角，强调了组件协同作用的重要性。