MAGE：理解多組件提示優化中的穩定性-性能權衡
本文通過MAGE框架研究多組件提示優化中不同組件的相互作用，揭示了提示優化耦合效應（POCE）：多個隨機優化信號在閉環反射回路中相互作用，同時提升性能與放大方差。關鍵發現包括：基於失敗反思不可或缺、MAGE在GSM8K-Hard上優於GEPA、增大候選多樣性使POCE信號最明顯、POCE依賴於基礎模型能力空間、低數據場景下固定提示優於優化器。
一項新的研究通過MAGE（記憶增強目標導向提示進化）框架，深入探討了多組件提示優化中不同組件如何相互作用，以及它們組合時的影響。該研究並非提出一種絕對更優的優化器，而是構建了一個用於控制消融實驗的平台，集成了情景記憶、多目標Pareto選擇和自適應評估。
研究人員發現了一種此前未被報道的現象——提示優化耦合效應（POCE）。當多個隨機優化信號在閉環反射回路中運行，它們會以一種無法通過獨立分析組件來預測的方式相互作用，同時提升性能並放大方差。這一發現挑戰了傳統上只關注峯值準確率的評估方式。
實驗得出三個主要結論。第一，基於失敗的反思至關重要：僅依賴分數（如OPRO）或抽象批判（如Self-Refine）的方法無法改進提示。第二，在GSM8K-Hard基準上，MAGE達到了46.4%的準確率，而GEPA為34.0%（提升12.4%，P(MAGE>GEPA)=0.998，在gpt-4o-mini上使用5個種子），方差相當（7.3%對比7.0%）。第三，增加候選多樣性使POCE信號最為明顯：將候選池從3個擴展到5個，平均準確率提升了21.6%，但方差增大了3.7倍。
進一步在Llama 3.1 8B上的驗證表明，POCE取決於基礎模型的能力空間：當模型已實現高準確率時，方差放大消失。在低數據場景（訓練樣本數Ntrain=30）下，精心設計的固定提示反而優於所有反射優化器，這暗示框架選擇比優化器選擇更為關鍵。
研究者指出，提示優化系統應被視為耦合的隨機過程，其評估應同時考慮性能與穩定性，而非僅僅峯值準確率。這項研究為提示工程提供了新的視角，強調了組件協同作用的重要性。