MAGE：理解多元件提示最佳化中的穩定性-效能權衡
本文透過MAGE框架研究多元件提示最佳化中不同元件的相互作用，揭示了提示最佳化耦合效應（POCE）：多個隨機最佳化訊號在閉環反射回路中相互作用，同時提升效能與放大方差。關鍵發現包括：基於失敗反思不可或缺、MAGE在GSM8K-Hard上優於GEPA、增大候選多樣性使POCE訊號最明顯、POCE依賴於基礎模型能力空間、低資料場景下固定提示優於最佳化器。
一項新的研究透過MAGE（記憶增強目標導向提示進化）框架，深入探討了多元件提示最佳化中不同元件如何相互作用，以及它們組合時的影響。該研究並非提出一種絕對更優的最佳化器，而是構建了一個用於控制消融實驗的平臺，整合了情景記憶、多目標Pareto選擇和自適應評估。
研究人員發現了一種此前未被報道的現象——提示最佳化耦合效應（POCE）。當多個隨機最佳化訊號在閉環反射回路中執行，它們會以一種無法透過獨立分析元件來預測的方式相互作用，同時提升效能並放大方差。這一發現挑戰了傳統上只關注峰值準確率的評估方式。
實驗得出三個主要結論。第一，基於失敗的反思至關重要：僅依賴分數（如OPRO）或抽象批判（如Self-Refine）的方法無法改進提示。第二，在GSM8K-Hard基準上，MAGE達到了46.4%的準確率，而GEPA為34.0%（提升12.4%，P(MAGE>GEPA)=0.998，在gpt-4o-mini上使用5個種子），方差相當（7.3%對比7.0%）。第三，增加候選多樣性使POCE訊號最為明顯：將候選池從3個擴充套件到5個，平均準確率提升了21.6%，但方差增大了3.7倍。
進一步在Llama 3.1 8B上的驗證表明，POCE取決於基礎模型的能力空間：當模型已實現高準確率時，方差放大消失。在低資料場景（訓練樣本數Ntrain=30）下，精心設計的固定提示反而優於所有反射最佳化器，這暗示框架選擇比最佳化器選擇更為關鍵。
研究者指出，提示最佳化系統應被視為耦合的隨機過程，其評估應同時考慮效能與穩定性，而非僅僅峰值準確率。這項研究為提示工程提供了新的視角，強調了元件協同作用的重要性。