MAGE：マルチコンポーネントプロンプト最適化における安定性とパフォーマンスのトレードオフの理解

新しい研究では、MAGE（Memory-Augmented Goal-directed Prompt Evolution）フレームワークを用いて、マルチコンポーネントプロンプト最適化における異なるコンポーネントの相互作用と、それらを組み合わせた場合の影響を詳しく調査しています。この研究は、絶対的に優れたオプティマイザーを提案するものではなく、制御されたアブレーション研究のためのプラットフォームとして、エピソディックメモリ、多目的パレート選択、適応評価を統合しています。

研究者らは、これまで報告されていなかった現象である「プロンプト最適化結合効果（POCE）」を発見しました。複数の確率的な最適化信号が閉じた反射ループ内で動作すると、コンポーネントを個別に分析しただけでは予測できない方法で相互作用し、性能を向上させる一方で分散を増幅します。この発見は、ピーク精度のみに焦点を当てた従来の評価方法に挑戦するものです。

実験からは3つの主要な結論が得られました。第一に、失敗に基づく振り返りが不可欠です。スコアのみ（OPRO）や抽象的な批評（Self-Refine）に依存する手法ではプロンプトを改善できません。第二に、GSM8K-Hardベンチマークにおいて、MAGEは46.4%の精度を達成し、GEPAの34.0%を上回りました（+12.4%、P(MAGE>GEPA)=0.998、gpt-4o-miniで5シード）。分散は同等でした（7.3%対7.0%）。第三に、候補の多様性を高めるとPOCE信号が最も明確になります。候補プールを3から5に拡大したところ、平均精度が21.6%向上した一方で、分散は3.7倍に増加しました。

さらに、Llama 3.1 8Bでの検証により、POCEはベースモデルの能力領域に依存することが示されました。モデルがすでに高い精度を達成している場合、分散増幅は消失します。低データ環境（トレーニングサンプル数Ntrain=30）では、適切に設計された固定プロンプトがすべてのリフレクティブオプティマイザーを凌ぎ、これはスキャフォールド選択がオプティマイザー選択よりも重要であることを示唆しています。

研究者らは、プロンプト最適化システムは結合された確率過程として振る舞うため、ピーク精度だけでなく、性能と安定性の両方の観点から評価されるべきだと指摘しています。この研究は、プロンプトエンジニアリングに新たな視点を提供し、コンポーネントの協調作用の重要性を強調しています。