大規模言語モデル（LLM）がユーザーのクエリに確実に応答するためには、ユーザーが要件、コンテキスト、制約を明確に指定する必要があります。しかし実際には、ユーザークエリはしばしば不十分であり、モデルは暗黙の仮定を推論せざるを得ず、実際のユーザーの意図とずれる可能性があります。既存のプロンプトエンジニアリングガイドラインはこの問題を緩和しようとしますが、一般的でタスクに依存しないため、実用的な有用性は限られています。さらに、既存のガイドラインは手動で非体系的な方法で作成されています。
この課題に対処するため、研究チームはタスク固有のプロンプトガイドラインを自動生成するアプローチAGOPSを提案します。AGOPSの重要な観察は、既存の（完了した）タスク例（参照回答）が、未指定クエリを完了するために必要な欠落情報（行動制約、コンテキスト仮定、評価基準など）を暗黙的にエンコードしていることです。AGOPSは、プロンプトライターLLM、ソルバーLLM、およびプロンプト進化を含む最適化スキームを介してタスク固有のガイドラインを進化させ、一連の例（ユーザークエリと参照回答）に対する下流効果を最大化します。推論時には、ガイドラインはユーザーが適切に指定されたプロンプトを作成するのに役立ち、LLMの効果を高めます。
研究チームは、数学的推論、医療質問応答、およびコーディングタスクにおいて、プロンプトの不十分な指定が下流タスクのパフォーマンスを最大95.3%低下させることを示しました（適切に指定されたプロンプトと比較して）。さらに重要なことに、この低下は既存のプロンプト最適化手法（例：自動プロンプトチューニング）ではほとんど回復できません。しかし、AGOPSガイドラインに従うユーザーは、全ベンチマークで一貫してこの損失を回復でき（平均で15.5%から81.7%の性能向上）、その効果が確認されました。この研究は、プロンプトエンジニアリングに体系的な自動ソリューションを提供し、特に複雑なユーザーニーズや多様なタスクシナリオにおいて、LLMの信頼性と有効性を向上させることが期待されます。