大語言模型(LLM)的可靠回答依賴於使用者明確指定需求、上下文和約束。然而,實際中使用者查詢往往缺乏明確說明,迫使模型推斷未宣告的假設,這可能與使用者真實意圖不符。現有提示工程指南試圖緩解這一問題,但它們通常是通用且與任務無關的,實際效用有限。此外,現有指南的形成方式多為手動且缺乏系統性。
為了解決這一挑戰,研究團隊提出了一種自動方法AGOPS,用於生成任務特定的提示指南。AGOPS的核心洞察在於,現有的已完成任務示例(即參考答案)往往隱式編碼了完成未明確查詢所需的資訊,包括行為約束、上下文假設和評估標準。基於這一觀察,AGOPS透過一個最佳化方案自動進化指南,該方案涉及三個關鍵元件:提示編寫LLM(負責生成提示)、求解LLM(負責執行任務並評估效能)以及提示進化機制(迭代改進指南)。該最佳化過程旨在最大化一組示例(使用者查詢與參考答案)的下游任務效果。在推理時,這些指南幫助使用者編寫更明確的提示,從而提升LLM的效能。
研究團隊在數學推理、醫學問答和程式設計任務上進行了廣泛實驗。結果顯示,提示的模糊性導致下游任務效能大幅下降,最高達95.3%(與明確提示相比)。更重要的是,這種效能下降難以透過現有的提示最佳化技術(如自動提示調優)恢復。然而,遵循AGOPS指南的使用者可以顯著重新獲得這些損失,在所有基準測試中平均效能提升15.5%至81.7%。該工作為提示工程提供了系統化的自動解決方案,有望提升LLM在實際應用中的可靠性和有效性,特別是在使用者需求複雜或任務多樣化的場景下。