PQR：一種生成多樣化、逼真使用者查詢以觸發問答代理失敗的框架
PQR框架透過迭代互動兩個互補模組（查詢最佳化模組和提示最佳化模組），自動生成既能觸發代理失敗又符合真實使用者意圖的多樣化查詢。在電商問答代理評估中，該方法檢測到的無幫助響應增加了23%-78%，且生成的查詢比之前的方法更多樣化和逼真。
評估基於大語言模型（LLM）的代理仍然是一個挑戰，因為識別有意義的失敗案例通常需要大量人工設計逼真的測試場景。先前的工作主要集中於自動發現由對抗性使用者引發的代理失敗，而忽略了那些具有真實使用者意圖但同樣能觸發代理失敗的查詢。為此，研究者提出了PQR框架，它不僅能根據特定目標（如幫助性、安全性等）暴露代理失敗，還能模擬真實使用者的意圖。
PQR透過兩個互補模組之間的迭代互動執行。查詢最佳化模組執行改寫以探索多樣化的查詢變體，而提示最佳化模組則利用先前的反饋推導新的違反目標的策略和逼真性策略，從而最佳化提示，進而生成觸發失敗且逼真的查詢。研究者將PQR應用於檢測電商問答代理的無幫助響應。實驗結果表明，該方法能檢測出比基線多23%至78%的無幫助響應，並且生成的查詢在多樣性和逼真度方面均優於先前的方法。
該研究為LLM代理的評估提供了新的視角，尤其適用於需要兼顧失敗發現效率和使用者意圖真實性的場景。未來，PQR有望擴充套件到更多領域的代理評估中，進一步提升AI系統的魯棒性和可靠性。PQR框架的核心創新在於其雙模組迭代設計，能夠自動探索廣泛的查詢空間，並利用反饋不斷改進生成策略。這種方法不僅提高了失敗檢測的覆蓋率，還確保了生成的查詢貼近真實使用者的行為模式，減少了人工設計測試用例的負擔。此外，PQR的模組化設計使其易於適配不同的評估目標和領域，為AI系統的全面評估提供了有力工具。