PQR：QAエージェントの失敗を引き出す多様で現実的なユーザークエリを生成するフレームワーク
大規模言語モデル（LLM）ベースのエージェント評価は依然として難しい課題である。意味のある失敗事例を特定するには、現実的なテストシナリオを設計するための多大な人手作業が必要となることが多い。従来の研究は主に、敵対的なユーザーによって引き起こされるエージェントの失敗を自動的に発見することに焦点を当てており、実際のユーザー意図を持ちながらもエージェントの失敗を引き起こすクエリについては見過ごされてきた。そこでYunan Lu氏ら5名の著者は、PQRというフレームワークを提案した。この論文は2026年5月15日にarXivへ投稿され、番号は2605.16551、分野は計算と言語（cs.CL）に分類されている。
PQRの目的は二つある。第一に、有用性や安全性といった特定の評価目標に関してエージェントの失敗を表面化させること。第二に、生成されるクエリを実際のユーザー意図に近づけることである。これは敵対的プロンプトだけに頼る従来手法とは明確に異なり、「一見普通だがエージェントを破綻させる」テストケースを重視する点に特徴がある。
仕組みとしては、PQRは二つの補完的モジュールが反復的に相互作用する形で動作する。クエリ精錬モジュールはクエリを書き換えて多様なバリエーションを探索し、テストの網羅性を広げる。プロンプト精錬モジュールは過去のフィードバックを利用して、新たな「目標違反」戦略とリアリズム方針を導出し、プロンプトを改善する。これにより、失敗を引き起こしつつ現実味のあるクエリが生成される。両モジュールが繰り返し連携することで、失敗の発見効率とクエリの自然さが段階的に高まる。
評価では、Eコマース向けQAエージェントの「役に立たない応答」の検出にPQRを適用した。その結果、本手法は従来手法と比べて23%から78%多く無益な応答を発見し、生成されたクエリも多様性と現実性の両面で既存手法を上回った。この結果は、実ユーザー意図に基づく失敗テストが、敵対的テストの盲点を大きく補えることを示している。
実務面では、PQRは低コストで自動化可能なエージェント評価の道筋を提供し、QAシステムの品質を継続的に監視する必要があるEコマースのカスタマーサポートなどに特に適している。論文ではPDFやTeXソース、引用情報も公開されており、DOIは10.48550/arXiv.2605.16551である。ただし、要旨ではサンプル規模、評価指標の定義、他分野への汎化結果などは明らかにされておらず、これらの詳細は全文で確認する必要がある。