PQR：生成多样且真实的用户查询以触发问答智能体失败的新框架
基于大语言模型的智能体评估一直是难点：要识别出真正有价值的失败案例，往往需要投入大量人力去设计贴近真实的测试场景。以往研究主要关注由对抗性用户引发的智能体失败，却忽视了那些具有真实用户意图、同样会导致智能体出错的查询。为此，来自 Yunan Lu 等五位作者的研究提出 PQR 框架，相关论文于 2026 年 5 月 15 日提交至 arXiv，编号为 2605.16551，归类于计算与语言（cs.CL）方向。
PQR 的核心目标是同时做到两件事：一是针对特定评价目标（如有用性、安全性等）暴露智能体的失败，二是让生成的查询尽可能贴近真实用户意图。这与以往仅依赖对抗式提示的思路形成明显区别，强调的是“看似正常、实则能击穿智能体”的测试用例。
在机制上，PQR 由两个互补模块通过迭代交互协同工作。查询精炼模块负责对查询进行改写，探索多样化的查询变体，从而扩大测试覆盖面；提示精炼模块则利用此前的反馈，推导出新的“违反目标”策略以及真实性策略，用于改进提示词，进而生成既能触发失败、又保持真实感的查询。两个模块反复迭代，逐步提升失败挖掘的效率与查询的自然程度。
研究团队在检测电商问答智能体的“无帮助回复”场景上对 PQR 进行了评估。结果显示，该方法发现的无效回复比此前方法多出 23% 至 78%，并且生成的查询在多样性与真实性方面均优于既有方法。这一结果说明，真实意图驱动的失败测试可以显著补充对抗式测试的盲区。
从实践角度看，PQR 提供了一条低成本、可自动化的智能体评测路径，尤其适用于需要持续监控问答系统质量的电商客服等场景。论文同时公开了 PDF、TeX 源码及引用信息，DOI 为 10.48550/arXiv.2605.16551。需要注意的是，摘要未披露具体的样本规模、评价指标定义以及跨领域泛化结果，这些细节仍需查阅全文确认。