跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

用于迭代式提示优化的对比反思框架

文章摘要

研究者提出对比反思框架,通过对比错误切片与邻近成功示例,指导LLM对检索代理的提示进行更有针对性的迭代修复,在HotpotQA上将精确匹配准确率从51.4%提升至60.4%。

来源arXiv AI作者: Derek Koh, Jinghui Mo, Benjamin H. Le, Jiening Zhan, Baofen Zheng, Kevin Bevis, Nathaniel C. Owen, Lauren Elizabeth Charney, Wenqiong Liu, Jingwei Wu
用于迭代式提示优化的对比反思框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文介绍的是论文《Contrastive Reflection for Iterative Prompt Optimization》(面向迭代式提示优化的对比反思方法),作者为 Derek Koh 等共 10 人,提交于 2026 年 6 月 29 日,收录在 arXiv 的 cs.AI 分类下,编号为 arXiv:2606.30840v1。该论文共 6 页、含 1 张图,计划在 KDD 2026 的 Agent4IR 工作坊(AI Agents for Information Retrieval)上展示。

论文的出发点在于:LLM 智能体正逐渐成为信息检索的核心组件——它们发起检索查询、综合答案,并且越来越多地充当 IR 评估的裁判。改进控制这些智能体的提示本身是一个优化问题,但在实际的信息检索应用场景中,这个过程往往更像调试而非盲目的搜索。工程师需要弄清楚:到底是哪种行为失败了、附近哪种行为仍然有效、二者的区别在哪里,以及一次提示修改是否能在不引入回归的前提下提升留出集上的质量。

针对这一需求,作者提出了 Contrastive Reflection(对比反思)框架,这是一种面向智能体式 IR 工作流的迭代式提示优化方法。该框架从以任务为中心的质量定义出发:问答智能体会暴露其检索或推理轨迹,评分智能体则暴露维度级别的分数与理由。利用这些结构化轨迹,框架识别出以错误为锚点的行为切片,随后从同一区域补充邻近的成功示例,并让一个教师 LLM 据此提出有针对性的提示修改建议。候选修改只有在验证集性能提升时才会被接受,并且可以选择性地附加回归检查,以确保不会破坏原本正确的案例。作者以基于树的切片选择器来实例化该框架,但强调其核心贡献是对比反思循环本身,而非树结构。

在公开的 HotpotQA 检索增强问答设置上,一次由树选择的对比修复将留出集的精确匹配准确率从 51.4% 提升到了 60.4%。相比之下,仅使用失败样本和随机证据的变体提升幅度更小,且破坏了更多原本正确的示例,说明“对比”这一设计——即同时引入失败与邻近成功案例——是性能提升的关键。

作者还进行了一项轻量的纯指令对比,将本方法与现代提示优化器放在同一水平线上比较:MIPROv2 达到 59.4%,GEPA 达到 57.0%,而对比反思方法在提升准确率的同时保持了可解释性。总体而言,这一结果展示了一个面向 IR 智能体的可解释优化循环,其目标是让提示修复过程更加可审查、更加以验证为驱动。论文的评论信息显示其篇幅较短(6 页),属于工作坊级别的成果,但其所倡导的“调试式”提示优化思路对实际部署 IR 智能体的工程师具有参考价值。

展开要点与分析

文章情报

工程师进阶

要点

  • 对比反思循环利用结构化轨迹识别错误锚定的行为切片,并加入邻近成功示例来指导提示编辑。
  • 仅当验证性能提升且无回归时接受候选编辑,使提示修复更具可解释性和验证驱动性。
  • 在HotpotQA上,树选择的对比修复将留出精确匹配准确率从51.4%提高到60.4%,优于仅失败和随机证据变体。
  • 与MIPROv2(59.4%)和GEPA(57.0%)相比,该方法在轻量指令级比较中表现接近。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。