面向任务特定优化的自动进化提示指南
本文提出AGOPS方法，自动生成任务特定的提示指南，帮助用户编写更明确的提示，从而大幅提升大语言模型的下游性能。实验表明，未明确指定的提示可导致性能下降高达95.3%，而现有通用指南难以恢复，但AGOPS指南可使性能提升15.5%至81.7%。
大语言模型（LLM）的可靠回答依赖于用户明确指定需求、上下文和约束。然而，实际中用户查询往往缺乏明确说明，迫使模型推断未声明的假设，这可能与用户真实意图不符。现有提示工程指南试图缓解这一问题，但它们通常是通用且与任务无关的，实际效用有限。此外，现有指南的形成方式多为手动且缺乏系统性。
为了解决这一挑战，研究团队提出了一种自动方法AGOPS，用于生成任务特定的提示指南。AGOPS的核心洞察在于，现有的已完成任务示例（即参考答案）往往隐式编码了完成未明确查询所需的信息，包括行为约束、上下文假设和评估标准。基于这一观察，AGOPS通过一个优化方案自动进化指南，该方案涉及三个关键组件：提示编写LLM（负责生成提示）、求解LLM（负责执行任务并评估性能）以及提示进化机制（迭代改进指南）。该优化过程旨在最大化一组示例（用户查询与参考答案）的下游任务效果。在推理时，这些指南帮助用户编写更明确的提示，从而提升LLM的性能。
研究团队在数学推理、医学问答和编程任务上进行了广泛实验。结果显示，提示的模糊性导致下游任务性能大幅下降，最高达95.3%（与明确提示相比）。更重要的是，这种性能下降难以通过现有的提示优化技术（如自动提示调优）恢复。然而，遵循AGOPS指南的用户可以显著重新获得这些损失，在所有基准测试中平均性能提升15.5%至81.7%。该工作为提示工程提供了系统化的自动解决方案，有望提升LLM在实际应用中的可靠性和有效性，特别是在用户需求复杂或任务多样化的场景下。