Promptim：一个用于提示优化的实验性库

Promptim 是 LangSmith 推出的一个实验性提示优化库，旨在系统性地改进 AI 系统的提示词。传统的提示工程依赖人工手动调整，费时费力且缺乏一致性。Promptim 通过自动化优化循环，让开发者只需提供初始提示、数据集和自定义评估器，即可生成更高效的提示词。

为什么需要提示优化？首先，它可以大幅节省工程时间，将重复的人工调试转为自动化流程。其次，它引入了评估驱动的开发方法，使提示工程从“艺术”变为“科学”。此外，当需要切换不同模型时，提示优化能快速适配不同模型的提示需求，因为评估器通常与模型无关，而提示本身则高度依赖模型。

Promptim 的工作原理如下：用户指定 LangSmith 数据集、一个 LangSmith 中的提示以及本地定义的评估器。系统首先在开发集上运行初始提示获得基线分数，然后遍历训练集样本，生成结果并评分，再将结果反馈给元提示以提出修改建议。修改后的提示会在开发集上重新评估，如果分数提升则保留，否则保持原提示。这一过程可重复多次，并可选择性地加入人工反馈环节（通过 LangSmith 的标注队列）。

尽管提示优化前景广阔，但 Promptim 并非万能。它仍需保持人类参与，至少用于最终结果的合理性检查。因此，Promptim 将优化后的提示存储在 LangSmith 的 Prompt Hub 中，方便人工审查。

与主流工具 DSPy 相比，Promptim 目前专注于单个提示的优化，而 DSPy 则优化整个复合 AI 系统。Promptim 更强调人机协作，例如通过标注队列引入人工反馈，而 DSPy 则更自动化。两者定位不同，适用于不同场景。

未来，Promptim 计划扩展到动态少样本提示、集成到 LangSmith 用户界面、增加更多优化方法，并考虑与 DSPy 集成以优化整个 LangGraph 图。开发者现在即可通过 pip install promptim 试用，并可在 GitHub 或 Twitter 上反馈意见。