Promptim：一個用於提示優化的實驗性庫

Promptim 是 LangSmith 推出的一個實驗性提示優化庫，旨在系統性地改進 AI 系統的提示詞。傳統的提示工程依賴人工手動調整，費時費力且缺乏一致性。Promptim 通過自動化優化循環，讓開發者只需提供初始提示、數據集和自定義評估器，即可生成更高效的提示詞。

為什麼需要提示優化？首先，它可以大幅節省工程時間，將重複的人工調試轉為自動化流程。其次，它引入了評估驅動的開發方法，使提示工程從“藝術”變為“科學”。此外，當需要切換不同模型時，提示優化能快速適配不同模型的提示需求，因為評估器通常與模型無關，而提示本身則高度依賴模型。

Promptim 的工作原理如下：用户指定 LangSmith 數據集、一個 LangSmith 中的提示以及本地定義的評估器。系統首先在開發集上運行初始提示獲得基線分數，然後遍歷訓練集樣本，生成結果並評分，再將結果反饋給元提示以提出修改建議。修改後的提示會在開發集上重新評估，如果分數提升則保留，否則保持原提示。這一過程可重複多次，並可選擇性地加入人工反饋環節（通過 LangSmith 的標註隊列）。

儘管提示優化前景廣闊，但 Promptim 並非萬能。它仍需保持人類參與，至少用於最終結果的合理性檢查。因此，Promptim 將優化後的提示存儲在 LangSmith 的 Prompt Hub 中，方便人工審查。

與主流工具 DSPy 相比，Promptim 目前專注於單個提示的優化，而 DSPy 則優化整個複合 AI 系統。Promptim 更強調人機協作，例如通過標註隊列引入人工反饋，而 DSPy 則更自動化。兩者定位不同，適用於不同場景。

未來，Promptim 計劃擴展到動態少樣本提示、集成到 LangSmith 用户界面、增加更多優化方法，並考慮與 DSPy 集成以優化整個 LangGraph 圖。開發者現在即可通過 pip install promptim 試用，並可在 GitHub 或 Twitter 上反饋意見。