Promptim：一個用於提示最佳化的實驗性庫

Promptim 是 LangSmith 推出的一個實驗性提示最佳化庫，旨在系統性地改進 AI 系統的提示詞。傳統的提示工程依賴人工手動調整，費時費力且缺乏一致性。Promptim 透過自動化最佳化迴圈，讓開發者只需提供初始提示、資料集和自定義評估器，即可生成更高效的提示詞。

為什麼需要提示最佳化？首先，它可以大幅節省工程時間，將重複的人工除錯轉為自動化流程。其次，它引入了評估驅動的開發方法，使提示工程從“藝術”變為“科學”。此外，當需要切換不同模型時，提示最佳化能快速適配不同模型的提示需求，因為評估器通常與模型無關，而提示本身則高度依賴模型。

Promptim 的工作原理如下：使用者指定 LangSmith 資料集、一個 LangSmith 中的提示以及本地定義的評估器。系統首先在開發集上執行初始提示獲得基線分數，然後遍歷訓練集樣本，生成結果並評分，再將結果反饋給元提示以提出修改建議。修改後的提示會在開發集上重新評估，如果分數提升則保留，否則保持原提示。這一過程可重複多次，並可選擇性地加入人工反饋環節（透過 LangSmith 的標註佇列）。

儘管提示最佳化前景廣闊，但 Promptim 並非萬能。它仍需保持人類參與，至少用於最終結果的合理性檢查。因此，Promptim 將最佳化後的提示儲存在 LangSmith 的 Prompt Hub 中，方便人工審查。

與主流工具 DSPy 相比，Promptim 目前專注於單個提示的最佳化，而 DSPy 則最佳化整個複合 AI 系統。Promptim 更強調人機協作，例如透過標註佇列引入人工反饋，而 DSPy 則更自動化。兩者定位不同，適用於不同場景。

未來，Promptim 計劃擴充套件到動態少樣本提示、整合到 LangSmith 使用者介面、增加更多最佳化方法，並考慮與 DSPy 整合以最佳化整個 LangGraph 圖。開發者現在即可透過 pip install promptim 試用，並可在 GitHub 或 Twitter 上反饋意見。