改進智能體是一個數據挖掘問題

在人工智能領域，智能體的改進本質上是一個數據挖掘問題。LangChain 的研究團隊通過分析智能體在環境中產生的軌跡數據，提取有價值的信號，從而優化智能體性能。這一觀點在今年的 AI Engineer World Fair 上得到了深入探討。

持續學習、Harness Engineering 和後訓練都歸結為同一件事：大規模策劃數據以運行實驗並改進智能體。從軌跡中挖掘數據是公司可以建立的最具槓桿作用的能力之一，它幫助理解智能體行為、大規模策劃數據，並運行改進循環。

每個持續學習公司本質上也是可觀測性公司。持續學習要求智能體在環境中採取行動，然後將從該經驗中產生的信息整合回智能體系統。這類似於人類通過行動學習的方式。軌跡是長期智能體改進的貨幣，它們是智能體在環境中經驗的投影，可以轉換為可挖掘的數據格式。目前尚不清楚如何完全整合所有信息，但可能的方式包括：通過 SFT、RL 等方法收集訓練數據並整合回模型權重；通過 Harness Engineering 添加指令、工具、技能和編排策略；將信息整合到記憶存儲中以供上下文檢索。“Scaling Dreaming”一詞很好地描述了在大數據量、長時間跨度下如何做到這一點。

LangChain 提供了一個實用的智能體改進配方：啓動數據收集飛輪，然後通過挖掘數據發現問題，策劃評估（即訓練數據），並運行實驗以改進智能體。由於智能體的行為比傳統代碼更不透明，我們需要通過大規模運行評估和閲讀軌跡來發展定量度量和直覺。現代智能體變得更加複雜，產生大量數據，讀取數百萬條長達百萬 token 的軌跡帶來了成本和上下文處理問題。因此，LangChain 創建了專門的智能體和模型來高效理解和策劃軌跡數據。

開放模型已跨越智能閾值，是處理大規模軌跡的經濟高效選擇。每個公司在其軌跡中尋找不同的信號，包括用户交互的細微差別、領域特定數據以及區分重要數據子部分的能力。LangChain 微調了一個軌跡評判模型，發現在狹窄任務上，開放的小模型性能優於封閉的前沿模型，運行成本卻低數個數量級。擁有和部署自己的模型智能的另一個好處是，隨着你將 token 成本轉換為基礎設施成本，大規模運行可以更便宜。

LangChain 還構建了 LangSmith Engine 產品，使用專門智能體讀取每條軌跡，查找團隊關心的信號，發現問題，創建代碼修復，生成評估，將重要信息提交到記憶和上下文存儲中，並隨時間改進每個智能體。

關於模型-任務-Harness 擬合，軌跡挖掘的輸出成為改進循環實驗的輸入。挖掘“好的”軌跡提供了蒸餾更小模型的信號，從而帶來更高的成本效率。生產中的每個智能體失敗都可以成為創建評估和環境的目標。評估是智能體的訓練數據，目的是讓它們通過評估，從而將在軌跡中測量的行為轉移到智能體中。

通常，我們的工作是找到好的數據和找到好的擬合函數。經典機器學習有 sci-kit-learn 擬合函數，現代智能體則有微調（SFT、RL、DPO）或 Harness Engineering 等擬合策略，例如使用評估分數作為登山指標的自動研究。Harness 是本地模型智能的放大器和擴展器，隨着模型變得更智能，許多 Harness 將溶解以允許模型自由使用其智能。在 Terminal Bench 2.0 上，通過登山正確性指標和軌跡來調整 Harness，相比基礎 Harness 獲得了 13.7% 的提升。軌跡通過提供豐富的行為反饋來強化反饋信號。

關於何時進行 Harness Engineering 與微調，一個成功的通用策略是 Harness Engineering -> 微調 -> Harness Engineering 的漏斗（或三明治）方法。Harness Engineering 通常足以滿足大多數團隊，提供即時反饋和高帶寬表面以將知識和觀察到的錯誤轉移到智能體中。但隨着模型每代變得更智能，Harness Engineering 最終會遇到智能天花板，這時微調就變得有意義。微調需要更多工作，需要策劃數據和進行更長時間反饋循環的實驗，但重塑模型智能朝向你的任務是提高性能的有效方法。一旦你對微調後的模型滿意，進一步的 Harness Engineering 可以探索新智能景觀如何泛化到相關問題。

總結來説，挖掘軌跡提供了攀登山峯的信號；開放模型微調和複合智能體系統有助於處理大規模軌跡數據；持續學習是關於長時間跨度內處理和整合智能體數據；智能體將產生比人類歷史上更多的數據，我們需要更新工具來處理它。LangChain 實驗室的研究團隊正專注於這些問題，幫助每個團隊利用數據構建更好的智能體。