改進智慧體是一個資料探勘問題

在人工智慧領域，智慧體的改進本質上是一個資料探勘問題。LangChain 的研究團隊透過分析智慧體在環境中產生的軌跡資料，提取有價值的訊號，從而最佳化智慧體效能。這一觀點在今年的 AI Engineer World Fair 上得到了深入探討。

持續學習、Harness Engineering 和後訓練都歸結為同一件事：大規模策劃資料以執行實驗並改進智慧體。從軌跡中挖掘資料是公司可以建立的最具槓桿作用的能力之一，它幫助理解智慧體行為、大規模策劃資料，並執行改進迴圈。

每個持續學習公司本質上也是可觀測性公司。持續學習要求智慧體在環境中採取行動，然後將從該經驗中產生的資訊整合回智慧體系統。這類似於人類透過行動學習的方式。軌跡是長期智慧體改進的貨幣，它們是智慧體在環境中經驗的投影，可以轉換為可挖掘的資料格式。目前尚不清楚如何完全整合所有資訊，但可能的方式包括：透過 SFT、RL 等方法收集訓練資料並整合回模型權重；透過 Harness Engineering 新增指令、工具、技能和編排策略；將資訊整合到記憶儲存中以供上下文檢索。“Scaling Dreaming”一詞很好地描述了在大數據量、長時間跨度下如何做到這一點。

LangChain 提供了一個實用的智慧體改進配方：啟動資料收集飛輪，然後透過挖掘資料發現問題，策劃評估（即訓練資料），並執行實驗以改進智慧體。由於智慧體的行為比傳統程式碼更不透明，我們需要透過大規模執行評估和閱讀軌跡來發展定量度量和直覺。現代智慧體變得更加複雜，產生大量資料，讀取數百萬條長達百萬 token 的軌跡帶來了成本和上下文處理問題。因此，LangChain 建立了專門的智慧體和模型來高效理解和策劃軌跡資料。

開放模型已跨越智慧閾值，是處理大規模軌跡的經濟高效選擇。每個公司在其軌跡中尋找不同的訊號，包括使用者互動的細微差別、領域特定資料以及區分重要資料子部分的能力。LangChain 微調了一個軌跡評判模型，發現在狹窄任務上，開放的小模型效能優於封閉的前沿模型，執行成本卻低數個數量級。擁有和部署自己的模型智慧的另一個好處是，隨著你將 token 成本轉換為基礎設施成本，大規模執行可以更便宜。

LangChain 還構建了 LangSmith Engine 產品，使用專門智慧體讀取每條軌跡，查詢團隊關心的訊號，發現問題，建立程式碼修復，生成評估，將重要資訊提交到記憶和上下文儲存中，並隨時間改進每個智慧體。

關於模型-任務-Harness 擬合，軌跡挖掘的輸出成為改進迴圈實驗的輸入。挖掘“好的”軌跡提供了蒸餾更小模型的訊號，從而帶來更高的成本效率。生產中的每個智慧體失敗都可以成為建立評估和環境的目標。評估是智慧體的訓練資料，目的是讓它們透過評估，從而將在軌跡中測量的行為轉移到智慧體中。

通常，我們的工作是找到好的資料和找到好的擬合函式。經典機器學習有 sci-kit-learn 擬合函式，現代智慧體則有微調（SFT、RL、DPO）或 Harness Engineering 等擬合策略，例如使用評估分數作為登山指標的自動研究。Harness 是本地模型智慧的放大器和擴充套件器，隨著模型變得更智慧，許多 Harness 將溶解以允許模型自由使用其智慧。在 Terminal Bench 2.0 上，透過登山正確性指標和軌跡來調整 Harness，相比基礎 Harness 獲得了 13.7% 的提升。軌跡透過提供豐富的行為反饋來強化反饋訊號。

關於何時進行 Harness Engineering 與微調，一個成功的通用策略是 Harness Engineering -> 微調 -> Harness Engineering 的漏斗（或三明治）方法。Harness Engineering 通常足以滿足大多數團隊，提供即時反饋和高頻寬表面以將知識和觀察到的錯誤轉移到智慧體中。但隨著模型每代變得更智慧，Harness Engineering 最終會遇到智慧天花板，這時微調就變得有意義。微調需要更多工作，需要策劃資料和進行更長時間反饋迴圈的實驗，但重塑模型智慧朝向你的任務是提高效能的有效方法。一旦你對微調後的模型滿意，進一步的 Harness Engineering 可以探索新智慧景觀如何泛化到相關問題。

總結來說，挖掘軌跡提供了攀登山峰的訊號；開放模型微調和複合智慧體系統有助於處理大規模軌跡資料；持續學習是關於長時間跨度內處理和整合智慧體資料；智慧體將產生比人類歷史上更多的資料，我們需要更新工具來處理它。LangChain 實驗室的研究團隊正專注於這些問題，幫助每個團隊利用資料構建更好的智慧體。