Rippling如何在6個月內藉助Deep Agents和LangSmith實現全產品AI化

Rippling是一個統一的人力資源、IT、財務、薪資和全球運營管理平臺。其資料模型包含數千張表和數十萬個欄位，跨領域的實體名稱重疊，使得構建能夠跨領域推理的AI層成為巨大挑戰。傳統的方法——將schema片段傳遞給LLM——無法應對這種複雜性。

Rippling AI團隊選擇了LangChain的Deep Agents和LangSmith作為核心技術棧，在6個月內將AI整合到所有產品中。核心架構是一個多智慧體系統：一個監督智慧體（supervisor agent）協調5到7個專業子智慧體。這些子智慧體分為三類：讀取智慧體（Read agents）用於查詢結構化資料（如HR、薪資、IT、財務及Salesforce、Carta、GitHub等連線平臺）；RAG智慧體用於從非結構化來源（如幫助中心文件、公司手冊、HR政策檔案）檢索資訊；操作智慧體（Action agents）則執行寫入操作（如上傳獎金、規範化職位名稱、觸發新員工入職流程等）。

上下文工程是最大的技術挑戰。團隊開發了三個關鍵模式：動態技能注入，透過搜尋步驟識別相關領域，然後注入僅針對該領域的技能，並結合重排序器將上下文大小縮減100到500倍；可執行程式碼用於寫入操作，將LLM的“做什麼”與“如何格式化”分離，透過沙盒程式碼執行確保資料規範化可靠且可審計；變數引腳（Variable pinning）則透過一個REPL維護執行時變數儲存，避免LLM在處理長字母數字ID時產生幻覺。

LangSmith在可觀測性和評估中發揮了核心作用。團隊構建了分層評估系統：離線評估（每次提交時執行的預錄mock和fixture）、合併後整合評估（300-400個查詢對完整Rippling沙箱進行即時API呼叫）、部署阻塞評估（約10個關鍵場景）以及持續評估（每天多次針對生產資料執行）。此外，半自動自愈迴圈從LangSmith提取失敗的生產追蹤，由智慧體分析失敗原因、提出修復方案、重新執行評估直至迴歸關閉，最後人工稽核併合並PR。

目前，全球超過100萬人使用Rippling AI。每條對話流都經過LangSmith，形成持續的質量追蹤、使用者反饋和改進迴圈。團隊的建議是：構建LLM已經熟悉的系統，將智慧體視為同事，為其提供最佳工具（如程式碼執行、SQL編寫），並建立緊密的自除錯迴圈。