Rippling如何在6個月內藉助Deep Agents和LangSmith實現全產品AI化

Rippling是一個統一的人力資源、IT、財務、薪資和全球運營管理平台。其數據模型包含數千張表和數十萬個字段，跨領域的實體名稱重疊，使得構建能夠跨領域推理的AI層成為巨大挑戰。傳統的方法——將schema片段傳遞給LLM——無法應對這種複雜性。

Rippling AI團隊選擇了LangChain的Deep Agents和LangSmith作為核心技術棧，在6個月內將AI集成到所有產品中。核心架構是一個多智能體系統：一個監督智能體（supervisor agent）協調5到7個專業子智能體。這些子智能體分為三類：讀取智能體（Read agents）用於查詢結構化數據（如HR、薪資、IT、財務及Salesforce、Carta、GitHub等連接平台）；RAG智能體用於從非結構化來源（如幫助中心文檔、公司手冊、HR政策文件）檢索信息；操作智能體（Action agents）則執行寫入操作（如上傳獎金、規範化職位名稱、觸發新員工入職流程等）。

上下文工程是最大的技術挑戰。團隊開發了三個關鍵模式：動態技能注入，通過搜索步驟識別相關領域，然後注入僅針對該領域的技能，並結合重排序器將上下文大小縮減100到500倍；可執行代碼用於寫入操作，將LLM的“做什麼”與“如何格式化”分離，通過沙盒代碼執行確保數據規範化可靠且可審計；變量引腳（Variable pinning）則通過一個REPL維護運行時變量存儲，避免LLM在處理長字母數字ID時產生幻覺。

LangSmith在可觀測性和評估中發揮了核心作用。團隊構建了分層評估系統：離線評估（每次提交時運行的預錄mock和fixture）、合併後集成評估（300-400個查詢對完整Rippling沙箱進行實時API調用）、部署阻塞評估（約10個關鍵場景）以及持續評估（每天多次針對生產數據運行）。此外，半自動自愈循環從LangSmith提取失敗的生產追蹤，由智能體分析失敗原因、提出修復方案、重新運行評估直至迴歸關閉，最後人工審核併合並PR。

目前，全球超過100萬人使用Rippling AI。每條對話流都經過LangSmith，形成持續的質量追蹤、用户反饋和改進循環。團隊的建議是：構建LLM已經熟悉的系統，將智能體視為同事，為其提供最佳工具（如代碼執行、SQL編寫），並建立緊密的自調試循環。