LangSmith今日宣佈推出SmithDB,這是一個專為智慧體可觀測性和評估工作負載構建的資料層。SmithDB旨在解決傳統可觀測性儲存無法應對的現代智慧體追蹤資料挑戰。
智慧體追蹤資料已大幅增長:現代智慧體追蹤包含數百個巢狀跨度、多模態內容以及持續數小時的跨度,導致資料量和查詢模式遠超通用資料庫的設計能力。SmithDB透過行業領先的效能應對這些挑戰:追蹤樹載入P50延遲92毫秒,全文搜尋400毫秒,執行過濾82毫秒,使核心LangSmith體驗速度提升高達12倍。
SmithDB採用Rust構建,基於Apache DataFusion查詢引擎和Vortex檔案工具包,並根據LangSmith獨特工作負載進行了大量定製。其架構包括三個核心元件:物件儲存用於持久化追蹤資料、小型Postgres元儲存用於段後設資料、以及無狀態攝入、查詢和壓縮服務。這種設計使SmithDB無需管理本地磁碟,透過增加計算即可擴充套件,特別適合自託管和多雲環境。
在工程實現上,SmithDB作為基於物件儲存的日誌結構合併樹(LSM)執行,包含攝入服務、元儲存、查詢服務、壓縮服務和叢集管理器等元件。關鍵最佳化包括:漸進式查詢減少資料掃描量、直接從攝入節點讀取最新資料、處理執行的多事件序列、按時間分層壓縮以提高寫入和查詢效率、透過刪除向量實現高效變更、以及延遲例項化大欄位以加速常見查詢。
目前,SmithDB已全面處理US Cloud的攝入和UI查詢流量,包括執行緒、後設資料過濾、反饋、文本搜尋等所有主要功能。產品整合如執行規則、批次匯出和實驗正在接近完成。早期客戶反饋積極,Clay、Vanta、Unify和Cogent等團隊表示效能提升顯著,使搜尋、除錯和分析大規模追蹤資料更加高效。
未來,LangSmith計劃將SmithDB擴充套件到所有相關產品表面,並支援自託管部署。SmithDB的推出標誌著智慧體可觀測性領域的一大進步,為開發者提供了更快速、更靈活的工具來最佳化生產環境中的智慧體。