跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

我們構建了SmithDB:智慧體可觀測性的資料層

文章摘要

LangSmith推出SmithDB,這是專為智慧體可觀測性設計的分散式資料庫,效能提升高達12倍,支援完全可移植性,適用於自託管和多雲環境。

我們構建了SmithDB:智慧體可觀測性的資料層
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

LangSmith今日宣佈推出SmithDB,這是一個專為智慧體可觀測性和評估工作負載構建的資料層。SmithDB旨在解決傳統可觀測性儲存無法應對的現代智慧體追蹤資料挑戰。

智慧體追蹤資料已大幅增長:現代智慧體追蹤包含數百個巢狀跨度、多模態內容以及持續數小時的跨度,導致資料量和查詢模式遠超通用資料庫的設計能力。SmithDB透過行業領先的效能應對這些挑戰:追蹤樹載入P50延遲92毫秒,全文搜尋400毫秒,執行過濾82毫秒,使核心LangSmith體驗速度提升高達12倍。

SmithDB採用Rust構建,基於Apache DataFusion查詢引擎和Vortex檔案工具包,並根據LangSmith獨特工作負載進行了大量定製。其架構包括三個核心元件:物件儲存用於持久化追蹤資料、小型Postgres元儲存用於段後設資料、以及無狀態攝入、查詢和壓縮服務。這種設計使SmithDB無需管理本地磁碟,透過增加計算即可擴充套件,特別適合自託管和多雲環境。

在工程實現上,SmithDB作為基於物件儲存的日誌結構合併樹(LSM)執行,包含攝入服務、元儲存、查詢服務、壓縮服務和叢集管理器等元件。關鍵最佳化包括:漸進式查詢減少資料掃描量、直接從攝入節點讀取最新資料、處理執行的多事件序列、按時間分層壓縮以提高寫入和查詢效率、透過刪除向量實現高效變更、以及延遲例項化大欄位以加速常見查詢。

目前,SmithDB已全面處理US Cloud的攝入和UI查詢流量,包括執行緒、後設資料過濾、反饋、文本搜尋等所有主要功能。產品整合如執行規則、批次匯出和實驗正在接近完成。早期客戶反饋積極,Clay、Vanta、Unify和Cogent等團隊表示效能提升顯著,使搜尋、除錯和分析大規模追蹤資料更加高效。

未來,LangSmith計劃將SmithDB擴充套件到所有相關產品表面,並支援自託管部署。SmithDB的推出標誌著智慧體可觀測性領域的一大進步,為開發者提供了更快速、更靈活的工具來最佳化生產環境中的智慧體。

展開要點與分析

文章情報

工程師進階

要點

  • SmithDB是專為智慧體可觀測性設計的分散式資料庫,效能提升高達12倍。
  • 基於物件儲存,支援無狀態攝入和查詢服務,易於部署在自託管和多雲環境。
  • 支援智慧體特定的查詢模式,如隨機訪問、互動式過濾、全文搜尋等。
  • 已全面用於LangSmith的US Cloud攝入和UI查詢流量。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。