LangSmithは、エージェント可観測性と評価ワークロードのために特別に構築されたデータレイヤーであるSmithDBを発表しました。SmithDBは、現代のエージェントトレースデータがもたらす課題に対処するために設計されました。
エージェントトレースは急速に拡大しています。現代のエージェントトレースには、何百ものネストされたスパン、マルチモーダルコンテンツ、そして数時間にわたって開いたままのスパンが含まれており、データ量とクエリパターンは汎用データベースの能力を超えています。SmithDBは、トレースツリー読み込みのP50レイテンシ92ミリ秒、全文検索400ミリ秒、実行フィルタリング82ミリ秒など、主要な可観測性ワークロードで業界をリードするパフォーマンスを提供し、コアなLangSmithエクスペリエンスを最大12倍高速化します。
SmithDBはRustで構築され、Apache DataFusionクエリエンジンとVortexファイルツールキットを活用し、LangSmithの独自ワークロードに合わせて大幅にカスタマイズされています。アーキテクチャは3つのコンポーネントから構成されます：永続トレースデータ用のオブジェクトストレージ、セグメントメタデータ用の小規模Postgresメタストア、そしてステートレスな取り込み、クエリ、コンパクションサービス。この設計により、SmithDBはローカルディスクを管理する必要がなく、コンピュートを追加することでスケールできるため、セルフホストやマルチクラウド環境への展開が容易です。
工学的には、SmithDBはオブジェクトストレージバックアップのログ構造マージツリー（LSM）として動作し、取り込みサービス、メタストア、クエリサービス、コンパクションサービス、クラスタマネージャで構成されます。主な最適化には、プログレッシブクエリによるスキャンデータ量の削減、取り込みノードからの最新データの直接読み取り、実行ごとの複数イベント処理、時間階層型コンパクションによる書き込み・クエリ効率の向上、削除ベクタを使用した効率的な変更、大規模フィールドの遅延マテリアライゼーションによる一般的なクエリの高速化が含まれます。
現在、SmithDBはUSクラウドの取り込みとUIクエリトラフィックの100%を処理しており、スレッド、メタデータフィルタリング、フィードバック、テキスト検索などの主要機能をバックエンドでサポートしています。実行ルール、一括エクスポート、実験などのプロダクト統合も完了間近です。Clay、Vanta、Unify、Cogentなどの初期顧客からは、大規模トレースデータの検索、デバッグ、分析における大幅なパフォーマンス向上が報告されています。
今後、LangSmithはSmithDBをすべての関連プロダクトサーフェスに拡張し、セルフホスト展開をサポートする予定です。SmithDBの登場は、エージェント可観測性の分野における大きな進歩を示し、開発者が本番環境のエージェントをより迅速かつ柔軟に最適化するためのツールを提供します。