Rippling、Deep AgentsとLangSmithで6ヶ月で全プロダクトにAIを導入

Ripplingは、人事、IT、財務、給与、グローバルオペレーションを統合するワークフォース管理プラットフォームです。そのデータモデルは数千のテーブルと数十万のフィールドから構成され、ドメイン間でエンティティ名が重複しているため、AIが領域横断的に推論するのは大きな課題でした。従来の方法（LLMにスキーマの一部を渡す）では機能しません。

Rippling AIチームは、LangChainのDeep AgentsとLangSmithを採用し、6ヶ月ですべてのプロダクトにAIを組み込みました。中核となるアーキテクチャはマルチエージェントシステムです。スーパーバイザーエージェントが5〜7の専門サブエージェントを調整します。サブエージェントは3種類あります。読み取りエージェントは構造化データ（HR、給与、IT、財務、およびSalesforce、Carta、GitHubなどの接続プラットフォーム）を照会します。RAGエージェントは非構造化ソース（ヘルプセンター、会社ハンドブック、HRポリシー文書）から情報を取得します。アクションエージェントは書き込み操作（ボーナスのアップロード、職種名の正規化、新入社員のプロビジョニングなど）を実行します。

最大の技術的課題はコンテキストエンジニアリングでした。チームは3つのパターンを開発しました。動的スキル注入：検索ステップで関連ドメインを特定し、そのドメインにスコープされたスキルのみを注入し、リランカーでコンテキストサイズを100〜500倍削減します。コード実行による書き込み操作：LLMの「何をするか」と「どのようにフォーマットするか」を分離し、サンドボックス内のコード実行でデータ正規化を信頼性高く監査可能にします。変数ピン留め：REPLを使ってランタイム変数ストアを維持し、長い英数字IDの処理時にLLMが幻覚を起こすのを防ぎます。

LangSmithは可観測性と評価において重要な役割を果たしました。チームは階層的評価システムを構築しました。オフライン評価（各コミット時にローカルで実行される事前記録済みモックとフィクスチャ）、マージ後統合評価（300〜400のクエリを完全なRipplingサンドボックスに対して実行）、デプロイブロッキング評価（約10のクリティカルシナリオ）、継続的評価（本番データに対して1日複数回実行）。さらに、半自動自己修復ループは、LangSmithから失敗したプロダクショントレースを取得し、エージェントが失敗を分析して修正案を提案し、評価を再実行して回帰が解消されるまで反復し、最終的に人間がレビューしてPRをマージします。

現在、世界中で100万人以上のユーザーがRippling AIを利用しています。すべての会話はLangSmithを通じて流れ、継続的な品質追跡、ユーザーフィードバック、改善のループを形成しています。チームのアドバイスは、LLMがすでに使い慣れているシステムを構築し、エージェントを同僚と見なして最適なツール（コード実行、SQL記述など）を提供し、しっかりとした自己デバッグループを構築することです。