Replitは最近、Replit Agentをリリースしました。このツールは開発者が簡単にアプリケーションを作成できることから瞬く間にバイラルとなりました。Replitプラットフォーム自体は3,000万人以上の開発者にサービスを提供しており、Replit Agentの背後には高度にカスタマイズされたエージェントワークフローがあり、高度な制御と並列実行を可能にしています。難しい問題をデバッグするため、ReplitはLangSmithを統合し、エージェントの相互作用に対する深い可視性を獲得しました。
しかし、Replit Agentの複雑さはLangSmithにも新たな課題をもたらしました。LangChainとReplitのチームは緊密に協力し、3つの分野で革新を行いました。それは、大規模トレースのパフォーマンスとスケールの向上、トレース内での検索とフィルタリングの実現、そして人間参加型ワークフローを可能にするスレッドビューの導入です。
ほとんどのLLMOpsソリューションは、LLMプロバイダーへの個々のAPIリクエストを監視するだけで、単一のLLM呼び出しに限定された視点しか提供しません。対照的に、LangSmithは当初からLLMアプリケーションの実行フロー全体をトレースすることに焦点を当て、より包括的なコンテキストを提供してきました。トレースはエージェントの複雑さゆえに重要です。複数のLLM呼び出しやその他のステップ（検索、コード実行など）を捕捉し、各ステップの入力と出力を含めて何が起こっているかを詳細に可視化し、エージェントの意思決定を理解できるようにします。
Replit Agentは高度なトレース需要の典型的な例でした。このエージェントツールはコードのレビューと作成だけでなく、計画、開発環境の作成、依存関係のインストール、ユーザーへのアプリケーション展開など、幅広い機能を実行します。その結果、Replitのトレースは非常に大規模で、数百ステップに及ぶこともありました。これはデータの取り込みと視覚的に意味のある表示に大きな課題をもたらしました。
これに対処するため、LangChainチームは大量のトレースデータを効率的に処理・保存するよう取り込みを改善しました。また、LangSmithのフロントエンドレンダリングを改善し、長時間実行されるエージェントトレースをシームレスに表示できるようにしました。
LangSmithは常にトレース間の検索をサポートしており、イベントや全文検索に基づいて数十万のトレースから1つを見つけることができました。しかし、Replit Agentのトレースが長くなるにつれ、Replitチームはトレース内で特定のイベント（多くの場合、アルファテスターが報告した問題）を検索する必要が出てきました。これには既存の検索機能の拡張が必要でした。
これに応えて、LangSmithに新しい検索パターン「トレース内検索」が追加されました。大規模なトレース内を呼び出しごとにスクロールする代わりに、ユーザーは関心のある基準（たとえば、実行の入力や出力のキーワード）で直接フィルタリングできるようになりました。これにより、Replitがトレース内のエージェントステップをデバッグする時間が大幅に短縮されました。
Replit Agentの重要な差別化要素は、人間参加型ワークフローを重視していることです。Replit Agentは、AIエージェントが人間の開発者と効果的に協力し、開発者が必要に応じてエージェントの軌跡を編集・修正できるツールを目指しています。生成コードの管理、編集、検証などの役割を担う別々のエージェントが、ユーザーと継続的にやり取りし、多くの場合、長期間にわたる複数ターンの会話を行います。しかし、これらの会話フローの監視は困難で、各ユーザーセッションが分断されたトレースを生成していました。
これを解決するため、LangSmithのスレッドビューは、関連する（つまり同じ会話からの）複数のスレッドのトレースをまとめました。これにより、マルチターン会話全体にわたるエージェントとユーザーの相互作用の論理的なビューが提供され、Replitは1）ユーザーが行き詰まるボトルネックを見つけ、2）人間の介入が有益な領域を特定するのに役立ちました。
LangSmithの強力な可観測性機能を活用し、ReplitはAIエージェント監視の最前線を押し広げています。長く重いトレースの読み込み負担を軽減することで、Replitチームは複雑なエージェントの構築と拡張のプロセスを大幅に加速しました。迅速なデバッグ、トレースの可視性向上、並列タスクの処理改善により、ReplitはAI駆動開発の標準を確立しつつあります。