エージェントオブザーバビリティ：LLMエージェントを本番環境で監視・評価する方法

従来のソフトウェアを本番環境にデプロイする際、何が起こるかはおおよそ予想できます。ユーザーはボタンをクリックし、フォームを入力し、決められたパスをたどります。テストスイートはコードパスの80～90%をカバーし、監視ツールはエラー率、応答時間、データベースクエリといった通常の指標を追跡します。問題が発生した場合、スタックトレースとログを確認します。

エージェントの動作は異なります。自然言語入力を受け付け、その入力空間は無限です。大規模言語モデル（LLM）によって駆動され、プロンプトの微妙な変化に敏感で、同じ入力に対して異なる出力を生成する可能性があります。また、マルチステップの推論チェーン、ツールコール、検索操作を通じて意思決定を行い、これらは開発中に完全に予測することは困難です。

つまり、エージェントの本番監視には、従来のオブザーバビリティとは異なる機能が必要です。この記事では、エージェントオブザーバビリティがなぜ独特の課題を持つのか、何を監視すべきか、そしてエージェントを大規模にデプロイしているチームから学んだことを探ります。

**エージェントが従来のソフトウェアと異なる理由**

エージェントを本番環境にデプロイするチームと協力する中で、監視アプローチに影響を与える2つの重要な違いが観察されました。

**無限の入力空間**：従来のソフトウェアの入力空間は有限で制約されています。ユーザーはボタン、ドロップダウン、フォーム、特定の形式のAPI呼び出しを通じて操作します。一方、エージェントは主に自然言語を入力として受け入れます。自然言語には固定された有効入力セットがありません。ユーザーは同じリクエストを無数の方法で表現できます。

**LLMは小さな変更に頑健ではない**：LLMはプロンプト感度と非決定的な振る舞いを示します。入力のわずかなバリエーションが異なる出力につながる可能性があり、同じ入力でも異なる結果を生むことがあります。これは、開発中に観察される動作が本番環境の動作と一致しない可能性があることを意味します。

**エージェントの本番監視は異なる**：従来のAPMツールはレイテンシ、トラフィック、エラー、飽和などのメトリクスに焦点を当てています。エージェントオブザーバビリティは、システムメトリクスだけでなく、入出力自体を監視する必要があります。

**自然言語インタラクションの監視**：エージェントがユーザーと会話している場合、主要なシグナルは会話自体にあります。完全なプロンプト-応答ペア、マルチターンのコンテキスト、エージェントの軌跡と中間ステップをキャプチャする必要があります。これは従来のロギングとは質的に異なります。

**大規模な人間による判断の課題**：自然言語インタラクションは適切に評価するために人間の判断を必要とすることがよくあります。開発中は手動でトレースをレビューできますが、本番環境では数千または数百万のインタラクションを扱う可能性があります。私たちは、2つの補完的なアプローチが効果的であると見出しました。

**構造化された人間レビューのためのアノテーションキュー**：アノテーションキューは、人間のレビューを可能な限り効率的にします。特定のトレースをレビュー対象にルーティングし、評価基準を定義し、チームコラボレーションを可能にし、フィードバックループを作成できます。

**人間の判断の代理としてのLLM**：LLM自体を使用して人間の判断をスケーリングします。オンライン評価器を設定して本番トラフィックで自動実行し、品質メトリクス、安全性、フォーマット検証、トピック分類をチェックできます。ただし、LLM評価にはレイテンシ、コスト、精度、評価ドリフトといった制約もあります。そのため、自動評価と定期的な人間レビューを組み合わせることを推奨します。

**本番エージェントオブザーバビリティのためのツール**：LangSmithは、Insights Agent（使用パターンとエラーパターンの自動発見）、オンライン評価（継続的な品質監視）、ダッシュボードとアラート（重要なメトリクスの追跡）を提供します。従来のAPMツールは、自然言語データの処理、開発ワークフローとの統合、クロスファンクショナルチームのサポートにおいて不足しています。

**未解決の課題**：評価器の精度と信頼性、大規模なコスト、プライバシーとコンプライアンスなどが残っています。

**結論**：エージェントは従来のソフトウェアとは異なる動作をするため、新しい監視アプローチが必要です。構造化されたアノテーションキュー、自動パターン発見、継続的評価は、本番エージェントの動作を観察可能で改善可能にするための現在の考え方です。