Databricksは、Claude PlatformがネイティブOpenTelemetry（OTel）可観測性をサポートし、Databricks MLflowをサポート対象のエクスポート先として利用できるようになったと発表しました。現在パブリックベータ版です。この統合により、Anthropic SDK、Messages API、Claude Managed Agentsを使用する開発者は、ネイティブトレースをDatabricksに送信し、MLflowを使用してエージェントのデバッグや変更の評価を行えるようになります。
エージェントは、重要な発見を見逃したり同じソースを繰り返し読んだりしながら、もっともらしい答えを返すことがあります。答えだけでは、なぜそうなったのかを説明できません。トレースは、その背後にあるモデルとツールの呼び出しを示すため、失敗を調査し、関連するケースを見つけ、変更が役立つかどうかをテストできます。
MLflow Tracingは、サービスシグナルを収集・エクスポートするためのオープン標準であるOpenTelemetry上に構築されています。トレースは、モデルリクエストやツール呼び出しなど、スパンと呼ばれる個々のステップとしてエージェントの実行を記録します。Claudeのネイティブインストルメンテーションはこれらのスパンを生成し、OpenTelemetryプロトコルを使用してエクスポートします。DatabricksはZerobus Ingestを介してスパンを受信し、MLflow実験にリンクされたUnity Catalogテーブルに保存します。これにより、Claudeのトレースを他のインストルメントされたサービスのトレースと並べて表示し、同じツールでデバッグと評価を行うことができます。Unity Catalogはデータへのアクセスを制御し、SQLでクエリを実行することもできます。ZerobusとUnity Catalogの組み合わせにより、企業は高QPSでの低レイテンシのトレース取り込みと、エージェントトレースに保存された機密データへのアクセスガバナンスという2つの重要な利点を得られます。
接続は3つのステップで行います。まず、Databricksで実験を作成します。Experimentsタブを開き、Create Experimentをクリックします。Trace storage locationでUnity Catalogを選択したまま、既存のカタログとスキーマを選択します。これにより、OpenTelemetryトレースを保存するUnity Catalogテーブルにリンクされた新しいMLflow実験が作成されます。詳細な設定ガイドでは、権限とSQLウェアハウスの要件について説明しています。
次に、ネイティブエクスポートを設定します。ワークスペースID、リージョン、スパンテーブルを使用してDatabricksの宛先を設定します。Zerobus接続ガイドでは、テーブルスコープのOAuthトークンを取得する方法を説明しています。新しいネイティブOTel統合は、Anthropic SDK、Messages API、Managed Agentsをカバーします。Anthropic SDKの場合、パッケージをインストールし、OTelトレーサープロバイダーとエクスポーターを設定して、Anthropic SDK呼び出しのスパンを作成します。Claude Platform OpenTelemetryガイドに従って、Messages APIとClaude Managed AgentからDatabricksの宛先にトレースを送信します。Claude CodeとClaude Agent SDKもOpenTelemetryをサポートしています。それらのトレースを同じ宛先に送信するには、アプリケーションを起動する前に追加の変数を設定します。
最後に、タスクを実行してトレースを検査します。Claudeエージェントを実行し、実験でTracesを開きます。トレースを開いて、モデル呼び出し、ツールアクティビティ、タイミング、キャプチャされた入力と出力を検査します。入力と出力は、コンテンツモードを「full」に設定してオプトインした場合にのみキャプチャされることに注意してください。
ClaudeトレースがMLflowに到着すると、開発プロセス全体で利用できます。トレースはデバッグの記録であり、専門家レビューのケースであり、エージェントの次のバージョンを評価するための証拠でもあります。
答えをデバッグするには、MLflowのAnalyze traceアクションがGenie Codeを調査に導入します。記録された実行を調べ、何が問題だったかを説明するのに役立ちます。不足しているコンテキスト、失敗したツール呼び出し、コストのかかるステップについてフォローアップの質問をし、説明の背後にある関連コンテキストを検査します。これにより、指示を修正するか、ツールを改善するか、エージェントが利用できるコンテキストを変更するかを決定できます。
MLflow Issues（ベータ版）は、Genie Codeを使用して繰り返し発生する品質と運用の問題を特定します。応答、ツール呼び出し、タイミング、エラー、評価を調べ、関連する発見をグループ化し、サポートするトレースへのリンクを提供します。例としては、トークンを浪費する繰り返し検索、ツールの失敗を引き起こす引数の欠落、必要な形式に従わない応答などがあります。検出をスケジュールして、新しいトレースが到着するたびに分析を継続できます。チームは実行頻度を選択し、メタデータやタグを使用して特定のトラフィックに焦点を当て、検索する問題の種類をカスタマイズできます。修正後、問題モニターは問題が再発するかどうかを追跡できます。MLflowは問題のスコアラーを作成し、最近のトレースを評価してベースラインを確立し、新しいトレースのサンプルをスコアリングして時間の経過に伴う頻度を測定します。
一部の品質判断にはドメイン知識が必要です。MLflow Review Queuesは、選択されたトレースとエージェントに合わせた質問を通じて、その専門知識を開発プロセスに導入します。レビュー担当者は、記録されたリクエストと応答を評価し、不足しているものを説明し、期待される答えを提供できます。そのフィードバックは、開発者がエージェントを改善し、後続の評価のための参照回答を確立するのに役立ちます。
指示、ツール、スキルの変更は、1つの失敗を修正しながら別の失敗を導入する可能性があります。トレースはエージェントの動作を測定可能にします。ClaudeトレースでMLflow Agent Evaluationを実行して、プロンプト、スキル、ツールの変更がエージェントを改善するか後退させるかをテストします。たとえば、次のコードは、エージェントが冗長なツール呼び出しを行うかどうかを調べるLLMジャッジを実行します。元のエージェントと改訂されたエージェントが同じケースで実行された場合、同じジャッジを使用して評価実行を比較できます。MLflow UIでCompareをクリックすると、スコアと応答を並べて表示し、残りの失敗を説明するために基になるトレースを利用できます。同じアプローチは、エージェントが必要なワークフローに従ったか、適切なツールを使用したかなどのチェックにも機能します。
詳細と開始方法については、次のリソースを参照してください。Claude OpenTelemetryトレースガイド：Anthropic SDK、Messages API、Claude Managed AgentsのネイティブOpenTelemetryエクスポート設定。DatabricksとUnity Catalogでのトレース：Databricksでのトレースが初めての方向けに、実験設定、トレースストレージ、アクセスを説明。MLflowトレース全体の問題の検出と監視：繰り返し発生する障害パターン、サポートするトレース証拠、継続的なモニタリング。MLflowを使用したClaude Codeスキルの評価：行動ジャッジと、スキルをテストおよび改善するための再現可能なプロセス。