本文にスキップ
AI News HubLIVE
サイト内リライト4 分で読了

Genie ZeroOps 公開ベータ版:8万件の顧客問題から学んだデータパイプラインを修正する自律エージェント

記事の要約

Databricks は、データパイプラインの問題を検出・調査・解決する自律エージェント Genie ZeroOps の公開ベータ版を発表しました。8万件以上の顧客問題の観察に基づいて構築され、共有受信トレイ、ワンクリック PR 作成、カスタム指示などの新機能が追加されています。

Genie ZeroOps 公開ベータ版:8万件の顧客問題から学んだデータパイプラインを修正する自律エージェント
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Databricks は今年6月に Genie ZeroOps を発表しました。これは、上流のスキーマ変更やデータ品質異常など、データパイプラインの問題を検出、調査、解決する自律エージェントです。数百社の顧客との広範なプライベートプレビューを経て、この製品は公開ベータ版として利用可能になりました。ワークスペース管理者はプレビューページから有効化できます。

データエンジニアリングチームは日々数千のパイプラインを管理しており、大きな負担を抱えています。ジョブの失敗やパイプライン更新のエラーなど、発見と修正が容易な障害もあれば、静かに進行する問題もあります。テーブルの更新が止まったり、昨夜のロードが通常の半分の行数しか届かなかったりしても、ダッシュボードに誤った数値が表示されるまで誰も気づきません。いずれの場合も、その後の作業は通常同じです。通知が送られ、エンジニアが数時間かけてログ、上流テーブル、関連アセットを手動で調査し、最終的に修正を含む PR を生成します。

Genie ZeroOps はこの手作業のワークフロー全体を自動化しつつ、セキュリティ、ガバナンス、推奨の品質を維持します。問題のアラートからプルリクエストまで、5つの主要ステップでチームを導きます。まず検出では、ジョブ、パイプライン、テーブルを継続的に監視します。ジョブ監視でハード障害を、データ品質監視でサイレントなデータ鮮度と完全性の問題を検出します。次に調査では、ログ、ソースコード、テーブルメタデータ、リネージを横断してコンテキストを収集し、SQL クエリを実行して根本原因を特定します。修正を推奨し、下流への影響で優先順位を付けます。第3の検証では、サンドボックス内の単体テストとドライランで提案された修正をテストし、変更を適用する前に仮説を安全に検証します。第4の通知では、問題の要約と推奨修正を Slack、Teams、PagerDuty に送信します。低優先度の問題をフィルタリングし、チームが緊急事項に集中できるようにします。最後に修復では、コード修正を提案し、Git ベースのジョブについては詳細が事前入力された PR を自動的に作成します。

限定的なプライベートプレビュー期間中、ZeroOps は数百社にわたる8万件以上の実際の顧客問題を観察し、パイプライン保守がいかに困難であるかを浮き彫りにしました。問題の半数以上が、適切なトリアージ、優先順位付け、解決のために組織固有の知識を必要とすることが分かり、カスタムコンテキストの根本的な必要性が示されました。このフィードバックに基づき、Databricks はいくつかの重要な機能を構築しました。共有受信トレイでは、ZeroOps の受信トレイをチームで共有し、全員が同じインシデントを確認できるため、カバレッジの隙間をなくします。要約付き通知は、新しいインサイトごとに問題の簡単な要約と推奨事項を送信し、ユーザーが即座に情報に基づいた意思決定を行えるようにします。カスタム指示で通知をフィルタリングし、ノイズを抑えることもできます。カスタムエージェント指示では、チームが独自のビジネスルールを追加できます。既知の不安定なソース、好ましい修正方法、命名規則などを指定することで、ZeroOps の推奨がチームの働き方に沿ったものになります。ワンクリック PR 作成機能により、診断から解決までワンクリックで進められます。ZeroOps はコード修正と詳細が事前入力されたプルリクエストを自動生成します。ガバナンスは組み込まれています。ZeroOps は既存の Unity Catalog 権限に従うため、許可されたものだけを参照し、共有されるインサイトも同じルールに従います。PII は通知が Databricks を離れる前に秘匿化されます。

プライベートプレビュー中、Databricks は内部 AI トリアージツールを試作している顧客と話しました。シンプルなプロトタイプの構築は容易になっていますが、本番環境で自動トリアージを拡張すると、時間とともに積み重なる複雑な運用上の課題が生じることが分かりました。システム保守では、複数チームにまたがる数千のパイプラインを管理するシステムの監視には、継続的な維持、サービスレベルアグリーメントの追跡、多様な関係者間の通知調整が必要です。ガバナンスとセキュリティでは、効果的なトリアージにはソースリポジトリ、データテーブル、内部ツールへのアクセスが必要であり、大規模にユーザーとエージェントのアクセスレベルを安全に設定することは大きな課題です。カスタムコンテキストの拡張では、実用的な AI の推奨にはドキュメント、暗黙知、過去の動作などのカスタムコンテキストが必要であり、これらのコンテキストの取り込み、拡張、管理を規模に合わせて行うことは困難です。精度とドリフトでは、コンテキストの肥大化がハルシネーションや時間経過による精度低下につながる可能性があり、評価スイートの維持と推奨品質の監視には継続的なエンジニアリング投資が必要です。Genie ZeroOps はこれらの複雑さをネイティブに処理し、Unity Catalog、メタデータ、パイプラインリネージへの直接アクセスを活用して、完全なコンテキストで問題を解決します。

よくある質問について、Genie ZeroOps は直接の承認なしにコードやデータを変更することはありません。現時点では、障害を調査し、修正を提案し、その修正を新しいブランチにプッシュしてプルリクエストを作成できますが、人がレビューする前に本番コードやデータを変更することは決してありません。データ品質監視を使用して、コミットが異常に遅れて到着する(鮮度)テーブルや、行数が予想範囲を下回る(完全性)テーブルをフラグします。Claude Code などのコーディングエージェントとは異なり、ZeroOps は問題が検出されるとプロンプトなしで自動的に起動するため、誰かが確認する前に分析が準備されています。また、実行履歴、Unity Catalog リネージ、Delta 履歴、DQM シグナルへのアクセスが組み込まれており、Unity Catalog の権限内で動作します。ZeroOps は実行ログ、ソースコード、上流テーブルのメタデータとサンプルを読み取り、Unity Catalog の権限を尊重します。Databricks のセキュリティ境界内でホストされるモデルを使用し、モデル呼び出しはワークスペースのリージョン内に留まり、モデルプロバイダーはプロンプトや応答を保持しません。カスタム指示を追加したり、インサイトを「問題ではない」とマークしたりすることで、予期される障害に関するアラートを停止できます。

開始するには、ワークスペース管理者が ZeroOps 機能を有効にし、パイプラインページの上部にある ZeroOps バナーを見つけます。詳細についてはドキュメントを参照してください。チームが ZeroOps を本番環境に導入する支援が必要な場合は、アカウントチームに連絡してワークショップについて問い合わせてください。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • Genie ZeroOps は、ジョブ監視とデータ品質監視により、ハード障害とサイレントなデータ品質問題の両方を検出します。
  • エージェントはログ、メタデータ、リネージからコンテキストを収集し、根本原因を特定してサンドボックスで修正を検証します。
  • 新機能には共有受信トレイ、要約付き通知、カスタムエージェント指示、ワンクリック PR 作成が含まれます。
  • エージェントは Unity Catalog の権限に従い、通知を送信する前に PII を秘匿化します。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。