Genie ZeroOps の発表：データとAI運用を自動運転に

データチームは長年、構築よりもメンテナンスに多くの時間を費やしてきました。AIの進歩によりパイプラインやモデルの構築が高速化するにつれ、その運用負担は増大しています。コーディングエージェントは構築を支援しますが、運用を自動化することはできません。なぜなら、それらはデータプラットフォームの一部ではなく、メトリクス、ログ、リネージにアクセスできず、本番データを安全に操作できないからです。

Databricks はこの課題を解決するため、Genie ZeroOps を開発しました。これは Databricks プラットフォームに組み込まれた自律型バックグラウンドエージェントで、パイプライン、ジョブ、テーブル、MLモデルなどのデータ・AI資産を監視・調査・修正します。プラットフォーム内部で動作するため、観測レイヤーからのメトリクス、イベント、ログ、実行履歴への完全なアクセス、Unity Catalog によるデータリネージ、そして本番データに影響を与えずに修正を検証するためのサンドボックス環境（ゼロコピークローン使用）を安全かつ容易に利用できます。

障害発生時のプロセスは以下の通りです。検出：プラットフォームの可観測性にアクセスして継続的に監視し、エラーが発生する前にデータ品質指標に現れるサイレント障害も捉えます。評価：Unity Catalog のリネージにより完全な依存関係グラフを取得し、コードバグ、三つ上流のテーブルスキーマ変更、別パイプラインからの不良データなど障害の真の原因を追究します。修正：エージェントによるコード生成で修正案を作成し、開発ワークフロー（GitHub PR、Jiraチケットなど）をコンテキストとして利用します。検証：ゼロコピークローンとスコープ付き権限、ネットワーク分離を備えた安全なサンドボックスで修正案を実データに対して実行し、本番には影響を与えません。承認後初めて本番に適用されます。

なぜコーディングエージェントではデータとAI運用を解決できないのでしょうか？データエンジニアリングとAIはソフトウェアエンジニアリングとは根本的に異なります。コンテキストにはコードだけでなくデータが含まれ、障害はサイレントかつ永続的であり、本番データは機密性が高く厳格に管理されています。コーディングエージェントは検出段階でテレメトリのコンテキスト不足や巨大なログへの対応困難、評価段階でリネージデータへのアクセス不足、修正段階でデータ関連問題への対応不能、そして最も困難な検証段階では実データへの安全なアクセスが不可能という課題を抱えています。

Genie ZeroOps はデータプラットフォームの一部であるため、これらの課題を克服します。特に機械学習ワークロードにおいてその利点は顕著です。モデルはパイプラインエラーがなくても誤った予測を生成する可能性があり、Genie ZeroOps はその原因を診断し、修正済み候補を構築し、本番トラフィックに影響を与えずに検証します。パイプライン修正ではテーブルのゼロコピークローンで検証し、モデル修正では修正済み特徴量で候補をトレーニングし、本番モデルと同じ評価スイートと基準で評価し、測定可能な改善がある場合のみ候補を提示します。

ユーザーは完全に制御可能です。監視する資産と許可されたアクションを設定でき、すべてUnity Catalogガバナンス下で動作し、問題はインBOX形式のUIに重要度順に表示され、根本原因分析と修正案が提示されます。本番への適用は承認が必要です。サンドボックスが信頼の技術的基盤であり、ゼロコピーにより実データでのテストが可能で、権限とネットワーク分離により境界外へのアクセスを防ぎます。

Genie ZeroOps はまもなくプライベートプレビューを開始し、初回はジョブ、パイプライン、テーブル、MLワークロードをサポートします。アプリとLakebaseデータベースはロードマップに含まれています。早期アクセスを希望する場合は、Databricksのアカウントチームにご連絡ください。