Databricksは最近、Azure Government上の新しいAzure Databricksがベータ版になったことを発表しました。このマイルストーンにより、米国公共部門の機関とそのパートナーは、商用顧客と同じモダンなデータ基盤を利用できるようになり、データとAIのイノベーションと厳格なセキュリティおよびコンプライアンス要件の間で長年強いられてきた二者択一のジレンマを解消できます。
政府機関は長い間、最新のデータとAIのイノベーションを採用するか、ミッションに必要な厳格なセキュリティとコンプライアンス要件を満たすかというジレンマに直面してきました。その結果、公共部門の組織は商用の同業者よりも数年遅れているプラットフォームで運用せざるを得ませんでした。新しいAzure Databricks on Azure Governmentの登場は、この矛盾を解決するためのものであり、完全なDatabricks Data + AIプラットフォームの機能を米国公共部門に提供しつつ、FedRAMP Class D(旧「High」)とDoW IL5の認証取得に向けて前進します。
すべてのAzureクラウド環境に対応する単一のプラットフォーム
Databricksは最近、Azure商用クラウドでFedRAMP Class Dの提供を開始しました。そして今回、Databricksの最高の機能をAzure Governmentに導入することで、米国公共部門の顧客は両方のAzureクラウドでモダンなDatabricksプラットフォームを利用できるようになります。連邦民用機関、州および地方政府、そしてFedRAMP Class Dに適合するワークロードを持つパートナー向けには、Azure商用クラウド版が現在利用可能です。専用の政府クラウドとFedRAMP Class DおよびDoW IL5へのパスを必要とする組織向けには、新しいAzure Government環境がベータ版として公開されています。
Azureのファーストパーティサービスとして、Azure DatabricksはAzureポータルを通じて管理され、Microsoft Entra IDとネイティブに統合され、既存のAzureコミットメントに算入されるため、機関は既に信頼しているクラウド、契約、IDシステムの中で導入できます。
新環境で利用可能な機能
従来の環境とは異なり、新しいAzure Databricks on Azure Governmentは商用のAzure Databricksと同じアーキテクチャで動作します。完全なDatabricksプラットフォームを受け入れるように設計されており、すべての商用機能が同じ継続的リリースを通じてAzure Governmentに提供されます。ベータはその道の最初のリリースであり、既に政府チームに商用の同業者が依存するコア機能を提供しています。
第一に、Azure Governmentで初めてUnity Catalogが導入され、チームはすべてのデータとAI資産にわたるアクセス管理、データリネージの追跡、使用状況の監査が可能になります。ポリシーを一度定義すればどこにでも適用でき、誰がいつ、なぜどのデータにアクセスしたかを簡単に示せます。
第二に、Databricks SQLは高速で高い並行性を持つ分析を提供します。エンジニアやデータサイエンティストはワークロードごとにクラシッククラスタまたはサーバーレスコンピューティングを選択でき、クラスタのサイジングやパッチ適用の時間を減らし、ミッションの遂行に集中できます。
セキュリティ面では、すべてのワークスペースでコンプライアンスセキュリティプロファイルがデフォルトで有効になっています。これにより、強化された監視、自動クラスタ更新、強化されたコンピューティングイメージ、クラスタノード間の暗号化されたトラフィックが提供されます。フロントエンドとバックエンドの両方でAzure Private Linkが必須であり、すべてのトラフィックがAzureバックボーン上に留まります。
さらに、システムテーブルは管理者に監査ログ、請求、コンピューティング、パイプライン、ML実験、クエリ履歴、ストレージをカバーするクエリ可能な統一ビューを提供し、使い慣れたツールで監査要求に応答しコストを管理できます。顧客コンテンツは米国政府クラウドリージョンであるUS Gov VirginiaとUS Gov Arizonaでのみ保存および処理されます。
次のステップ:完全なAI機能をミッションに
ベータはAIが依存するガバナンスされた安全な基盤を築きます。次に、Databricksは完全なAIスイートをAzure Governmentに導入します。すべての機能はUnity Catalogによってガバナンスされ、各モデル、エージェント、回答は基盤となるデータと同じアクセス制御、リネージ、監査を継承します。ロードマップには以下が含まれます:
- Genieによる会話型分析:自然言語で質問し、正確でガバナンスされた回答を取得。SQLもレポートキューの待ち時間も不要。
- AI支援開発:組み込みAIがエンジニア、アナリスト、データサイエンティストのコード作成、説明、デバッグを迅速化。
- Agent Bricksによる本番グレードのエージェント:独自のドキュメントやデータに基づいて推論するエージェントを構築、評価、展開。例えば、ケースファイルの検索、レポートの要約、定型ワークフローの自動化など。組み込みの品質評価により、チームは結果をユーザーに提示する前に信頼できます。
- モデルとサービング:Model ServingとFoundation Model APIsにより、チームは単一のガバナンスされたエンドポイントを通じて独自モデルを展開し、厳選された基盤モデルを利用できます。
- すべてのデータに対するAI:Vector SearchとAI Functionsが検索拡張アプリを実現し、データを移動せずにSQLで直接分類、抽出、要約できます。
- データとAIアプリケーション:Databricks AppsとLakebaseにより、チームはレイクハウス上で直接安全でインタラクティブなアプリケーションと運用ワークロードを構築できます。
ロードマップの機能とスケジュールは将来の見通しであり、変更される可能性があります。
FedRAMP Class DとIL5の認証
Databricksは、新しいAzure Government環境のためにFedRAMP Class D(旧FedRAMP High)とDoW Impact Level 5(IL5)の認証を積極的に取得中であり、2027年初頭を予定しています。認証取得後、機関と防衛パートナーは、現代のDatabricksプラットフォーム上で制御非機密情報(CUI)とミッションクリティカルなワークロードを実行できるようになります。これには、Azure商用クラウドではサポートされていないIL5を必要とする防衛ワークロードも含まれます。認証の進捗はFedRAMP Marketplaceで確認できます。
ベータ版の開始方法
新規ユーザーは、Azure Databricksに一度も使用されたことのない専用のAzure Governmentサブスクリプションでオプトインする必要があります。Azureポータルで新環境プレビュー機能を登録すると、そのサブスクリプション内のすべての新しいワークスペースが新環境に作成されます。ベータ期間中、環境は非本番ワークロードを対象としています。現在構築したワークスペースは、一般提供時に本番環境に引き継がれます。
既に従来のAzure Government環境を利用しているユーザーは、移行計画を開始する時期です。既存のワークスペース、ノートブック、データ、構成は影響を受けないため、新環境を並行して探索し、前進する道筋を立てることができます。以下の4つの領域から始めることをお勧めします:
- Unity Catalog:従来のAzure GovernmentワークスペースにはUnity Catalogがありませんでした。早期に開始することで、チームは統一ガバナンスを設計および採用する時間を確保できます。
- サーバーレスコンピューティング:サーバーレスは政府環境では新しいため、内部のセキュリティとコンプライアンスのレビューを今すぐ開始してください。
- ネットワーク暗号化:すべてのワークスペースでコンプライアンスセキュリティプロファイルが有効になっており、Azure Virtual Network暗号化をサポートするインスタンスタイプが必要です。クラスタ構成とTerraform/ARMテンプレートを要件に合わせて更新してください。
- ATO:セキュリティおよび認可担当者と協力して、Azure Databricks on Azure GovernmentをシステムのAuthorization to Operate(ATO)に追加し始めてください。ベータ期間中にシステムセキュリティプラン、データフロー、境界ドキュメントを更新することで、一般提供時(2027年初頭予定)にCUI本番ワークロードを実行できる立場になります。
Databricksの連邦チームがワークロードの評価と移行計画を支援します。開始するには、Databricksの担当者に連絡するか、技術的な詳細についてAzure Databricksのドキュメントを参照してください。