Databricks のシステムテーブルを使うと、プラットフォームの利用状況とコストに関する豊富な情報を得られます。コストに注目すると、system.billing.usage テーブルが Databricks アカウント全体のコストをグローバルに集約したビューを提供し、system.billing.list_prices と組み合わせることで支出がどこに配分されているかを深く把握できます。Databricks は事前構築済みの Usage Dashboard も提供しており、コスト理解の優れた出発点になりますが、基盤となるテーブルを理解して自分でクエリを書くことで、特に Databricks の可視化機能を活かす場面で洞察を次のレベルに引き上げられます。
以下は支出をよりよく理解するための 5 つのクエリです。まず製品別の日次支出の内訳から始め、次に特定の SQL ウェアハウスとタグという視点で支出を理解し、最後に異常な支出が発生した日を特定し、AI で将来の支出を予測します。いずれのクエリも返される結果だけでも洞察が得られますが、AI/BI ダッシュボードのデータセットとして使うとより効果的で、データを可視化し Genie でさらに掘り下げられます。
クエリ 1:製品別の日次支出。最初のクエリは、日付と製品ごとに支出を分解するものです。使用量表(ファクト)と価格表(SCD Type 2 のディメンション)を結合し、リスト価格ベースの時系列の支出を算出します。前述のとおり、提供されるリスト価格表を、該当する割引を反映したカスタムテーブルに置き換えれば、実際のコストを確認できます。このクエリは、Databricks 環境がどのように使われているか、どの製品の利用が増減しているか、総支出はいくらかをつかむのに最適で、Databricks の支出を調べるときは常にここから始めるのがよいでしょう。注意点は、system.billing.usage には Databricks のコストしか含まれないことです。そのため非 Serverless コンピュートを使っている場合、クラウド基盤の支出は含まれず、該当するクラウドコンソール(コンピュート、ネットワーキング、ストレージなど)で確認する必要があります。
クエリ 2:ウェアハウスのコスト推移。Databricks SQL ウェアハウスは、SQL アナリストやダッシュボード、Genie エージェントを支える非常に強力なツールであり、そのコスト推移の把握は Databricks アカウントを管理する誰にとっても重要です。2 つ目のクエリではウェアハウスの日次利用量の推移を確認できます。Databricks は従量課金なので、コスト推移は利用量の推移とほぼ同義です(少なくとも稼働時間が利用量に対応します)。このクエリでさらに分析すべきウェアハウスを特定したら、system.compute.warehouse_events システムテーブルやウェアハウスの監視ページを使い、スケーリングや自動停止の設定を見直すべきか確認できます。ウェアハウスの利用量は、その上に構築されたダッシュボードや Genie スペースがどう使われているかを素早く把握する手がかりにもなり、ビジネスユーザーへのさらなる周知が必要かどうかの判断に役立ちます。デフォルトでは、このクエリは対象期間中にアクティブだったすべてのウェアハウス(削除済みのものも含む)を含みます。is_deleted 列でフィルタリングすれば、削除済みウェアハウスを分析から除外できます。
クエリ 3:タグによるコスト配賦。タグは、ユーザー、プロジェクト、チーム、ワークスペースをまたいで利用量を追跡できる強力な機能です。特にカスタムタグはコンピュートポリシーや Serverless 使用ポリシーで強制でき、そのタグをシステムテーブルの利用データ分析に活用できます。たとえば、チーム単位のタグ付けを強制し、許可される値をマーケティング、財務、エンジニアリングといったビジネスユニットに対応させ、グループ化するタグをパラメーター化したこのクエリでチーム別の利用量を確認できます。タグ戦略を採用していて、タグの値に基づいてコストを見たいときはいつでも使えます。テーブル内のすべてのレコードにタグが必要なわけではなく、そのレコードにタグキーが存在してもタグが付いていなければ untagged として記録され、分析から除外したり、タグ付けが適切に強制されていない箇所の特定に使ったりできます。注意点は、タグのないレコードは untagged として返ることです。これはタグ強制の漏れを見つけるのに役立つ一方、タグが一部の利用にしか意味を持たない場合には望ましくないこともあります。where 句に u.custom_tags[:tag_key] is not null を加えればそのタグを持たないレコードを完全に除外でき、複数のタグで絞り込んだり、group by に複数のタグを追加したりしてさらに踏み込むこともできます。
クエリ 4:日次コストの異常検知。コンピュートポリシー、ジョブのタイムアウト設定、予算による適切な管理は、Databricks プラットフォーム管理者が支出を上限内に保つのに役立ちますが、十分な権限を持つユーザーが長時間実行される、あるいは想定以上にスケールしたままのジョブやウェアハウスを作成し、支出が予期せず急増する可能性は常にあります。4 つ目のクエリはそれをできるだけ早く検知するためのものです。支出の 14 日間の移動平均を使い、日次支出が平均より 1 標準偏差を超えていれば elevated、2 標準偏差を超えていれば anomaly として分類します。このクエリはコスト監視ダッシュボードに最適で、前日の支出が elevated または anomaly だった場合に管理者へ自動でメールするアラートのベースとしても使えます。注意点は、ワークロードが日々大きく変動する場合、利用量の標準偏差が非常に大きくなり、このクエリは最大級の支出スパイク以外はほとんど捉えられない可能性があることです。
クエリ 5:支出の予測。これまでの 4 つのクエリは過去の支出に焦点を当ててきましたが、将来の支出も Databricks 利用の全体像を理解するうえで同様に重要です。通常は複雑な予測モデリングが必要になりますが、Databricks SQL AI 関数には強力な ai_forecast があり、Databricks の利用データのような時系列データセットを将来へ外挿できます。関数に投入するデータ量を調整し、結果をグラフで可視化して、Databricks 支出の予測を素早く生成できます。このクエリもコスト監視ダッシュボードに追加するのに最適で、将来の支出を把握して計画や予算編成に役立てられます。注意点は、このクエリは過去のデータに基づく予測であるため、将来の計画に使う場合は、この予測では自動的に考慮されない新規ワークロードを必ず見込んでおくことです。
ダッシュボード化のすすめ。これらのクエリを一度実行すれば何が起きたかはわかりますが、AI/BI ダッシュボードに固定するとチームの支出管理の仕方が変わります。各クエリをデータセットとして配置し、日付範囲とタグのパラメーターを設定して、ダッシュボードを週次のコストレビューにしましょう。次のステップとして、Databricks システムテーブルのリファレンスをブックマークしてクエリ可能なテーブルの完全なカタログを確認し、さらに多くのサンプルクエリを探索してツールキットを広げられます。まだワークスペースがない場合は無料トライアルを始められます。