本文にスキップ
AI News HubLIVE
サイト内リライト6 分で読了

Databricks AI Runtime 上のテーブル基盤モデル

記事の要約

Databricks はテーブル基盤モデル(TFM)を解説する。TFM は事前学習済みで、タスク固有の学習なしに新しいデータセットへ予測を行い、予測 ML の実験を加速する。記事は TFM の仕組み、主要モデルの規模とライセンスの違い、GPU 推論のコストと運用上のトレードオフを整理し、Databricks AI Runtime がマネージド GPU、MLflow による追跡、Unity Catalog のガバナンスで TFM の実験とファインチューニングを支援することを示す。

Databricks AI Runtime 上のテーブル基盤モデル
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

最も価値の高い予測機械学習アプリケーションの多くはテーブルデータに依存している。信用リスク、顧客離反、需要予測、予知保全といったユースケースでは、従来、予測タスクごとにチームがモデルを開発・学習・維持する必要があった。テーブル基盤モデル(TFM)は別のアプローチを提供する。事前学習済みのモデルが、タスク固有の学習なしに新しいデータセット上で予測を行えるのだ。

Databricks は、大規模な ML システムの本番化が多くの企業にとって依然として課題だと指摘する。第一にモデル開発では、各ユースケースにデータ準備、特徴量エンジニアリング、モデル選択、学習、評価が必要で、精度と性能の要件を満たすモデルを見つけるには相応の実験を要する。第二にモデル維持では、運用後の性能劣化やデータドリフトの監視、データやビジネス要件の変化に応じた再学習パイプラインの保守が必要になる。最近のエージェント型ソリューションはこうした高コストな作業を加速するが、依然として ML タスクやデータセットごとに個別学習したモデルに依存している。この依存をなくすため、先駆的な研究機関が Transformer アーキテクチャを大規模なテーブルデータに適用し、TFM という新しいモデルカテゴリを生み出した。TFM は事前学習済みであるため自社データセットでの学習が不要で、個別の学習・再学習パイプラインはほぼ不要になる。

TFM は公開ベンチマークで高い精度を示すものの、企業 AI の主流に到達したわけではない。理由の一つは分野がまだ黎明期にあり、多くの実務者が存在を知らないこと、もう一つは計算基盤の要件である。

仕組みとして、TFM は主に数百万の多様な合成データセットで事前学習され、未知のデータセットにおける変数間の関係を推論できるようになる。予測時には、ラベル付きの行をコンテキストとして予測対象の行と共に入力し、Transformer の中核であるアテンションが新しい各行をこれらの例と関連付ける。予測は単一のフォワードパスで生成され、このプロセスは文脈内学習(ICL)と呼ばれる。このゼロショット手法はそのまま強力なベースラインとなるが、TFM はファインチューニングも可能で、特定データセット上で事前学習済みの重みを更新することで、最も重要なユースケースの予測精度をさらに高められる。

Transformer がテーブルデータを扱う際の主な複雑さは入力型の多様性にある。テキストの単語や画像のピクセルとは異なり、表には数値、カテゴリ、ブールの特徴が混在し、それぞれ尺度と意味が異なる。これらの入力を共通の潜在空間へ効率的に埋め込むことが大きな課題であり、コミュニティはカテゴリ特徴と数値特徴の両方を単一の共有表現に写像する専用トークナイザを開発して解決した。各セルの効率的なトークン化が実現すると、次は行と列の関係を効果的に学習する方法が問題となった。TabPFNv2 はこれを基盤モデルの規模で初めて実現し、行内、次に列内へとアテンション機構を順に適用することで、特徴間の複雑な相互作用とデータサンプル間の関係を捉えた。しかしこの行・列にわたる密なアテンションは、サンプル数と特徴数が増えると計算コストが急増し、大規模化が困難になる。そこで TabICLv1 は行圧縮のアプローチを採り、専用エンコーダで各行をわずか 4 トークンで表現することでサンプル間アテンションを大幅に安価にしつつ、競争力のある予測性能を維持した。このアーキテクチャは後に TabPFNv3、TabFM、KumoTabular などのモデルに採用・拡張され、現在 TabArena などのベンチマークで上位に位置している。

アーキテクチャに加え、TFM のもう一つの特徴は構築方法にある。モデル作成者は主に事前学習段階で合成データを用いる。TFM のアウトオブボックスの成功を左右するのは、現実世界のデータセットの分布と関係を正確に表現する合成データを生成できるかどうかだ。堅牢な基盤モデルを構築するには、欠損値、外れ値、未観測の特徴といった企業データに共通する品質問題を捉えた大規模で多様なデータをシミュレートする必要がある。構造的因果モデルはこうした事前学習データセットのサンプリングに標準的な枠組みを与えるが、具体的なパイプライン構成は TFM ごとに大きく異なる。

TFM の領域は頻繁な新リリースで急速に進化しており、企業導入のための評価には慎重な検討が求められる。Databricks は規模とライセンスという実運用の二つの観点から主要モデルを比較している。TabICLv2 は 2026 年 2 月公開、約 2800 万パラメータ、BSD 3-Clause で商用利用が比較的容易。TabFM は 2026 年 6 月公開、約 4 億パラメータ、TabFM Non-Commercial License v1.0 で商用利用は容易ではない。TabPFNv3.5 は 2026 年 9 月公開、約 2.2 億パラメータ、TABPFN-3.5 License v1.0 で商用利用は容易ではない。Mitra v2 は 2026 年 9 月公開、約 7700 万パラメータ、Apache-2.0 で商用利用が可能。KumoTabular は 2026 年 9 月公開、約 2.15 億パラメータ、OpenMDW-1.1 で商用利用が可能である。なお TabFM と TabPFNv3.5 はモデル作成者との合意により商用利用可能になると注記されている。現時点の最先端の完全なリストは TabArena や TALENT などのベンチマークを参照されたい。各 TFM のトレードオフは異なるため、Databricks は自社データで直接評価することを勧めている。企業の独自ワークロードは合成データや標準ベンチマークと大きく異なることが多いからだ。

予測精度だけでなく、運用コストも評価する必要がある。TFM は個別学習パイプラインをなくすことでエンジニアリング時間を大幅に節約するが、基盤モデルを GPU で動かす以上、従来の XGBoost を CPU で実行するより予測あたりのコストは本質的に高い。どのユースケースでも、TFM の採用は市場投入の迅速化と性能向上を、GPU 推論の継続コストと比較衡量することを意味する。

GPU はもう一つの現実的な課題である。TFM の推論は GPU 上で最適化され、モデル自体は単一 GPU に収まるほど小さいが、文脈内学習では予測のたびに訓練セット全体をモデルに渡すため、GPU メモリ使用量は行数と特徴数に応じて増え、企業 ML に典型的なデータ規模ではすぐに枯渇しうる。高性能 GPU への需要は三つの問題を生む。第一に GPU の調達で、オンデマンド GPU は待ち時間が長く予測不能なことが多く、24 時間 365 日の容量確保は遊休容量による高い総保有コストとサイジングの負担を伴う。第二に GPU の管理で、GPU を使いこなすには可観測性が重要だが、TFM ではメモリ使用量に多くの要因が影響するため、エンジニアは何時間もかけてツールを自作しインフラを管理するか、GPU を大きく遊休させるかの選択を迫られる。第三に外部依存で、多くのシステムでは GPU が別ツールで調達されるため、データをデータ基盤からコピーし、推論結果をコピーして戻す必要がある。TFM をファインチューニングする場合、ファインチューニング済み重みのガバナンスとライフサイクル管理が難しくなり、さらに悪化する。

Databricks AI Runtime はこうした課題に対する統合的な答えである。データと AI を単一のオープンプラットフォームに統合する Databricks の、完全マネージドのサーバーレス GPU 基盤であり、企業の GPU ワークロードに統一された体験を提供する。その機能には、TabPFN-3 のような TFM を最大約 100 万行 × 200 特徴の規模で支えられる H100 を含む柔軟なオンデマンド GPU アクセス、可観測性・GPU 利用率・MLflow 実験追跡を組み込んだ深層学習スタック、ノートブック、Lakeflow Jobs、Unity Catalog のネイティブサポートによる本番化の簡素化、ネイティブ Docker サポートと Databricks CLI 経由のリモート SSH アクセス、深層学習と GPU の専門知識を持つノートブック内の Genie Code エージェントによる推論・学習コードの作成とデバッグ、性能ボトルネックの解消、収束やフレームワークのエラー対応、そして Databricks Model Serving によるシームレスなデプロイがある。TFM を自動スケーリングするリアルタイム REST エンドポイントとして展開でき、信用スコアリングや商品推薦のような低レイテンシのユースケースでも GPU ベースのモデルが本番アプリケーションへ低遅延で予測を届けられる。Databricks AI Runtime により、TFM ワークロードはデータのある場所で実行でき、Unity Catalog で GPU ワークフローのライフサイクルをガバナンスしつつ、サイロを作らずに管理できる。

始め方として、Databricks は AI Runtime を用いて各種 TFM のゼロショット推論を実行する方法と、KumoTabular による分類・回帰のファインチューニングの完全な例を示すリポジトリを公開している。これらの例は、AI Runtime が高度な TFM ファインチューニングワークフローのライフサイクル管理と統合をいかに容易にするかを示す。関連動画では H100 を用いたファインチューニングノートブックの流れを紹介し、ノートブックに組み込まれた GPU 使用状況の可観測性と、指標追跡に用いる MLflow 実験を実演する。さらに Unity Catalog を通じた集中ガバナンスと登録により、堅牢なバージョン管理と構造化されたモデルライフサイクル管理を可能にする。

総じて、テーブル基盤モデルは ML 施策の市場投入期間を数か月から数日へ短縮する可能性を持つ。Databricks AI Runtime があれば GPU ワークロードはもはや障害ではない。高スループットのバッチパイプラインであれリアルタイム推論エンドポイントであれ、実験はデータのある同一プラットフォーム上で、ガバナンスされた本番対応のソリューションへと容易に移行でき、探索的研究と企業導入のギャップを埋める。記事が述べるように、機械学習の状況は転換点にあり、影響力の大きいモデルを配備する障壁はかつてなく低い。企業は自社ワークロードで TFM を検討し、自身の評価結果に基づいて判断することが推奨される。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • TFM は数百万の合成データセットで事前学習され、文脈内学習と呼ばれる単一のフォワードパスで予測するため、個別の学習・再学習パイプラインをほぼ不要にする。
  • 主要 TFM は規模とライセンスが大きく異なり、TabICLv2、Mitra v2、KumoTabular は商用利用が比較的容易なライセンス、TabFM と TabPFNv3.5 は商用利用にモデル作成者との合意が必要。
  • GPU 推論は CPU 上の従来の XGBoost より予測あたりのコストが高く、文脈内学習では行数と特徴数に応じて GPU メモリが増えるため、迅速化と精度向上を継続的な推論コストと比較する必要がある。
  • Databricks AI Runtime は H100 を含むマネージド GPU、MLflow の実験追跡、Unity Catalog のガバナンス、Model Serving のエンドポイントを提供し、GPU 運用の負担とデータ移動を抑える。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。