ドイツ取引所、ZeppelinノートブックのDatabricksへの大規模移行を実現する生成AIツールを構築

ドイツ取引所グループ（Deutsche Börse Group）のStatistiXプラットフォームは、グループ内の清算および取引データの約95%を提供し、数百のビジネスユーザーによるセルフサービス分析を支えています。長年にわたり、このプラットフォームはCloudera上で動作するZeppelinノートブックに依存し、HDFSやOracleデータシステムにアクセスしていました。しかし、Clouderaは2027年にZeppelinを完全に廃止する予定であり、分析ワークロードはクラウドに移行しつつあり、Databricksが新しい統一分析プラットフォームとして選ばれました。これにより、2,000人以上のユーザーと日常業務に深く組み込まれた多数のノートブックを移行するという大規模な課題が生じました。

手動ですべてを書き換えるには数年かかるため、チームはDatabricks上でより良い方法を構築することを決定しました。

ノートブック移行の難しさは、Zeppelinノートブックが単純なスクリプトではないことにあります。それらは複雑なSQLおよびPythonロジック、カスタムインタープリター、OracleおよびHDFS参照、可視化、ウィジェット、そして長年にわたって構築されたスケジューリングロジックを含んでいます。各ノートブックは、それを依存するビジネスチームからの組織的知識を反映しています。ノートブック全体の多様性により、ルールベースの書き換えエンジンは非現実的です。ロジックが異種混交でビジネス固有すぎるため、自動ルールで確実に処理できないからです。

この制約により、チームはよりクリーンな設計の洞察に至りました。構造とロジックを分離し、それぞれに適切なツールを適用するというものです。構造変換（Zeppelinの段落形式をDatabricksのセルにマッピング、インタープリター構文の変換、メタデータの再フォーマット）は決定論的で自動化可能ですが、ロジックの再構築はそうではありません。幸いなことに、LLMはこの構造変換部分に優れています。

この設計原則に基づき、チームは「Zeppelin to Databricks Notebook Converter」、つまり移行ワークフロー専用に設計されたDatabricksアプリを構築しました。このアプリは構造変換を処理します。Zeppelinの段落はDatabricksのセルに、インタープリターマッピング（%python、%sql、%pysparkなど）はDatabricksの同等物に変換され、ノートブックのメタデータは有効な.ipynb JSONに再フォーマットされます。元のコンテンツは正確に保持され、この段階ではロジックは書き換えられません。

次のステップはGenieです。アップロードされたノートブックごとに、アプリはZeppelin環境の詳細（カスタムインタープリター、データソース、構成パターンなど）を含むコンテキスト認識プロンプトを自動生成します。このプロンプトにより、GenieはDatabricksネイティブな方法でロジックを正確に再構築できます。

ビジネスユーザーのワークフローは簡単です。ZeppelinノートブックをJSONとしてエクスポートし、Databricksアプリにアップロードし、「変換」をクリックし、変換された.ipynbをダウンロードします。Databricksを開き、ノートブックをアップロードし、Genieを起動して生成されたプロンプトを貼り付けます。Genieは質問をして明確にし、ノートブックを再構築します。

アプリのフロントエンドはshadcn UIで構築されました。当初はStreamlitプロトタイプでしたが、shadcnの方がよりプロフェッショナルでスケーラブルなインターフェースを提供すると判断しました。Databricks Appsの開発体験により、個別のインフラを立てることなく迅速にリリースできました。

重要な設計上の判断の1つは、ツールが意図的に手を加えない部分を決めることでした。コンバーターはSQLロジック、Pythonロジック、可視化、ウィジェット、OracleおよびHDFS参照、スケジューリングロジック、ビジネス固有のカスタムコードを書き換えません。これらはすべて変換後のノートブックにそのまま保持されます。自動的に書き換えるとエラーが発生し、出力への信頼が損なわれるためです。これらこそがノートブック間で最も異なり、最もビジネスクリティカルなロジックを担う要素です。これらはGenieに委ねられます。Genieはコンテキストを解釈し、質問を明確にし、ルールではできない判断を下すことができます。

このハイブリッドアプローチにより、決定論的部分を自動化し、可変部分をAIに委任することで、ルールベースシステムの脆弱性を回避し、AIが実際に優れた性能を発揮する分野を活用できます。

構造変換とAI支援ロジック再構築の組み合わせにより、ノートブックの再開発時間は手作業での数時間から、複雑さに応じて1ノートブックあたり15〜20分に短縮されました。複数のビジネスドメインにわたるこの規模の大規模移行では、このアプローチにより、リソース集約的で時間のかかる作業が、スケーラブルで反復可能なワークフローに変わり、時間を大幅に短縮できます。

速度の向上は作業の性質も変えます。ビジネスユーザーは深いDatabricksの知識がなくても自分のノートブックを移行できます。短い一連の手順に従い、プロンプトを取得し、Genieに再構築を任せます。このツールは十分にアクセスしやすく、移行に専任のエンジニアリングチームは必要ありません。

プロジェクトから得られたいくつかの教訓：過剰エンジニアリングを避けること、ルールベースの書き換えは異種コンテンツにはスケーラブルでないこと、コンテキストが良いプロンプトと素晴らしいプロンプトの違いを生むこと、プラットフォームチームを早期に関与させること。

現在、コンバーターツールの初期開発は完了し、大規模な実世界テストを進めています。当面の優先事項は、精度向上のためのプロンプト定義の確定、複数の事業体やIT部門のノートブックを使用したツールの検証、ユーザーのオンボーディング準備です。

より広範な意味合いは最も興奮させられる点です。このプロジェクトは、AI支援移行が将来の能力ではなく、今すぐ利用可能であることを示しました。Databricks Appsと生成AIを組み合わせることで、クラウド変革の最も困難な問題の1つを高速でスケーラブルなプロセスに変える反復可能なワークフローを構築しました。