Modal上でフルスタック生成AIを実行するBotikaの取り組み

Botikaは、ファッションブランド向けにビジュアル制作を自動化する「Agentic E-Commerce」チームを構築している。自社で研究・訓練したカスタムモデルを使い、4K画像生成から大規模なリアルタイムパーソナライゼーションまでのパイプラインを一気通貫で運用。数十億パラメータの独自基盤モデル、100TBの画像データセットを処理するデータパイプライン、約15モデルの本番推論という全スタックをModal上で動かしている。共同創業者でCEOのEran Dagan氏は「ModalがなければBotikaは今の形で存在しなかっただろう。おそらく2倍の人員が必要だった」と振り返る。

2人は2018年、生成AI向けのツールがほとんどない時期から開発を始め、ノードのオートスケール、コールドスタート対策、Dockerイメージ最適化、GPUフリート管理などを自前で構築してきた。しかしKubernetesの運用は大変で、ノードの異常を追いかけるだけで数週間を失うことも珍しくなかった。2023年にDagan氏は他のGPUクラウドを比較検討し、最終的にModalを見つけてベータアクセスを申し込んだ。「modal runと打ち込んだら、そのまま動いた。あの瞬間、1週間分の作業を節約できたと分かった」という。今ではデータパイプラインから本番推論までをModal上で完結させている。

データパイプラインは、生のファッション画像をトレーニングデータに変える工程で、特徴生成、フィルタリング、タグ付け、クラスタリング、集約など数十のステップがある。オープンソースのVLMによるゼロショットタグ付けから自社開発の分類器まで、約12種類のAIモデルが専用環境とGPU上で稼働。以前はGCP Batchを使っていたが、データをエンドツーエンドで移すだけで数週間かかり、Airflowのような本格的なオーケストレーターを導入すると運用負荷が高くなるというジレンマがあった。Modalなら「このジョブが終わったら次を実行する」という単純な依存関係を簡単に表現でき、数千のコンテナを並行させながら100TBのデータを1%未満のエラー率で処理できる。Modalが提供するほぼすべてのGPUタイプが活用されている。

独自の基盤モデルを訓練するため、研究者は日々多数の実験を回す必要がある。Modal導入前は1人が1日に1〜2件程度しか実験を開始できなかったが、今では1人の研究者が約50件を起動する。ClaudeとModalを組み合わせて短い実験を50件流し、うまくいったものを選んでスケールアップするというスタイルだ。研究者は各自のワークステーションをModal上に作り、エージェントに別の作業をさせながらバックグラウンドでジョブを実行できる。実験スループットは新興企業の研究チームというより、フロンティアラボに近い水準に達している。

4K画像生成向けの基盤モデル訓練は多数のGPUで数週間にわたって実行される大規模ジョブだ。BotikaはModalのマルチノードトレーニングがまだ実験的フラグの後ろにあった頃から採用し、初日からGPU間通信とRDMAネットワークを動作させた。最近ではModalのプリミティブだけで、1日を待たずに強化学習インフラを構築。リワードサーバーはModalのspawn関数として動き、トレーニング中に追加ジョブを生成して反復的なリワードモデリングとロールアウトを実現している。しかも全スタックが同じ環境にあるため、研究用のリワードサーバーを本番推論スタックにそのまま再利用できる。「SageMakerやVertexではこうはいかない。Modalならツール間を行き来する必要がなく、時間と複雑さを大幅に減らせる」とDagan氏は言う。

本番推論では、約15モデルをL4、L40S、A100、H100など複数のGPU上で稼働。キュー管理やオートスケーリング、コールドスタート処理はModalが担うため、サービスごとにRedisキューを挟む必要がない。AIトラフィックは従来のスケーリングモデルとは異なるため、急な負荷変動に弾力的に対応できることが重要だ。「数秒でトラフィックが2倍や3倍になっても誰も気づかない。技術的にも社内のだれも心配しない。Modalがうまくやってくれると分かっているからです」。Botikaは計算を伴う業務の約99%をModal上で実行しており、独自ブラックボックスに依存せず、オープンソースや独自フレームワークを修正なしで動かせる。Dagan氏自身も、オンボードしたエンジニア全員が「もうKubernetesには戻れない」という結論に達すると話している。