2年前、私たちはErik Bernhardsson氏と、真にサーバーレスなAIインフラに対する彼のビジョンについて話しました。開発者はクラスタをプロビジョニングしたり、負荷を予測したり、アイドル状態のリソースに料金を払ったりすることなく、コードを実行できるべきだというものです。その後、CTOのAkshat Bubna氏が番組に加わり、それらのプリミティブとエージェント体験を提供するためのModalのインフラ基盤とスタックについて語りました。
この5か月で状況は大きく変わりました。50億ドルのシリーズCを経て、Modalは年換算売上が10億ドルを突破したと報告し、160億ドルの評価額で7億5,000万ドルのシリーズDを調達、さらに約30億個のサンドボックスを起動してきました。今回の対談でErikはVibhuとともに、この成長を支えるインフラと経済性、そしてコンピュート需要が調達契約の形とほとんど一致しない理由を解説します。
GPU需要は矩形ではない
典型的な容量契約は、顧客に固定数のGPUを固定期間提供するものです。容量を時間に対してプロットすると矩形になります。しかし実際のワークロードは異なります。1日のうちに成長し、急増し、また落ち込みます。ピークに合わせて買えばアイドル状態のハードウェアに料金を払うことになり、少なく買えば需要を取り逃すリスクがあります。ErikはModalの賭けを一種の「期間変換」だと説明します。数千の顧客の需要をプールし、その下で容量を確保し、各顧客が必要なときに必要な分だけ使えるようにするのです。集約需要が滑らかであるほど、このプールは有用になります。これはSF ComputeのEvan Conrad氏との対談と補完的です。Evan氏は容量を取引可能にすることに焦点を当て、Erik氏は容量をより小さく伸縮性のあるスライスで使えるようにすることに焦点を当てています。
反対側には財務リスクがあります。プロバイダーが現在の価格で容量を固定し、その後GPU価格が下落すれば、割高な供給を抱え込む可能性があります。Erikは差し迫った崩壊は予想していないものの、事業を築く上ではこの可能性を考慮すべきだと考えています。
消えかけたサンドボックス
Modalがサンドボックスを立ち上げたのは、Erikと共同創業者のAkshat Bubna氏が、言語モデルがコードを生成できることに気づき、それを実行する場所が必要になると考えたからでした。初期の採用は控えめで、チームは製品を終了することも検討しました。しかしその後、コーディングエージェント、バックグラウンドエージェント、強化学習が新たな需要を生み出しました。Erikによれば、サンドボックスは現在Modalの売上の約3分の1を占めており、立ち上げ時には予想していなかった結果だといいます。
この成長はインフラの役割も変えます。エージェントは環境を作成し、コードを実行し、結果を検査し、何度も再試行することがあります。こうした環境の起動と復元のレイテンシが体験の一部になります。最近のAkshat氏との対談では、開発者体験からエージェント体験へのこの移行を掘り下げましたが、ここではErikが製品とビジネスの物語を補足します。
高速起動はインフラの機能
弾力性は、容量が意味を持つ速さで到着して初めて機能します。ModalのサーバーレスGPUに関する記事はその仕組みを説明しています。利用可能なGPUのバッファ、独自ファイルシステム、プロセスチェックポイント、GPUメモリスナップショットです。これらの要素は、別のモデルレプリカをオンラインにするために必要な作業を減らします。インフラの決定がアプリケーションの応答性とコストにどう現れるかを示す具体例です。
また、ErikがSpotifyのレコメンデーションシステムからModalに至る道のり、企業がどのようにコンピュートを購入するか、NVIDIA以外の選択肢、フォワードデプロイドエンジニア、そしてModalでコードレビューが任意である理由についても議論します。
番組のタイムライン
番組はModalの事業紹介（0:00）から始まり、SpotifyからModalを築くまでの道のり（1:25）、生成AIブーム以前の創業（4:19）を振り返ります。続いて最初の顧客と資金調達（7:43）、推論と自動スケーリングのための構築（10:00）、ModalがどこからGPU容量を調達するか（13:21）、レンタルと自社保有のインフラのトレードオフ（15:39）、GPU価格下落のリスク（19:45）を扱います。さらにAI需要は無限なのか（24:18）、NVIDIAの代替（26:12）、Modalがネオクラウドから学べること（28:25）、資産クラスとしてのGPU（30:26）について議論します。製品面では、Erikがfunctionsとsandboxesという2つの製品（31:55）、小規模トレーニングワークロードの合理性（36:03）、エージェントサンドボックスの変化（41:21）、Anthropicとサンドボックスのセキュリティ（46:48）、エージェントを使ったセキュリティテスト（49:29）、エージェント時代の開発者体験（52:51）、フォワードデプロイドエンジニアの役割（57:45）、Modalのプロダクトマネジメント手法（59:55）、任意のコードレビューとエンジニアリング文化（1:03:29）、クラウド・オンプレミス・BYOC（1:05:56）、容量・資金調達・成長（1:09:25）、チームの拡大（1:13:07）、エフェメラルサンドボックスに関するErikのツイート（1:17:28）、矩形のGPU契約の問題（1:18:31）、推論プロバイダーとモデルビルダーの違い（1:21:20）、モデルが次に改善される領域（1:23:25）を語ります。
ショーノートには、Modalのプラットフォーム、インフラ・市場・企業構築に関するErikのエッセイ、ModalのシリーズD発表、Modalがいかに真にサーバーレスなGPUを実現したかの技術記事、変化する価格と可用性の間で容量を選択するリソースソルバー、100万同時サンドボックスへのスケーリングに関するエンジニアリング記録、Erikへの最初のインタビュー、エージェント向けインフラと開発者体験に関するAkshat Bubna氏とのインタビュー、GPU取引と現物決済に関するEvan Conrad氏の「The Programmable Data Center」が挙げられています。
なお、本文字起こしは自動生成されたものであり、人名や表現に誤りが含まれる可能性があります。