AIエンジニアリング界の「フォワードデプロイド」側から、最新のコホストとなるBasil Chathaを心から歓迎します！彼とともに新しい番組を立ち上げていく予定で、ModalのCEOであるErikへのインタビューを、彼らの巨大なシリーズDの機会に逃すわけにはいきませんでした。
2年前、私たちはErik Bernhardssonに、真にサーバーレスなAIインフラへのビジョンについて話を聞きました。開発者はクラスタをプロビジョニングしたり、負荷を予測したり、アイドル状態のリソースに料金を払ったりすることなく、コードを実行できるべきだというものです。その後、CTOのAkshatが加わり、Modalのインフラプリミティブと、それらを提供するためのスタック、そしてエージェント体験について語ってくれました。
この5か月で多くが変わりました。50億ドルのシリーズC以降、Modalは現在、年換算売上高が10億ドルを突破したこと、160億ドルの評価額で7億5,000万ドルのシリーズDを調達したこと、そして約30億のサンドボックスを立ち上げたことを報告しています。この対話でErikはVibhuとともに、その成長を支えるインフラと経済性、そしてコンピュートへの需要が、かつてそれを購入するのに使われていた契約の形とはほとんど似ていない理由を説明します。
YouTubeで全編を視聴 →
GPU需要は長方形ではない
典型的なキャパシティ契約は、顧客に固定数のGPUを固定期間提供します。キャパシティを時間に対してプロットすると、長方形になります。実際のワークロードは異なる振る舞いをします。1日のうちに成長し、急増し、そして減少します。ピークに合わせて十分に買えば、アイドル状態のハードウェアに料金を払うことになります。買い足りなければ、需要を取り逃すリスクがあります。
ErikはModalの賭けを一種の「時間変換」と表現します。数千の顧客にわたって需要をプールし、その下でキャパシティを確保し、各顧客が必要なときに必要な分だけ使えるようにするのです。集約された需要が滑らかであるほど、そのプールは有用になります。これはSF ComputeのEvan Conradとの対話を補完するものです。Evanはキャパシティを取引可能にすることに焦点を当て、Erikはそれをより小さく弾力性のあるスライスで使えるようにすることに焦点を当てています。
反対側には財務リスクもあります。プロバイダが今日の価格でキャパシティを固定し、その後GPU価格が下落すれば、割高な供給を抱え込む可能性があります。Erikは差し迫った崩壊は予想していないものの、ビジネスを構築する上でその可能性は重要だと考えていると述べています。GPU価格の議論へジャンプ →
存続しかけたサンドボックス
Modalは、Erikと共同創業者のAkshat Bubnaが、言語モデルがコードを生成できることに気づき、そのコードを実行する場所が必要になるだろうと考えたことからサンドボックスを立ち上げました。初期の採用は控えめで、チームはこの製品を閉じることを検討したほどでした。その後、コーディングエージェント、バックグラウンドエージェント、強化学習が新たな需要を生み出しました。Erikによれば、サンドボックスはModalの売上の約3分の1にまで成長しており、これはローンチ時に予想していなかった結果だといいます。
この成長は、インフラが果たすべき役割も変えます。エージェントは環境を作成し、コードを実行し、結果を検査し、何度も再試行することがあります。こうした環境の起動と復元のレイテンシが体験の一部になります。最近のAkshatへのインタビューでは、開発者体験からエージェント体験へのこの移行を探りました。ここではErikが製品とビジネスの物語を加えます。サンドボックスの議論へジャンプ →
高速起動はインフラの機能である
弾力性は、キャパシティが意味を持つほど速く到着して初めて機能します。ModalのサーバーレスGPUに関する記事はその仕組みを説明しています。利用可能なGPUのバッファ、カスタムファイルシステム、プロセスのチェックポインティング、GPUメモリスナップショットです。これらの要素は、別のモデルレプリカをオンラインにするために必要な作業を削減します。これは、インフラの決定がアプリケーションの応答性とコストにどのように現れるかを示す具体的な例です。
また、SpotifyのレコメンドシステムからModalへ至るErikの道のり、同社がコンピュートをどのように購入するか、NVIDIAの代替、フォワードデプロイエンジニア、そしてModalでコードレビューが任意である理由についても議論します。エンジニアリング文化へジャンプ →
ショーノート
Modal — Erikが創業したAIインフラプラットフォーム。
Erikの文章 — インフラ、市場、企業構築に関する彼のエッセイ。
ModalのシリーズD発表 — 同社が報告する最新の成長とサンドボックスのマイルストーン。
Modalがいかにして真にサーバーレスなGPUを実現したか — 弾力的な推論を支える起動とスケーリングの技術。
Modalのリソースソルバー — 変化する価格と可用性の中でキャパシティをどのように選択するか。
100万の同時サンドボックスへのスケーリング — サンドボックスのスケーリングに関するエンジニアリングの記録。
Erikへの最初のインタビュー — 当初のサーバーレスインフラのテーゼ。
Akshat Bubnaへのインタビュー — エージェントのためのインフラと開発者体験。
プログラマブル・データセンター — Evan Conradが語るGPU取引と現物決済。
タイムスタンプ
0:00 Modalとは何か
1:25 SpotifyからModalの構築へ
4:19 生成AIブーム前の創業
7:43 最初の顧客と資金調達
10:00 推論とオートスケーリングのために構築する
13:21 ModalはどこからGPUキャパシティを得るのか
15:39 インフラのレンタルか所有か
19:45 GPU価格下落のリスク
24:18 AI需要は無限か？
26:12 NVIDIAの代替
28:25 Modalがネオクラウドから学べること
30:26 資産クラスとしてのGPU
31:55 Modalの製品：関数とサンドボックス
36:03 より小さなトレーニングワークロードを支持する理由
41:21 エージェントサンドボックスはどう変わりつつあるか
46:48 Anthropicとサンドボックスのセキュリティ
49:29 エージェントを使ってセキュリティをテストする
52:51 エージェント時代の開発者体験
57:45 Modalのフォワードデプロイエンジニアは何をするのか
59:55 Modalのプロダクトマネジメントへのアプローチ
1:03:29 任意のコードレビューとエンジニアリング文化
1:05:56 クラウド、オンプレミス、BYOC
1:09:25 キャパシティ、資金調達、成長
1:13:07 チームのスケーリング
1:17:28 Erikのツイート：エフェメラルサンドボックス
1:18:31 長方形のGPU契約の問題
1:21:20 推論プロバイダー対モデルビルダー
1:23:25 モデルは次にどこで改善するか
文字起こし
改訂版編集から自動文字起こし。名前や表現に誤りが含まれる可能性があります。
0:00 来ていただきありがとうございます、ModalのEric Fern-Hartson。ビジネスについて少し、そしてどうここに至ったかを説明してもらえますか？ええ。私たちが構築しているのは、最も簡単に言えばAIインフラです。コンピュートプラットフォームとストレージプラットフォームを提供しており、Dacagon、Suno、Runway、Cognitionなど多くの顧客が本質的にAIアプリケーションを構築できるようにしています。実際には、大量の推論、大量のサンドボックス、時にトレーニングやファインチューニング、時にバッチジョブなどです。つまり私たちは基本的にソフトウェアSDKを構築し、顧客が非常に速く動いてこれを構築できるようにしています。私たちが下層のすべてのキャパシティを管理し、デプロイ、スケール、本番運用を容易にします。あなたは約2年前にLight and Spaceに出演しましたが、それ以来多くが起こりました。当時どれくらいの規模だったか、共有できる数字で、そして比較して今どれくらいか？実は当時どこにいたか覚えていませんが、おそらく少なくとも50倍、売上もユーザーもユーザーも。ええ。実は個人的なサイドプロジェクトで使っています。いいですね。ええ。2D画像を3Dモデルに変換するんです。ええ。いくつかのモデルをホストしているだけです。どう思いますか？フィードバックは？気に入っています。いいですね。ええ、だから競合他社よりもこれを使っているんです。いいですね。では、Modalを始める前、あなたはSpotifyにいて、Better.comにもいましたよね。
1:30 その通りです。ええ。ええ。Spotifyでは何をしていましたか？実はSpotifyでいろいろなことをしましたが、主な貢献は音楽レコメンドシステムを構築したことです。学校を出て2008年、おそらく2009年に入社し、Spotifyで7年間過ごしました。そのほとんどはゼロから音楽レコメンドシステムを構築することで、小さなチームを作り、関連アーティストやDiscover Weeklyなど多くの機能を立ち上げました。行列分解が多く、計算集約的なことばかりでした。後のModalの起源となったものの多くは、AIアプリケーションを構築していてインフラがクソだと気づいたことだと言えるでしょう。もっと良い方法があるはずだと。つまり、Modalの根拠の多くは、Spotifyでの年月を通じてずっと欲しかったツールを構築することでした。ええ。つまりModalは、Better.comからではなく、Spotifyで学んだことの派生でした。Better.comは少し寄り道でした。ある種のジェットコースターで、その会社については長い話です。別に話しました。しかし私は5年間BetterのCTOを務め、技術チームを2〜3人から3〜400人に成長させました。マネジメント、チーム構築、採用について多くを学び、開発者の生産性についても多くを学びました。ツールなどについて多く考えました。もっとフルスタックのことをしました。しかし、その後、私の心に近いもの、つまりインフラとAIと機械学習に戻ってきました。Better.comは何をしていましたか？住宅ローンです。わかりました。ええ。どうやってそれに入ったのですか？
3:00 それにあまり時間を費やす必要はありません。ええ、いや、大丈夫です。当時知らなかったZach Frankelという人物が、私をCTOとしてBetterに採用し、会社は10人でした。そして、何らかの理由で、創業者のVishal、とても興味深い人物で、非常に非常に賢く、主にポジティブな意味で少し変わっていました。私たちはとてもうまくいきました。2015年に構築を始め、5年間その会社を成長させ、そして最終的に住宅ローンをやるのはかなり難しく、パンデミック後に金利が非常に急速に上昇し、それが会社に多くの問題をもたらしました。しかしその頃には私はすでに去っていました。去ったのは2020年、2021年頃ですか？ええ、そんなところです。では、Modalのアイデアを持つ前に去ったのですか、それとも去ってから始めたのですか？難しいですね。Betterを去ったとき、多くのランダムなアイデアがあり、実際には会社を始めたいかどうか確信がありませんでした。パンデミックの間、ほとんど休暇を取ったようなもので、子供が2人いました。今も子供はいますが、当時は2歳と4歳だったと思います。それでしばらくぶらぶらして時間を取り、パートタイムで何かをハックしていて、コンサルティングでもしようかと思い始めて、何かを作り始めました。そして最終的にModalになったこのアイデアにすごく興奮しました。しかし実際には、Modalは私が得た30番目くらいのアイデアだと思います。それ以前にいくつかの試みがあり、どれも行き詰まりました。
4:30 しかしModalの最初のアイデアは、これはかっこいい、これをやるべきだ、これは本当にクールなプラットフォームになり得るというものでした。他のアイデアも同様の方向、たとえば開発者ツールでしたか？最初はある種のウェブスクレイピングのもので、行き詰まりました。しかし実際、後から思えば、うまくいったかもしれません。それはChatGPTのローンチ前でしたか？ええ。ええ。2021年です。ああ、わかりました。つまりChatGPTは2022年後半ですよね？それから作り始めたので、少し巻き戻して文脈を説明すると、Spotifyで働いていたとき、Kaluigiというオープンソースフレームワークをリリースしました。ワークフローオーケストレーションのようなものです。同じカテゴリで、AirflowやPrefectなど、ある程度時代遅れになったカテゴリで、あまり語られなくなりました。しかししばらくの間、多くの注目を集めました。とにかく、私はそれをビジネスにしませんでした。しかし数年後、2021年にビジネスのアイデアや取り組むことを考えたとき、ある程度ワークフローオーケストレーションに戻りました。クラウドでコードを実行する、基本的にクラウドでコードを実行するオーケストレーションのような、たくさんのアイデアをハックし始めました。そして気づいたのは、結局のところ、核となるパズルのピースは、コンピュートをオーケストレーションすることだけでなく、コンピュートを実行することだということです。それはより大きな問題だと思いました。