今週ソルトレイクシティで開催されたKubeConで、GoogleはgVisorプロジェクト(名称および商標を含む)をCloud Native Computing Foundation(CNCF)に寄贈し、プロジェクトがメンテナー主導のガバナンスモデルに移行することを発表した。ModalはAnt GroupやTinesとともに、gVisorのメンテナーに加わることを約束した3社のうちの1社であり、OpenAI、Tencent、NVIDIAは引き続き貢献を続ける。
gVisorはModalの最初から主要なコンテナランタイムであった。ModalはGPUをサポートし、業界標準のruncよりも強力なセキュリティ保証を提供するコンテナランタイムを求めていた。それ以来、ModalはgVisorを市場で最も安全で高性能なAIワークロード向けランタイムにするために取り組んできた。
Modalは毎日4000万以上のgVisorコンテナを起動している。これにはGPU推論、マルチノードトレーニング、AIコーディングエージェント、サンドボックスなどが含まれる。
gVisorはLinux上で、Goで書かれたSentryと呼ばれる独立したアプリケーションカーネルをコンテナとホストの間に追加する。SentryはLinuxシステムコールインターフェースを自身で実装し、ホストには少数のフィルタリングされた操作のみを要求する。プログラムはLinux環境を見るが、ホストは行儀の良い1つのプロセスを見る。
gVisorのセキュリティは層になっている。第一層はSentry自体であり、アプリが発行するすべてのシステムコールを自身の実装で処理するため、アプリがホストカーネルと直接通信することはない。第二層は第一層が失敗する可能性を想定している。Sentry自体も通常のコンテナを保護するLinuxプリミティブで強化されている。名前空間はプロセス、ネットワーク、マウントのプライベートビューを提供し、pivot_rootは空のルートファイルシステムを残し、cgroupsはCPUとメモリを制限し、厳格なseccompフィルタはSentryが必要とする少数のホストシステムコールのみを許可する。攻撃者がホストに到達するには、Sentryを破り、さらにこの強化を突破する必要がある。
gVisorはハードウェア仮想化を必要としないため、ネストされた仮想化が利用できない、または遅いクラウドVMや、Modalが数十のクラウドプロバイダーで使用するベアメタルGPUサーバーなど、あらゆるLinuxマシンで実行できる。通常のコンテナと比較して、テナント間の真のセキュリティ境界を提供する。
Modalの基盤は、顧客が期待するスケールとパフォーマンスを可能にするカスタムコンテナランタイムである。インフラプロバイダーとして、Modalは共有マシン上で他の多くのユーザーのコードを大量に実行し、ゼロから1分間に100万サンドボックスまでスケールする。マルチテナントには真の境界が必要であり、共有ホストカーネルは受け入れられる境界ではない。特にコードがモデルによってたった今生成された可能性がある場合はなおさらだ。GPUはそのまま動作する必要がある。gVisorのnvproxyは、生のドライバをコンテナに公開するのではなく、ドライバのioctlインターフェースを理解して検証するプロキシを介して、サンドボックスプロセスがNVIDIA GPUを使用できるようにする。起動は高速でなければならない。gVisorは約25ミリ秒でサンドボックスを起動でき、メモリオーバーヘッドはわずか12MBである。状態はポータブルでなければならない。gVisorはサンドボックス全体(すべてのプロセス、ファイル、ソケット、およびcuda-checkpointによるGPUメモリ)をチェックポイントし、別のマシンで復元できる。これはModalのメモリスナップショットとGPUメモリスナップショットの基盤である。Modalが実行するすべての場所で動作する必要がある。ネストされた仮想化もカスタムホストカーネルも不要なため、同じサンドボックスがすべてのクラウドと購入するすべてのベアメタルマシンで実行できる。
Googleの発表では、Modalは汎用gVisor駆動コンピュートを販売する数少ないプロバイダーの1つとして説明されている。Modalはこの状況がまもなく変わるだろうと考えており、CNCFへの移行がその大きな理由である。
Modalは2023年からgVisorに貢献しており、それ以来上流へのプッシュを大幅に強化してきた。今年、Modalは顧客のニーズをよりよくサポートするためにプロジェクト周りのチームを構築した。
Modalの顧客はgVisorに対して多くの作業を提供する。新しいGPUのサポート、プロファイラの実行、共有メモリからの帯域幅の追加確保などである。Modalはその作業を行い、変更を上流に送る。Modalはパッチの大多数をオープンソースとして公開しており、メンテナーに加わることでより多くのエンジニアリング時間をコミットしている。
GPUに関して、nvproxyはgVisorでGPUを動作させる部分である。NVIDIAのユーザースペースドライバがカーネルドライバに送るすべてのioctl呼び出しを理解する必要があり、NVIDIAはドライバリリースごとにこのインターフェースを変更する。Modalは上流に以下を貢献した。新しいNVIDIAドライバリリースのサポートと、BlackwellやRTX PRO 6000などの新しいGPUの不足部分。マルチGPUワークロード:同じサーバー内のGPUがNVLinkを介して直接通信できるようにし、NCCLが大規模なH100およびH200サーバーで使用するNVLink機能を含む。プロセス間でGPUメモリを共有でき、NCCLが同一マシン上のGPU間でデータを移動するために依存している。CUDA MPSにより、複数のプロセスが1つのGPUを効率的に共有できる。グラフィックス、シミュレーション、ビデオ:VulkanとヘッドレスOpenGLレンダリング、NVIDIAのハードウェアビデオエンコーダーとデコーダー。これにより、MuJoCoやNVIDIA Omniverseなどのロボティクスシミュレーター、FFmpegのGPUビデオパイプラインがカバーされる。モニタリング:nvidia-smiやNVIDIAのDCGMモニタリングツールがサンドボックス内で動作し、プロセスごとのGPU使用率も含まれる。プロファイリングとデバッグ:NVIDIA Nsight SystemsとNsight Compute、Blackwell GPUのハードウェアトレース、クラッシュしたカーネルのデバッグ用GPUコアダンプ。GPUDirect RDMA:GPUメモリをネットワークカードに直接渡し、異なるマシン上のGPU間でCPUを経由せずにデータを移動できる。これによりModelExpressをgVisorで実行できた。
RDMAに関して、Modalがマルチノードサポートを構築していたとき、gVisorはRDMAをサポートしていなかった。そこでModalが追加し、変更を上流に貢献した。マルチノードトレーニングでは、異なるマシン上のGPUがInfiniBand、RoCE、またはEFAを介して勾配を交換するが、以前はサンドボックス外で実行する必要があった。Modalはnvproxyをモデルにした新しいgVisorデバイスプロキシであるrdmaproxyを構築した。コンテナはNICの実際のデータパスを取得し、gVisorは制御パスを検証する。NVIDIA ConnectX(InfiniBandおよびRoCE)とAWS EFAをサポートし、サンドボックス内にRDMA sysfsトポロジを構築してNCCLが各GPUを適切なNICとペアリングできるようにし、UCXベースのデータプレーンも処理し、NCCL all-reduceベンチマークでネイティブバス帯域の約99%に達する。これによりModal Clustersは一般提供され、マルチノードジョブがgVisorで実行されるようになった。
スナップショットに関して、ModalメモリスナップショットはgVisorのチェックポイント/リストアを使用し、コンテナがモデルをロードした後の状態をキャプチャし、数秒で新しいマシンに復元する。毎日約67万のgVisorコンテナがスナップショットから復元されている。
ファイルシステムとメモリのパフォーマンスに関して、I/OパフォーマンスはgVisorの長年の問題であった。AIワークロードはしばしばこれらのパスにアクセスするため、Modalの最近の上流作業の多くはそこに集中している。例えば、共有メモリ上のPyTorch DataLoaderでは、gVisorのメモリアロケータで巨大ページをリサイクルすることで、バッチパッシングベンチマークが2.9GB/sから22GB/s(約8倍)に向上し、メモリ使用量は一定に保たれた。ModalはgVisor tmpfsを最適化し、SQLiteを2.7倍高速化した。また、一般的なパスでのファイルデータコピーアップを削減する一連のoverlayfs最適化を提出した。
gVisorはLinuxインターフェースを自身で実装しているため、Modal上で実行されるすべてのアプリはその実装の完全性のテストでもある。顧客は多種多様なソフトウェアを実行する。新しいソフトウェアを持ち込むと、ModalはそれがgVisorで良好に動作することを確認し、変更を上流に送る。最近の追加には以下が含まれる。データベース:ClickHouseがgVisorサンドボックスで動作し、テーブル管理に使用するアトミックファイルスワップも含む。JavaScript:Bunアプリ(OpenCodeコーディングエージェントなど)がModalメモリスナップショットで動作。デスクトップアプリ:Qt 5.15で構築されたアプリがgVisorで動作。クラウドストレージ:Mountpoint for Amazon S3がS3バケットをサンドボックス内のフォルダとしてマウントし、大きな高速チャンクで書き込める。日常ツール:topとhtopがサンドボックス内で実際のCPU使用率を表示。CPU推論:PyTorchがCPUで使用するoneDNNなどの数学ライブラリが、プロセッサの高速bfloat16およびint8命令を使用できる。大規模コードベース:コーディングエージェントが常に行う数百万ファイルのスキャン後もサンドボックスは軽量に保たれる。
ModalのgVisorに対するビジョンは、Linux上で信頼できないコードを実行するデフォルトの方法、特にAIコンピュートのデフォルトの分離レイヤーにすることである。そのためには以下が必要だ。デフォルトで安全かつ分離を意識しないほど高速であること。分離はパフォーマンスと天秤にかける税金であってはならない。つまり、ほぼネイティブのI/Oと、Modalのようなプロバイダーが独自フォークで担ってきたパフォーマンス作業を上流に移行すること。すべてのアクセラレータが初日から利用可能であること。新しいNVIDIAドライバとGPUがリリース当日にgVisorで動作すべきであり、TPUやAMD GPUにも同様のファーストクラスサポートを望んでいる。サンドボックス密度。gVisorのリソース効率を活用して、多様なエージェントタスクを処理できる非常に経済的なサンドボックスを構築する。ポータブル状態。何でも(CPU、1つのGPU、複数のGPU)スナップショットし、どこでも復元できる。オープンでマルチベンダー。中立的なガバナンスにより、多くの企業が安全に投資でき、その投資が残りの項目を実現する。
次に、Modalは複数のプロジェクトに取り組んでいる。マルチGPUメモリスナップショット:現在Modalは単一GPUで実行されるプログラムをスナップショットできるが、複数GPUにまたがるモデルに拡張している。初期テストでは大規模モデルが通常のコールドスタートより数倍速く復元される。これはまもなく実験的機能としてModalに導入される予定だ。GPUDirect Storage:GPUが高速ストレージから直接データを自身のメモリに読み込み、CPU経由の迂回をスキップする。大規模モデルの重みをGPUにロードする最速の方法であり、ModalはこれをgVisorに導入しようとしている。秒単位で起動する推論サーバー:推論サーバーの起動時間の大部分はモデルの重みのロードとウォームアップに費やされる。Modalはサーバーを一度ウォームアップし、重みを脇に置き、コンパイル済みカーネル、CUDAグラフ、KVキャッシュメモリを含むその他すべての小さなマルチGPUスナップショットを取得したいと考えている。新しいレプリカはそのスナップショットを復元し、GPUDirect StorageまたはRDMAを介して重みをGPUメモリに直接ストリーミングするため、非常に大規模なモデルでも1分以内にサービスを開始できる。クラウドゲーミングとリモートデスクトップ:GPUサンドボックスがデスクトップ全体を実行できるようにしたい。NVIDIAドライバ上のディスプレイサーバー、それに描画するゲームや3Dアプリ、GPUでキャプチャされネットワーク経由でプレーヤーにストリーミングされる画面。これにはSteamのProtonを介して実行されるWindowsゲームも含まれる。GPUのより小さなスライス:nvproxyでのMIGとvGPUのサポート。AMDおよびGrace Blackwell GPUのサポート。gVisor向けのカーネルモジュールベースの最適化。
興味のある開発者は、Modal FunctionsとModal Sandbox(runtime="gvisor"を使用)を試し、GitHubでgVisorに貢献し、またはModalのエンジニアリングチームに参加できる。