DLAMIとDLCでSOCIインデックスを使ってコンテナのコールドスタート時間を短縮する

AWS Deep Learning AMI（DLAMI）およびDeep Learning Containers（DLC）は、Seekable OCI（SOCI）スナップショッターとインデックスのサポートを開始しました。SOCIは、コンテナイメージ内のファイル位置をマッピングするレイヤーベースのインデックスシステムを使用し、必要なファイルのみをロードするレイジーローディング（遅延読み込み）を可能にする技術です。これにより、ネットワーク帯域幅の使用量を削減し、コンテナの起動時間を大幅に改善します。特に、大規模なコンテナイメージを扱うクラウド環境において有効です。

AI/MLワークロードを大規模に展開する組織では、コンテナの起動時間がボトルネックとなっています。トレーニングジョブの開始、推論エンドポイントの提供、GPUクラスタの自動スケーリングなど、数GBのコンテナイメージのダウンロードにかかる時間は、コスト、ユーザー体験、運用効率に直接影響します。従来のDockerプルではイメージ全体をダウンロードしなければならず、本番環境で一般的なイメージでは数分かかることがあります。

AWS DLAMIとDLCは、標準のDockerプル、SOCIパラレルプル、SOCIレイジーローディングの3つのプルメカニズムを提供します。これらはトレードオフのスライディングスケールと考えることができます。標準Dockerプルは逐次的で低速です。SOCIパラレルプルはチャンクダウンロードにより起動時間を短縮しますが、計算リソースを消費します。SOCIレイジーローディングはほぼ即時のコンテナ起動を実現しますが、ファイルはオンデマンドでフェッチされます。低スペックのインスタンスではリソース節約のためにレイジーローディングを、高スペックでマルチvCPUと高ネットワーク帯域幅のインスタンスではパラレルプルモードが適しています。ストレージのパフォーマンスも影響します。EBSボリュームはプロビジョニングされたIOPSとボリュームタイプに制限され、アンパック時にボトルネックになる可能性があります。NVMeインスタンスストアは最大のI/Oパフォーマンスを提供しますが、インスタンスの停止/起動サイクル間でデータは永続化されません。

パフォーマンスベンチマークでは、g5.2xlargeインスタンスで9.72GB（圧縮時）のvLLMイメージを標準Dockerでプルした場合、6分59秒かかりましたが、SOCIレイジーローディングでは21秒で済みました（95%以上の短縮）。SOCIは起動に必要なレイヤーとインデックスのみをプルし、残りのレイヤーはバックグラウンドでオンデマンドでロードします。パラレルプルモードのテストでは、g5.4xlargeインスタンスで19.32GBのSGLangイメージを標準Dockerでプルすると4分44秒でしたが、SOCIパラレルモードでは2分13秒（約53%短縮）でした。

レイジーローディングを有効にするには、コンテナイメージにSOCIインデックスがレジストリに格納されている必要があります。AWS DLCの-sociタグが付いたイメージにはインデックスがプリセットされており、すぐに使用できます。カスタムイメージの場合は、sociツールを使用してインデックスを作成しプッシュする必要があります。パラレルプルモードを使用するには、設定ファイル/etc/soci-snapshotter-grpc/config.tomlを修正し、並列ダウンロードとアンパックのパラメータを設定してから、soci-snapshotterサービスを再起動します。

SOCI技術により、AI/MLワークロードのコンテナ化デプロイで大幅なパフォーマンス向上が期待でき、GPUインスタンスのアイドル待ち時間を削減し、スケーリング応答を高速化し、ネットワーク帯域幅の利用を最適化します。開発者はAWS DLAMIとDLCで今すぐSOCIを使用して、コンテナ起動パフォーマンスを最適化できます。