NVIDIA AI、CRIUベースのKubernetes AI推論高速起動システム「Dynamo Snapshot」をリリース

NVIDIAはDynamo Snapshotを発表。CRIUとcuda-checkpointを活用し、Kubernetes上でのAI推論ワークロードのコールドスタート時間を分単位から秒単位に短縮。KVキャッシュのアンマップ、並列memfd復元、LinuxネイティブAIO、GPUメモリサービスなどの最適化を実装。