随着推理工作负载的激增，对 GPU 的需求变得更加不可预测。传统的服务器方案需要预先分配大量 GPU，导致利用率低下。Modal 通过一系列深度技术，实现了真正的无服务器 GPU，让推理应用能够快速弹性伸缩。
核心优化包括四个方面：首先，通过维护一个空闲 GPU 缓冲池，将实例分配和健康检查移出关键路径，从而避免数十分钟的等待时间。其次，采用自定义的内容寻址多级缓存文件系统，容器镜像按需加载，无需等待完整的镜像下载。第三，利用 CPU 进程的检查点/恢复技术，跳过应用在主机端的初始化步骤。最后，借助 CUDA 检查点/恢复技术，直接恢复 GPU 内存中的上下文，免去 GPU 端的初始化耗时。
这些技术共同作用，使得推理服务器的启动时间从超过 2000 秒降低到约 50 秒，提升达 40 倍。这不仅提高了 GPU 的分配利用率，还让系统能够更好地应对流量波动，同时降低成本。Modal 认为，透明公开这些技术细节有助于推动整个行业更高效地使用 GPU。
在实际部署中，Modal 还注重 GPU 的健康检查，因为 GPU 的故障率远高于其他硬件。他们采用轻量级启动检查与定期深度诊断相结合的方式，确保缓冲池中的 GPU 始终处于可用状态。此外，Modal 支持多种开发工作负载，不仅能服务于生产环境，还能快速创建可复现的开发环境，进一步提升了开发效率。
总的来说，Modal 的这套方案为推理场景提供了前所未有的弹性，使得 GPU 资源能够像真正的无服务器计算一样按需分配，大幅降低了运营成本和复杂度。