RunInfra：将任何开放模型优化至内核，5分钟部署

要点

• RunInfra自动优化开放模型的推理性能，支持vLLM、SGLang、TensorRT-LLM等多种引擎。
• 平台提供从模型选择到部署的完整流程，包括量化、内核调优和缓存策略。
• 以Llama 3.1 8B为例，优化后p95延迟降低79%，吞吐量提升216%，成本降低71%。
• 用户可选择托管端点或导出堆栈自行部署，支持多种GPU和云服务。