RunInfra：將任何開放模型最佳化至核心，5分鐘部署

要點

• RunInfra自動最佳化開放模型的推理效能，支援vLLM、SGLang、TensorRT-LLM等多種引擎。
• 平臺提供從模型選擇到部署的完整流程，包括量化、核心調優和快取策略。
• 以Llama 3.1 8B為例，最佳化後p95延遲降低79%，吞吐量提升216%，成本降低71%。
• 使用者可選擇託管端點或匯出堆疊自行部署，支援多種GPU和雲服務。