让AI代理用VibeServe编写你的服务栈

要点

• VibeServe通过外循环和内循环的双层代理架构，自动生成针对用户指定模型、硬件和工作负载的专用服务系统。
• 在Llama-3.1-8B on H100等主流设置上，VibeServe匹配vLLM和SGLang的性能；在代码编辑、混合架构模型和流式ASR等非标准场景中，实现1.69–6.27倍加速。
• 系统包含技能库，支持通过添加新技能条目来扩展，而无需修改核心框架。
• VibeServe是开源项目，代码和论文均公开可用。