讓AI代理用VibeServe編寫你的服務棧

要點

• VibeServe通過外循環和內循環的雙層代理架構，自動生成針對用户指定模型、硬件和工作負載的專用服務系統。
• 在Llama-3.1-8B on H100等主流設置上，VibeServe匹配vLLM和SGLang的性能；在代碼編輯、混合架構模型和流式ASR等非標準場景中，實現1.69–6.27倍加速。
• 系統包含技能庫，支持通過添加新技能條目來擴展，而無需修改核心框架。
• VibeServe是開源項目，代碼和論文均公開可用。