讓AI代理用VibeServe編寫你的服務棧

要點

• VibeServe透過外迴圈和內迴圈的雙層代理架構，自動生成針對使用者指定模型、硬體和工作負載的專用服務系統。
• 在Llama-3.1-8B on H100等主流設定上，VibeServe匹配vLLM和SGLang的效能；在程式碼編輯、混合架構模型和流式ASR等非標準場景中，實現1.69–6.27倍加速。
• 系統包含技能庫，支援透過新增新技能條目來擴充套件，而無需修改核心框架。
• VibeServe是開源專案，程式碼和論文均公開可用。