AIエージェントがVibeServeでサービングスタックを構築

VibeServeは、大規模言語モデル（LLM）のサービングランタイムをカスタマイズして生成するマルチエージェントシステムです。汎用的なサービングスタックは主流のユースケースをカバーする一方で、新しいモデルやアクセラレータ、ワークロードのロングテール部分には対応しきれません。VibeServeは、ユーザーが指定するモデル、ハードウェア、ワークロードに特化したランタイムをエンドツーエンドで合成することで、この問題に取り組みます。

システムは二重の最適化ループを採用しています。外側のループは検証済みチェックポイントの検索ポリシーを実行し、内側のループでは実装者、正確性評価者、パフォーマンス評価者の3つのエージェントが協調してコードを改良します。各エージェントは独立したコンテキストを持ち、評価者がコンテキストのドリフトを防ぐことで、バグの追跡と有望な方向性の維持を両立します。

VibeServeの評価は6つのケーススタディで行われました。標準的なLlama-3.1-8B on H100の設定では、60回のイテレーション後にvLLMおよびSGLangと同等のスループットとレイテンシを達成。非標準シナリオではさらに顕著な成果を上げています：

• コード編集ワークロード（Qwen3-32B on H100）では、予測出力インターフェースを活用し、vLLM比5.95倍の高速化。
• ハイブリッドアーキテクチャのOlmo-Hybrid-7B on L4では、RAGスタイルのワークロードで状態スナップショット技術により3.45倍の高速化。
• ストリーミングASR（Moonshine on L4）では、TTFTが1.69倍向上。

VibeServeの重要な設計上の特徴は、スキルライブラリです。これは既存のサービングエンジンや研究から抽出された最適化手法（連続バッチ処理、ページングKVキャッシュ、FlashAttentionの亜種など）をまとめたもので、新しいモデルやアクセラレータはスキルエントリとして追加可能で、フレームワークのコアを変更する必要はありません。

この研究はワシントン大学によるもので、論文とコードは公開されています。VibeServeは、AIエージェントがシステム全体をエンドツーエンドで構築し、長期的なパフォーマンス最適化において人間の設計したベースラインを上回る可能性を示しています。また、スキルライブラリの拡張性により、今後さらに多くの最適化手法を統合し、様々なデプロイメントに対応できる柔軟性を持っています。