使用Docker Compose和MCP進行多智能體LLM編排
本文介紹了一本關於使用Docker和Kubernetes進行AI應用運營的新書，涵蓋LLM運行、MCP集成、自主智能體構建以及多智能體架構等主題，提供了從開發到生產的完整指南。
文章情報
要點
- 該書由Packt出版，專注於使用Docker工具鏈運營AI應用。
- 涵蓋本地LLM運行、MCP集成、自主智能體及多智能體編排。
- 包含9個章節，從Docker基礎到Kubernetes集羣部署。
- 提供實踐示例，如Docker Compose快速啓動AI聊天機器人。
為甚麼重要
這條新聞值得關注，因為該書由Packt出版，專注於使用Docker工具鏈運營AI應用。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
AI應用從原型到生產部署面臨諸多挑戰，包括模型管理、工具集成、安全性和可擴展性。一本新書《Operational AI with Docker: LLMOps, Agents and Multi-Model Systems with Docker and Kubernetes》由Packt出版，旨在通過Docker生態系統的工具解決這些問題。
該書圍繞Docker Desktop、Docker Model Runner、MCP Gateway等工具展開，指導讀者運行本地LLM、通過MCP（Model Context Protocol）連接外部系統、構建自主智能體，並最終在Kubernetes上編排多智能體系統。全書共9章，每章附帶可運行代碼。第1章介紹AI容器化基礎，包括Docker鏡像、容器、註冊表及與虛擬機的對比，通過兩個小示例使讀者熟悉docker run和docker build。第2章講解Docker中的模型管理，涵蓋OCI工件、GGUF格式、量化以及新的Compose模型語法，用於在服務旁聲明模型依賴。第3章聚焦Docker Model Runner的模型服務，從Docker Hub拉取模型，通過OpenAI兼容API調用，構建React聊天機器人，並集成Prometheus、Grafana和Jaeger進行可觀測性。第4章討論容器化模型導出和批處理，將模型導出、量化、批處理任務推送到專用容器中，保持主應用響應迅速。第5章將模型部署到Kubernetes，包括清單、資源限制、自動擴縮，以及一個可端到端部署的小型ML生態系統。第6章通過MCP賦予模型外部工具能力，使用Docker MCP Gateway和MCP Catalog（270多個服務器）連接AI到數據庫、API和工具，並實現隔離、密鑰管理和OAuth。第7章構建自主AI智能體，從“AI回答問題”邁向“AI執行操作”，涵蓋容器隔離的智能體、智能體間通信、發現、記憶/狀態、推理、工具訪問和沙箱。第8章探索多模型和多智能體架構，當單個智能體不足時，按複雜度路由任務，協調專業模型，構建多智能體研究助手。第9章涵蓋高級智能體編排和安全性，使用Docker Sandbox保護智能體執行，通過Docker Agent聲明式管理智能體團隊，在Kubernetes上使用kagent實現生產級智能體集羣，包括自動註冊、對等發現、分佈式追蹤和沙箱執行模式。
讀者需具備基本的命令行技能，推薦16GB RAM以流暢運行本地LLM。每章示例均可通過簡單的docker compose up啓動，例如第3章的聊天機器人。該書適用於DevOps工程師、AI/ML工程師等，期望將AI應用從“可在筆記本運行”提升至生產就緒狀態。書中示例已在macOS、Windows和Linux上測試。