使用Docker Compose和MCP进行多智能体LLM编排
本文介绍了一本关于使用Docker和Kubernetes进行AI应用运营的新书，涵盖LLM运行、MCP集成、自主智能体构建以及多智能体架构等主题，提供了从开发到生产的完整指南。
文章情报
要点
- 该书由Packt出版，专注于使用Docker工具链运营AI应用。
- 涵盖本地LLM运行、MCP集成、自主智能体及多智能体编排。
- 包含9个章节，从Docker基础到Kubernetes集群部署。
- 提供实践示例，如Docker Compose快速启动AI聊天机器人。
为什么重要
这条新闻值得关注，因为该书由Packt出版，专注于使用Docker工具链运营AI应用。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
AI应用从原型到生产部署面临诸多挑战，包括模型管理、工具集成、安全性和可扩展性。一本新书《Operational AI with Docker: LLMOps, Agents and Multi-Model Systems with Docker and Kubernetes》由Packt出版，旨在通过Docker生态系统的工具解决这些问题。
该书围绕Docker Desktop、Docker Model Runner、MCP Gateway等工具展开，指导读者运行本地LLM、通过MCP（Model Context Protocol）连接外部系统、构建自主智能体，并最终在Kubernetes上编排多智能体系统。全书共9章，每章附带可运行代码。第1章介绍AI容器化基础，包括Docker镜像、容器、注册表及与虚拟机的对比，通过两个小示例使读者熟悉docker run和docker build。第2章讲解Docker中的模型管理，涵盖OCI工件、GGUF格式、量化以及新的Compose模型语法，用于在服务旁声明模型依赖。第3章聚焦Docker Model Runner的模型服务，从Docker Hub拉取模型，通过OpenAI兼容API调用，构建React聊天机器人，并集成Prometheus、Grafana和Jaeger进行可观测性。第4章讨论容器化模型导出和批处理，将模型导出、量化、批处理任务推送到专用容器中，保持主应用响应迅速。第5章将模型部署到Kubernetes，包括清单、资源限制、自动扩缩，以及一个可端到端部署的小型ML生态系统。第6章通过MCP赋予模型外部工具能力，使用Docker MCP Gateway和MCP Catalog（270多个服务器）连接AI到数据库、API和工具，并实现隔离、密钥管理和OAuth。第7章构建自主AI智能体，从“AI回答问题”迈向“AI执行操作”，涵盖容器隔离的智能体、智能体间通信、发现、记忆/状态、推理、工具访问和沙箱。第8章探索多模型和多智能体架构，当单个智能体不足时，按复杂度路由任务，协调专业模型，构建多智能体研究助手。第9章涵盖高级智能体编排和安全性，使用Docker Sandbox保护智能体执行，通过Docker Agent声明式管理智能体团队，在Kubernetes上使用kagent实现生产级智能体集群，包括自动注册、对等发现、分布式追踪和沙箱执行模式。
读者需具备基本的命令行技能，推荐16GB RAM以流畅运行本地LLM。每章示例均可通过简单的docker compose up启动，例如第3章的聊天机器人。该书适用于DevOps工程师、AI/ML工程师等，期望将AI应用从“可在笔记本运行”提升至生产就绪状态。书中示例已在macOS、Windows和Linux上测试。