使用Docker Compose和MCP進行多智慧體LLM編排
本文介紹了一本關於使用Docker和Kubernetes進行AI應用運營的新書，涵蓋LLM執行、MCP整合、自主智慧體構建以及多智慧體架構等主題，提供了從開發到生產的完整指南。
文章情報
要點
- 該書由Packt出版，專注於使用Docker工具鏈運營AI應用。
- 涵蓋本地LLM執行、MCP整合、自主智慧體及多智慧體編排。
- 包含9個章節，從Docker基礎到Kubernetes叢集部署。
- 提供實踐示例，如Docker Compose快速啟動AI聊天機器人。
為什麼重要
這條新聞值得關注，因為該書由Packt出版，專注於使用Docker工具鏈運營AI應用。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
AI應用從原型到生產部署面臨諸多挑戰，包括模型管理、工具整合、安全性和可擴充套件性。一本新書《Operational AI with Docker: LLMOps, Agents and Multi-Model Systems with Docker and Kubernetes》由Packt出版，旨在透過Docker生態系統的工具解決這些問題。
該書圍繞Docker Desktop、Docker Model Runner、MCP Gateway等工具展開，指導讀者執行本地LLM、透過MCP（Model Context Protocol）連線外部系統、構建自主智慧體，並最終在Kubernetes上編排多智慧體系統。全書共9章，每章附帶可執行程式碼。第1章介紹AI容器化基礎，包括Docker映象、容器、登錄檔及與虛擬機器的對比，透過兩個小示例使讀者熟悉docker run和docker build。第2章講解Docker中的模型管理，涵蓋OCI工件、GGUF格式、量化以及新的Compose模型語法，用於在服務旁宣告模型依賴。第3章聚焦Docker Model Runner的模型服務，從Docker Hub拉取模型，透過OpenAI相容API呼叫，構建React聊天機器人，並整合Prometheus、Grafana和Jaeger進行可觀測性。第4章討論容器化模型匯出和批處理，將模型匯出、量化、批處理任務推送到專用容器中，保持主應用響應迅速。第5章將模型部署到Kubernetes，包括清單、資源限制、自動擴縮，以及一個可端到端部署的小型ML生態系統。第6章透過MCP賦予模型外部工具能力，使用Docker MCP Gateway和MCP Catalog（270多個伺服器）連線AI到資料庫、API和工具，並實現隔離、金鑰管理和OAuth。第7章構建自主AI智慧體，從“AI回答問題”邁向“AI執行操作”，涵蓋容器隔離的智慧體、智慧體間通訊、發現、記憶/狀態、推理、工具訪問和沙箱。第8章探索多模型和多智慧體架構，當單個智慧體不足時，按複雜度路由任務，協調專業模型，構建多智慧體研究助手。第9章涵蓋高階智慧體編排和安全性，使用Docker Sandbox保護智慧體執行，透過Docker Agent宣告式管理智慧體團隊，在Kubernetes上使用kagent實現生產級智慧體叢集，包括自動註冊、對等發現、分散式追蹤和沙箱執行模式。
讀者需具備基本的命令列技能，推薦16GB RAM以流暢執行本地LLM。每章示例均可透過簡單的docker compose up啟動，例如第3章的聊天機器人。該書適用於DevOps工程師、AI/ML工程師等，期望將AI應用從“可在筆記本執行”提升至生產就緒狀態。書中示例已在macOS、Windows和Linux上測試。