Docker ComposeとMCPによるマルチエージェントLLMオーケストレーション

AIアプリケーションをプロトタイプから本番環境に移行するには、モデル管理、ツール統合、セキュリティ、スケーラビリティなどの課題があります。Packtから出版された新しい書籍『Operational AI with Docker: LLMOps, Agents and Multi-Model Systems with Docker and Kubernetes』は、Dockerエコシステムのツールを使用してこれらの問題を解決することを目的としています。

本書は、Docker Desktop、Docker Model Runner、MCP Gatewayなどのツールを中心に、ローカルLLMの実行、MCP（Model Context Protocol）による外部システムとの統合、自律エージェントの構築、そしてKubernetes上でのマルチエージェントシステムのオーケストレーションを解説します。全9章で構成され、各章には実行可能なコードが付属しています。第1章ではAIのコンテナ化の基礎を、Dockerイメージ、コンテナ、レジストリ、VMとの比較を説明し、2つの小さな例（tiny-service-container、tiny-training-run）でdocker runとdocker buildに慣れます。第2章ではDockerでのモデル管理を、OCIアーティファクト、GGUF形式、量子化、および新しいComposeモデル構文（サービスと共にモデル依存関係を宣言するプロバイダー構文）をカバーします。第3章ではDocker Model Runnerによるモデルサービングの核心に触れ、Docker Hubからモデルをプルし、OpenAI互換APIで呼び出し、Reactチャットボットを構築し、Prometheus、Grafana、Jaegerで可観測性を実現します。第4章では、モデルエクスポート、量子化、バッチジョブなどの重い処理を専用コンテナにオフロードし、メインアプリの応答性を維持する方法を紹介します。第5章ではコンテナ化されたモデルを実際のKubernetesクラスタにデプロイし、マニフェスト、リソース制限、オートスケーリング、およびエンドツーエンドでデプロイ可能な小規模MLエコシステムを扱います。第6章ではMCPを介したプロトコルベースのAI統合を説明し、Docker MCP GatewayとMCP Catalog（270以上のサーバー）を使用してAIをデータベース、API、ツールに接続し、適切な分離、シークレット管理、OAuthを実現します。第7章では自律AIエージェントの構築に進み、「答えるAI」から「実行するAI」へ移行し、コンテナ分離エージェント、エージェント間通信、発見、メモリ/状態、推論、ツールアクセス、サンドボックス化を各サブフォルダで扱います。第8章ではマルチモデル・マルチエージェントアーキテクチャを探求し、1つのエージェントでは不十分な場合に、複雑さに応じてタスクをルーティングし、専門モデルを調整し、動作するマルチエージェント研究アシスタントを構築します。第9章では高度なエージェントオーケストレーションとセキュリティを扱い、Docker Sandboxを使用したエージェント実行の保護、Docker Agentによる宣言的エージェントチーム、Kubernetes上のkagentによる本番グレードのエージェントフリート、自動登録、ピアディスカバリ、分散トレーシング、サンドボックス化された実行パターンをカバーします。

読者は基本的なコマンドライン操作に慣れている必要があり、ローカルLLMを快適に実行するには16GBのRAMが推奨されます。各章の例は、簡単なdocker compose upで起動できます（例：第3章のチャットボット）。本書は、DevOpsエンジニア、AI/MLエンジニアなど、AIアプリケーションを「ノートPCで動作する」状態から本番稼働可能な状態にしたいと考えている方に適しています。例はmacOS、Windows、Linuxでテスト済みです。