Docker AI Stack：一條命令部署8個自託管AI服務
Docker AI Stack 項目提供了一套完整的自託管AI服務棧，包括 Ollama、LiteLLM、語音識別、文本轉語音、文檔解析等，只需一條命令即可部署。所有服務自動配置，API密鑰自動生成，數據完全本地處理，支持GPU加速和輕量級配置。
文章情報
要點
- 一條命令部署8個自託管AI服務，零配置，自動生成API密鑰
- 支持本地LLM、語音識別、文本轉語音、文檔解析和MCP工具
- 默認無API密鑰要求，適合內網；公網部署需設置反向代理和密鑰
- 提供多種輕量級子棧，內存最低約2.5 GB，支持NVIDIA GPU加速
為甚麼重要
這條新聞值得關注，因為一條命令部署8個自託管AI服務，零配置，自動生成API密鑰。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
Docker AI Stack 是一個開源項目，旨在讓用户通過一條命令即可在自己的服務器上部署一套完整的自託管AI服務棧。該項目託管在 GitHub 上，提供 Docker Compose 文件，集成了8個核心AI服務：Ollama（本地大語言模型）、LiteLLM（AI網關，可路由到100多個提供商）、Embeddings（文本向量化）、Whisper（語音轉文字）、WhisperLive（實時語音轉文字）、Kokoro（文本轉語音）、MCP Gateway（MCP工具網關）和 Docling（文檔解析）。
項目的核心優勢在於零配置和安全性。所有服務在首次啓動時自動配置，Ollama、LiteLLM 和 MCP Gateway 會自動生成API密鑰並存儲在共享卷中，無需手動干預。數據隱私是重點：音頻、向量嵌入和LLM推理全部在本地運行，不會將數據發送到第三方。不過，如果通過LiteLLM使用外部提供商（如OpenAI、Anthropic），數據會發送到相應提供商。
部署非常簡單。用户只需克隆倉庫並運行 docker compose up -d，然後拉取一個模型（如 llama3.2:3b），即可開始使用。項目還提供了健康檢查腳本 stack-check.sh 來驗證所有服務是否正常運行。對於需要GPU加速的用户，可以使用CUDA版本的文件，前提是已安裝NVIDIA驅動和容器工具包。
為了降低資源消耗，項目提供了多種輕量級子棧，例如僅需約2.5 GB內存的純聊天子棧（Ollama + LiteLLM），以及語音管道、RAG管道等。用户可以根據需求選擇啓動最少的服務。此外，項目也支持在沒有 Docker Compose 的情況下使用 docker run 命令逐個啓動服務，並通過共享網絡實現容器間通信。
項目還提供了詳細的示例，包括完整的語音管道（語音輸入→轉文字→LLM→語音輸出）和RAG管道（文檔嵌入→向量檢索→LLM問答）。MCP Gateway 允許AI客户端（如Cline in VS Code）通過標準MCP協議訪問文件系統、GitHub等工具。
對於公網部署，項目建議在服務前放置反向代理（如Caddy或Nginx）以啓用HTTPS，並設置默認可選認證服務的API密鑰。備份恢復也得到支持，API密鑰、模型和配置存儲在Docker卷中。
總之，Docker AI Stack 為開發者和愛好者提供了一種快速、私有、靈活的方式，在自有硬件上搭建完整的AI服務環境。