Docker AI Stack：一條命令部署8個自託管AI服務
Docker AI Stack 專案提供了一套完整的自託管AI服務棧，包括 Ollama、LiteLLM、語音識別、文本轉語音、文件解析等，只需一條命令即可部署。所有服務自動配置，API金鑰自動生成，資料完全本地處理，支援GPU加速和輕量級配置。
文章情報
要點
- 一條命令部署8個自託管AI服務，零配置，自動生成API金鑰
- 支援本地LLM、語音識別、文本轉語音、文件解析和MCP工具
- 預設無API金鑰要求，適合內網；公網部署需設定反向代理和金鑰
- 提供多種輕量級子棧，記憶體最低約2.5 GB，支援NVIDIA GPU加速
為什麼重要
這條新聞值得關注，因為一條命令部署8個自託管AI服務，零配置，自動生成API金鑰。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
Docker AI Stack 是一個開源專案，旨在讓使用者透過一條命令即可在自己的伺服器上部署一套完整的自託管AI服務棧。該專案託管在 GitHub 上，提供 Docker Compose 檔案，整合了8個核心AI服務：Ollama（本地大語言模型）、LiteLLM（AI閘道器，可路由到100多個提供商）、Embeddings（文本向量化）、Whisper（語音轉文字）、WhisperLive（即時語音轉文字）、Kokoro（文本轉語音）、MCP Gateway（MCP工具閘道器）和 Docling（文件解析）。
專案的核心優勢在於零配置和安全性。所有服務在首次啟動時自動配置，Ollama、LiteLLM 和 MCP Gateway 會自動生成API金鑰並儲存在共享卷中，無需手動干預。資料隱私是重點：音訊、向量嵌入和LLM推理全部在本地執行，不會將資料傳送到第三方。不過，如果透過LiteLLM使用外部提供商（如OpenAI、Anthropic），資料會傳送到相應提供商。
部署非常簡單。使用者只需克隆倉庫並執行 docker compose up -d，然後拉取一個模型（如 llama3.2:3b），即可開始使用。專案還提供了健康檢查指令碼 stack-check.sh 來驗證所有服務是否正常執行。對於需要GPU加速的使用者，可以使用CUDA版本的檔案，前提是已安裝NVIDIA驅動和容器工具包。
為了降低資源消耗，專案提供了多種輕量級子棧，例如僅需約2.5 GB記憶體的純聊天子棧（Ollama + LiteLLM），以及語音管道、RAG管道等。使用者可以根據需求選擇啟動最少的服務。此外，專案也支援在沒有 Docker Compose 的情況下使用 docker run 命令逐個啟動服務，並透過共享網路實現容器間通訊。
專案還提供了詳細的示例，包括完整的語音管道（語音輸入→轉文字→LLM→語音輸出）和RAG管道（文件嵌入→向量檢索→LLM問答）。MCP Gateway 允許AI客戶端（如Cline in VS Code）透過標準MCP協議訪問檔案系統、GitHub等工具。
對於公網部署，專案建議在服務前放置反向代理（如Caddy或Nginx）以啟用HTTPS，並設定預設可選認證服務的API金鑰。備份恢復也得到支援，API金鑰、模型和配置儲存在Docker卷中。
總之，Docker AI Stack 為開發者和愛好者提供了一種快速、私有、靈活的方式，在自有硬體上搭建完整的AI服務環境。