開源 AI 平台 Orbit：一個後端連接私有數據、模型與工具

Orbit 是一個開源的 AI 後端平台，目標是將私有數據、內部工具和各類模型統一到一個 OpenAI 兼容的 API 之後。它由 Remsy Schmilinsky 維護，以 Apache License 2.0 發佈，在 GitHub 上已有 327 星和 56 次 fork，代碼倉庫包含 2,144 次提交，項目仍在活躍迭代中。與單純提供聊天界面或模型路由的框架不同，Orbit 把自己定位為一個可以本地運行或部署在自有云環境中的後端服務，內置認證、可觀測性和治理能力。

Orbit 的核心思路是“連接一切”。它支持通過自然語言查詢文件（PDF、Word、Excel、PPT、CSV、圖片等）、SQL/NoSQL 數據庫、向量存儲、Elasticsearch、REST/GraphQL API，以及 MCP（Model Context Protocol）工具。管理員可以用 YAML 定義適配器（adapter），然後通過一個 OpenAI 兼容端點對外暴露；從本地原型到受管控的正式部署，不需要替換底層架構。

在模型層面，Orbit 更像是一個“模型網關”加上檢索與工具執行引擎。它可以把同一個 API 契約路由到本地模型（Ollama、llama.cpp、vLLM），也可以路由到 OpenAI、Anthropic、Gemini、Bedrock、Azure 等雲端提供商，並支持在對話中切換模型、自動重試和故障降級。

Orbit 提供了多條 Docker 快速啓動路徑。本地/離線推薦使用 orbit-ollama 鏡像，首次啓動會下載約 7.2 GB 的 gemma4:e2b 模型，不需要任何雲賬號或 API 密鑰；雲端版本則分別提供 orbit-openai 和 orbit-gemini 鏡像，只需在環境中導出 OPENAI_API_KEY 或 GOOGLE_API_KEY，同一個密鑰即可驅動聊天、視覺和嵌入模型。容器啓動後，5173 端口是 Orbit Chat 界面，3000 端口是 OpenAI 兼容 API，管理員還可以通過 http://localhost:3000/admin 打開管理面板（默認用户名 admin，密碼 admin123）。官方提醒，首次運行鏡像帶有默認數據庫和 API 密鑰，暴露到 localhost 之外前應儘快更換默認密鑰和管理員密碼，生產環境務必使用最新穩定版。

Orbit 能構建的應用場景包括：與私有文檔對話，基於對話歷史跨文件檢索上下文；用多種自然語言查詢數據庫，由 Orbit 生成並安全執行 SQL、MongoDB、Elasticsearch 查詢，並將結果可視化；讓模型通過 MCP 訪問文件系統、Slack、Postgres、GitHub、Jira 等內部工具，在服務端執行有邊界限制的多步工具循環，而無需額外接入 agent 框架；還可以把 Orbit 當作一個統一治理的 AI 端點，按每個 API 密鑰控制訪問、配額、降級、內容審核、指標和審計。

官方強調，Orbit 不只是模型路由，它把 RAG、結構化數據檢索、網絡搜索和工具執行放在同一個網關後面；它也不只是聊天界面，而是一個可以被任何 OpenAI 兼容客户端調用的後端；它更不是原型框架，而是自帶生產級控制面。對於注重隱私的部署，Orbit 支持本地推理、加密文件存儲、雲密鑰管理和完全離線運行。

項目文檔還提供了架構説明：Orbit 可接收 REST、OpenAI 兼容、MCP、A2A 或消息隊列請求，完成認證與路由之後，把它們分發到模型、私有數據和工具。官方維護了教程、適配器配置指南、文件/向量存儲/SQL 數據接入指南、MCP 工具指南、生產部署指南以及 Node.js SDK，便於開發者快速上手。Orbit 歡迎社區貢獻，包括新的檢索器、雲提供商集成、部署指南、測試和文檔。