開源 AI 平臺 Orbit：一個後端連線私有資料、模型與工具

Orbit 是一個開源的 AI 後端平臺，目標是將私有資料、內部工具和各類模型統一到一個 OpenAI 相容的 API 之後。它由 Remsy Schmilinsky 維護，以 Apache License 2.0 釋出，在 GitHub 上已有 327 星和 56 次 fork，程式碼倉庫包含 2,144 次提交，專案仍在活躍迭代中。與單純提供聊天介面或模型路由的框架不同，Orbit 把自己定位為一個可以本地執行或部署在自有云環境中的後端服務，內建認證、可觀測性和治理能力。

Orbit 的核心思路是“連線一切”。它支援透過自然語言查詢檔案（PDF、Word、Excel、PPT、CSV、圖片等）、SQL/NoSQL 資料庫、向量儲存、Elasticsearch、REST/GraphQL API，以及 MCP（Model Context Protocol）工具。管理員可以用 YAML 定義介面卡（adapter），然後透過一個 OpenAI 相容端點對外暴露；從本地原型到受管控的正式部署，不需要替換底層架構。

在模型層面，Orbit 更像是一個“模型閘道器”加上檢索與工具執行引擎。它可以把同一個 API 契約路由到本地模型（Ollama、llama.cpp、vLLM），也可以路由到 OpenAI、Anthropic、Gemini、Bedrock、Azure 等雲端提供商，並支援在對話中切換模型、自動重試和故障降級。

Orbit 提供了多條 Docker 快速啟動路徑。本地/離線推薦使用 orbit-ollama 映象，首次啟動會下載約 7.2 GB 的 gemma4:e2b 模型，不需要任何雲賬號或 API 金鑰；雲端版本則分別提供 orbit-openai 和 orbit-gemini 映象，只需在環境中匯出 OPENAI_API_KEY 或 GOOGLE_API_KEY，同一個金鑰即可驅動聊天、視覺和嵌入模型。容器啟動後，5173 埠是 Orbit Chat 介面，3000 埠是 OpenAI 相容 API，管理員還可以透過 http://localhost:3000/admin 開啟管理面板（預設使用者名稱 admin，密碼 admin123）。官方提醒，首次執行映象帶有預設資料庫和 API 金鑰，暴露到 localhost 之外前應儘快更換預設金鑰和管理員密碼，生產環境務必使用最新穩定版。

Orbit 能構建的應用場景包括：與私有文件對話，基於對話歷史跨檔案檢索上下文；用多種自然語言查詢資料庫，由 Orbit 生成並安全執行 SQL、MongoDB、Elasticsearch 查詢，並將結果視覺化；讓模型透過 MCP 訪問檔案系統、Slack、Postgres、GitHub、Jira 等內部工具，在服務端執行有邊界限制的多步工具迴圈，而無需額外接入 agent 框架；還可以把 Orbit 當作一個統一治理的 AI 端點，按每個 API 金鑰控制訪問、配額、降級、內容稽核、指標和審計。

官方強調，Orbit 不只是模型路由，它把 RAG、結構化資料檢索、網路搜尋和工具執行放在同一個閘道器後面；它也不只是聊天介面，而是一個可以被任何 OpenAI 相容客戶端呼叫的後端；它更不是原型框架，而是自帶生產級控制面。對於注重隱私的部署，Orbit 支援本地推理、加密檔案儲存、雲金鑰管理和完全離線執行。

專案文件還提供了架構說明：Orbit 可接收 REST、OpenAI 相容、MCP、A2A 或訊息佇列請求，完成認證與路由之後，把它們分發到模型、私有資料和工具。官方維護了教程、介面卡配置指南、檔案/向量儲存/SQL 資料接入指南、MCP 工具指南、生產部署指南以及 Node.js SDK，便於開發者快速上手。Orbit 歡迎社群貢獻，包括新的檢索器、雲提供商整合、部署指南、測試和文件。