Lightport – 一個維護中的 Portkey AI 網關分支

Lightport 是一個輕量級的 AI 網關，其核心目標是使各種 LLM 提供商與 OpenAI API 兼容。該項目源自 Portkey AI Gateway，但進行了大幅簡化，專注於請求和響應轉換層，而將重試、秘密管理、緩存、速率限制等操作功能交由上層服務或自定義中間件處理。

Lightport 支持 77 個 AI 提供商，包括 OpenAI、Anthropic、Azure OpenAI、Google Gemini、Vertex AI、Bedrock、Cohere、Mistral、Groq、Deepseek、Together AI、Fireworks、Ollama 等。它提供三個主要端點：/v1/chat/completions、/v1/completions 和 /v1/responses（支持 GET、DELETE 和 input_items）。用户通過設置 x-lightport-provider 頭部指定提供商，並通過 Authorization 或特定於提供商的頭部（如 x-api-key 用於 Anthropic）傳遞憑據。此外，它還支持通過 x-lightport-proxy-url 頭部使用 HTTP 代理。

該項目最初是作為 Portkey AI Gateway 的分支創建的，當時開發者只需要使 AI 提供商與 OpenAI 兼容的轉換層。隨着時間的推移，Portkey 發展成為一個功能全面的 AI 網關，包含護欄、回退、自動重試、負載均衡、請求超時、智能緩存、使用分析、成本管理等。Lightport 團隊認為這些功能應屬於更高的抽象層——這正是 Glama 所提供的——而不是網關本身。自分支以來，Lightport 修復了許多錯誤，為每個提供商添加了集成測試，並持續積極維護，因為它直接為 Glama 提供支持。

快速開始使用 Lightport 非常簡單：運行 pnpx lightport 即可在本地啓動網關，監聽 http://localhost:8787。然後可以通過 curl 發送請求，例如指定模型和消息。對於某些提供商，需要額外的頭部，如 Azure OpenAI 需要資源名稱、部署 ID 和 API 版本，Bedrock 需要 AWS 憑證等。

Lightport 的架構清晰：請求依次經過 bodyParser 中間件（解析 JSON/FormData）、requestValidator（要求提供商頭部）、handler（根據端點選擇處理函數）、constructConfigFromRequestHeaders、tryPost，然後通過適配器轉換（如需要），再到提供商查找和 transformToProviderRequest，最後通過 fetch 發送給提供商，響應經 responseHandler 轉換後返回。提供者系統包含 77 個實現，每個定義 API 配置、請求參數轉換和響應轉換（流式和非流式）。

總體而言，Lightport 是一個專注於核心功能的輕量級網關，適合只需要 OpenAI 兼容性的用户，而需要企業級功能的用户則應考慮 Portkey Gateway。