Lightport – 一個維護中的 Portkey AI 閘道器分支

Lightport 是一個輕量級的 AI 閘道器，其核心目標是使各種 LLM 提供商與 OpenAI API 相容。該專案源自 Portkey AI Gateway，但進行了大幅簡化，專注於請求和響應轉換層，而將重試、秘密管理、快取、速率限制等操作功能交由上層服務或自定義中介軟體處理。

Lightport 支援 77 個 AI 提供商，包括 OpenAI、Anthropic、Azure OpenAI、Google Gemini、Vertex AI、Bedrock、Cohere、Mistral、Groq、Deepseek、Together AI、Fireworks、Ollama 等。它提供三個主要端點：/v1/chat/completions、/v1/completions 和 /v1/responses（支援 GET、DELETE 和 input_items）。使用者透過設定 x-lightport-provider 頭部指定提供商，並透過 Authorization 或特定於提供商的頭部（如 x-api-key 用於 Anthropic）傳遞憑據。此外，它還支援透過 x-lightport-proxy-url 頭部使用 HTTP 代理。

該專案最初是作為 Portkey AI Gateway 的分支建立的，當時開發者只需要使 AI 提供商與 OpenAI 相容的轉換層。隨著時間的推移，Portkey 發展成為一個功能全面的 AI 閘道器，包含護欄、回退、自動重試、負載均衡、請求超時、智慧快取、使用分析、成本管理等。Lightport 團隊認為這些功能應屬於更高的抽象層——這正是 Glama 所提供的——而不是閘道器本身。自分支以來，Lightport 修復了許多錯誤，為每個提供商新增了整合測試，並持續積極維護，因為它直接為 Glama 提供支援。

快速開始使用 Lightport 非常簡單：執行 pnpx lightport 即可在本地啟動閘道器，監聽 http://localhost:8787。然後可以透過 curl 傳送請求，例如指定模型和訊息。對於某些提供商，需要額外的頭部，如 Azure OpenAI 需要資源名稱、部署 ID 和 API 版本，Bedrock 需要 AWS 憑證等。

Lightport 的架構清晰：請求依次經過 bodyParser 中介軟體（解析 JSON/FormData）、requestValidator（要求提供商頭部）、handler（根據端點選擇處理函式）、constructConfigFromRequestHeaders、tryPost，然後透過介面卡轉換（如需要），再到提供商查詢和 transformToProviderRequest，最後透過 fetch 傳送給提供商，響應經 responseHandler 轉換後返回。提供者系統包含 77 個實現，每個定義 API 配置、請求引數轉換和響應轉換（流式和非流式）。

總體而言，Lightport 是一個專注於核心功能的輕量級閘道器，適合只需要 OpenAI 相容性的使用者，而需要企業級功能的使用者則應考慮 Portkey Gateway。