Lightport – Portkey AI Gateway のメンテナンスフォーク

Lightport は、OpenAI API と互換性を持たせることでさまざまな LLM プロバイダーを利用可能にする軽量 AI ゲートウェイです。このプロジェクトは Portkey AI Gateway からフォークされましたが、大幅に簡素化され、リクエストとレスポンスの変換層に集中しています。リトライ、シークレット管理、キャッシュ、レート制限などの運用機能は、ゲートウェイの上にあるサービス層またはカスタムミドルウェアで処理することを想定しています。

Lightport は OpenAI、Anthropic、Azure OpenAI、Google Gemini、Vertex AI、Bedrock、Cohere、Mistral、Groq、Deepseek、Together AI、Fireworks、Ollama など、77 の AI プロバイダーをサポートしています。提供されるエンドポイントは /v1/chat/completions、/v1/completions、/v1/responses（GET、DELETE、input_items に対応）の 3 つです。ユーザーは x-lightport-provider ヘッダーでプロバイダーを指定し、Authorization ヘッダーまたはプロバイダー固有のヘッダー（Anthropic の場合は x-api-key）で認証情報を渡します。また、x-lightport-proxy-url ヘッダーを使用して HTTP プロキシ経由でリクエストをルーティングすることもできます。

このプロジェクトは、AI プロバイダーを OpenAI 互換にする変換層だけが必要だったというユースケースから、Portkey AI Gateway のフォークとして始まりました。その後、Portkey はガードレール、フォールバック、自動リトライ、負荷分散、リクエストタイムアウト、スマートキャッシュ、使用状況分析、コスト管理などを備えたフル機能の AI ゲートウェイへと進化しました。Lightport チームは、これらの機能はゲートウェイ自体ではなく、より上位の抽象化レベル（Glama が提供するもの）に属すると考えています。フォーク以来、多数のバグを修正し、すべてのプロバイダーに対して統合テストを追加し、Glama を直接支えるものとして積極的にメンテナンスを続けています。

Lightport のクイックスタートは簡単です。pnpx lightport を実行するだけで、http://localhost:8787 でゲートウェイが起動します。その後、curl を使用してリクエストを送信できます。一部のプロバイダーでは追加のヘッダーが必要です。たとえば、Azure OpenAI では x-lightport-azure-resource-name、x-lightport-azure-deployment-id、x-lightport-azure-api-version が必要です。Bedrock では AWS 認証情報、Vertex AI ではプロジェクト ID とリージョンなどが必要です。

アーキテクチャは明確です。リクエストは bodyParser ミドルウェア（JSON/FormData を解析）、requestValidator（プロバイダーヘッダーを必須とする）、handler（エンドポイントに応じて chatCompletions/completions/modelResponses を選択）、constructConfigFromRequestHeaders、tryPost を経て、必要に応じてアダプター変換、プロバイダー検索と transformToProviderRequest、プロバイダーへの fetch、そして responseHandler によるレスポンス変換を経て返されます。プロバイダーシステム（src/providers/）には 77 の実装が含まれており、それぞれが API 設定、リクエストパラメータ変換、レスポンス変換（ストリーミングおよび非ストリーミング）を定義しています。

全体として、Lightport は OpenAI 互換性が必要なユーザー向けの軽量ゲートウェイであり、エンタープライズ向けのフル機能が必要な場合は Portkey Gateway を検討すべきです。