本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Lightport – Portkey AI Gateway のメンテナンスフォーク

記事の要約

Lightport は、さまざまな LLM プロバイダーを OpenAI 互換にする軽量 AI ゲートウェイです。Portkey AI Gateway からフォークされ、リトライやキャッシュなどの高度な機能を省き、リクエスト/レスポンス変換層のみに特化しています。OpenAI、Anthropic、Azure OpenAI など 77 のプロバイダーをサポート。pnpx lightport で簡単に起動できます。

ソースHacker News AI著者: punkpeye
Lightport – Portkey AI Gateway のメンテナンスフォーク
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Lightport は、OpenAI API と互換性を持たせることでさまざまな LLM プロバイダーを利用可能にする軽量 AI ゲートウェイです。このプロジェクトは Portkey AI Gateway からフォークされましたが、大幅に簡素化され、リクエストとレスポンスの変換層に集中しています。リトライ、シークレット管理、キャッシュ、レート制限などの運用機能は、ゲートウェイの上にあるサービス層またはカスタムミドルウェアで処理することを想定しています。

Lightport は OpenAI、Anthropic、Azure OpenAI、Google Gemini、Vertex AI、Bedrock、Cohere、Mistral、Groq、Deepseek、Together AI、Fireworks、Ollama など、77 の AI プロバイダーをサポートしています。提供されるエンドポイントは /v1/chat/completions、/v1/completions、/v1/responses(GET、DELETE、input_items に対応)の 3 つです。ユーザーは x-lightport-provider ヘッダーでプロバイダーを指定し、Authorization ヘッダーまたはプロバイダー固有のヘッダー(Anthropic の場合は x-api-key)で認証情報を渡します。また、x-lightport-proxy-url ヘッダーを使用して HTTP プロキシ経由でリクエストをルーティングすることもできます。

このプロジェクトは、AI プロバイダーを OpenAI 互換にする変換層だけが必要だったというユースケースから、Portkey AI Gateway のフォークとして始まりました。その後、Portkey はガードレール、フォールバック、自動リトライ、負荷分散、リクエストタイムアウト、スマートキャッシュ、使用状況分析、コスト管理などを備えたフル機能の AI ゲートウェイへと進化しました。Lightport チームは、これらの機能はゲートウェイ自体ではなく、より上位の抽象化レベル(Glama が提供するもの)に属すると考えています。フォーク以来、多数のバグを修正し、すべてのプロバイダーに対して統合テストを追加し、Glama を直接支えるものとして積極的にメンテナンスを続けています。

Lightport のクイックスタートは簡単です。pnpx lightport を実行するだけで、http://localhost:8787 でゲートウェイが起動します。その後、curl を使用してリクエストを送信できます。一部のプロバイダーでは追加のヘッダーが必要です。たとえば、Azure OpenAI では x-lightport-azure-resource-name、x-lightport-azure-deployment-id、x-lightport-azure-api-version が必要です。Bedrock では AWS 認証情報、Vertex AI ではプロジェクト ID とリージョンなどが必要です。

アーキテクチャは明確です。リクエストは bodyParser ミドルウェア(JSON/FormData を解析)、requestValidator(プロバイダーヘッダーを必須とする)、handler(エンドポイントに応じて chatCompletions/completions/modelResponses を選択)、constructConfigFromRequestHeaders、tryPost を経て、必要に応じてアダプター変換、プロバイダー検索と transformToProviderRequest、プロバイダーへの fetch、そして responseHandler によるレスポンス変換を経て返されます。プロバイダーシステム(src/providers/)には 77 の実装が含まれており、それぞれが API 設定、リクエストパラメータ変換、レスポンス変換(ストリーミングおよび非ストリーミング)を定義しています。

全体として、Lightport は OpenAI 互換性が必要なユーザー向けの軽量ゲートウェイであり、エンタープライズ向けのフル機能が必要な場合は Portkey Gateway を検討すべきです。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • Lightport は Portkey AI Gateway の簡素化されたフォークで、OpenAI 互換性に焦点を当てています。
  • リトライやキャッシュなどの運用機能は対象外で、上位のサービスが処理します。
  • 77 の AI プロバイダーを統一された OpenAI 互換インターフェースでサポート。
  • pnpx lightport でローカル実行し、x-lightport-provider ヘッダーでプロバイダーを指定できます。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。