本文にスキップ
AI News HubLIVE
その他
要約のみ

OpenAIの使用にハードなドル上限を強制するRailsプロキシ

ai_budget_proxyは、アプリケーションとOpenAIの間に配置されるステートレスなHTTPプロキシで、ハードな支出上限を強制します。上限に達するとリクエストは停止し、ループや忘れられたテストスクリプトによる予期せぬ高額請求を防ぎます。OpenAIキーはプロキシに保存されず、各リクエストで直接転送されます。トークン管理、セキュリティ対策、レート制限を提供します。現在は非ストリーミングのみ対応で、ストリーミング対応やダッシュボードの計画があります。

ソースHacker News AI著者: nseglins
OpenAIの使用にハードなドル上限を強制するRailsプロキシ
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • ステートレスなHTTPプロキシがOpenAIの支出にハードなドル上限を強制し、予算超過時には429を返す。
  • OpenAI APIキーは保存されず、リクエスト期間中のみメモリに保持され、OpenAIに転送される。
  • トークン作成と支出照会エンドポイントにより、メールごとに制限、使用量、残高を追跡可能。
  • 現在は非ストリーミングリクエストのみ対応。ストリーミング、ソフトキャップアラート、Reactダッシュボードがロードマップに含まれる。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。