跳到主要內容
AI News HubLIVE
更多
僅摘要

基於Rails的代理工具:強制執行OpenAI使用硬性美元上限

ai_budget_proxy 是一個無狀態的HTTP代理,位於應用程序和OpenAI之間,通過硬性支出上限防止意外的高額賬單。它不存儲OpenAI密鑰,僅通過每次請求轉發密鑰。該工具提供了令牌管理、速率限制和安全的通信方式,目前僅支持非流式請求,未來計劃增加流式支持和儀表盤功能。

來源Hacker News AI作者: nseglins
基於Rails的代理工具:強制執行OpenAI使用硬性美元上限
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師入門

要點

  • 無狀態HTTP代理,強制執行OpenAI開支硬上限,達到上限後請求停止。
  • OpenAI密鑰不存儲,僅在請求期間在內存中轉發,不寫入數據庫或日誌。
  • 提供令牌創建與查詢接口,支持按郵箱查看各令牌的限額、用量及剩餘金額。
  • 當前僅支持非流式請求,計劃增加流式支持、軟上限警報和React儀表盤。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。