跳到主要內容
AI News HubLIVE
更多
僅摘要

基於Rails的代理工具:強制執行OpenAI使用硬性美元上限

ai_budget_proxy 是一個無狀態的HTTP代理,位於應用程式和OpenAI之間,透過硬性支出上限防止意外的高額賬單。它不儲存OpenAI金鑰,僅透過每次請求轉發金鑰。該工具提供了令牌管理、速率限制和安全的通訊方式,目前僅支援非流式請求,未來計劃增加流式支援和儀表盤功能。

來源Hacker News AI作者: nseglins
基於Rails的代理工具:強制執行OpenAI使用硬性美元上限
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師入門

要點

  • 無狀態HTTP代理,強制執行OpenAI開支硬上限,達到上限後請求停止。
  • OpenAI金鑰不儲存,僅在請求期間在記憶體中轉發,不寫入資料庫或日誌。
  • 提供令牌建立與查詢介面,支援按郵箱檢視各令牌的限額、用量及剩餘金額。
  • 當前僅支援非流式請求,計劃增加流式支援、軟上限警報和React儀表盤。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。