基於Rails的代理工具:強制執行OpenAI使用硬性美元上限
ai_budget_proxy 是一個無狀態的HTTP代理,位於應用程式和OpenAI之間,透過硬性支出上限防止意外的高額賬單。它不儲存OpenAI金鑰,僅透過每次請求轉發金鑰。該工具提供了令牌管理、速率限制和安全的通訊方式,目前僅支援非流式請求,未來計劃增加流式支援和儀表盤功能。
基於Rails的代理工具:強制執行OpenAI使用硬性美元上限
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。
ai_budget_proxy 是一個無狀態的HTTP代理,位於應用程式和OpenAI之間,透過硬性支出上限防止意外的高額賬單。它不儲存OpenAI金鑰,僅透過每次請求轉發金鑰。該工具提供了令牌管理、速率限制和安全的通訊方式,目前僅支援非流式請求,未來計劃增加流式支援和儀表盤功能。
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。