基于Rails的代理工具:强制执行OpenAI使用硬性美元上限
ai_budget_proxy 是一个无状态的HTTP代理,位于应用程序和OpenAI之间,通过硬性支出上限防止意外的高额账单。它不存储OpenAI密钥,仅通过每次请求转发密钥。该工具提供了令牌管理、速率限制和安全的通信方式,目前仅支持非流式请求,未来计划增加流式支持和仪表盘功能。
基于Rails的代理工具:强制执行OpenAI使用硬性美元上限
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。
ai_budget_proxy 是一个无状态的HTTP代理,位于应用程序和OpenAI之间,通过硬性支出上限防止意外的高额账单。它不存储OpenAI密钥,仅通过每次请求转发密钥。该工具提供了令牌管理、速率限制和安全的通信方式,目前仅支持非流式请求,未来计划增加流式支持和仪表盘功能。
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。