429错误:配额限制与速率限制需要不同的冷却时间
resilient-llm-router是一个Python库,用于多提供商LLM路由,通过跟踪每个(提供商、模型、凭证)的速率限制、配额和电路健康三个正交状态,有效区分429错误的不同冷却需求,避免不必要的重试。
429错误:配额限制与速率限制需要不同的冷却时间
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。
resilient-llm-router是一个Python库,用于多提供商LLM路由,通过跟踪每个(提供商、模型、凭证)的速率限制、配额和电路健康三个正交状态,有效区分429错误的不同冷却需求,避免不必要的重试。
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。