429錯誤:配額限制與速率限制需要不同的冷卻時間
resilient-llm-router是一個Python庫,用於多提供商LLM路由,透過跟蹤每個(提供商、模型、憑證)的速率限制、配額和電路健康三個正交狀態,有效區分429錯誤的不同冷卻需求,避免不必要的重試。
429錯誤:配額限制與速率限制需要不同的冷卻時間
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。
resilient-llm-router是一個Python庫,用於多提供商LLM路由,透過跟蹤每個(提供商、模型、憑證)的速率限制、配額和電路健康三個正交狀態,有效區分429錯誤的不同冷卻需求,避免不必要的重試。
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。