クォータ上限による429とレート制限による429では異なるクールダウンが必要
resilient-llm-routerは、マルチプロバイダLLMルーティング用のPythonライブラリで、(プロバイダ、モデル、クレデンシャル)ごとにレート制限、クォータ、サーキットヘルスの3つの直交状態を追跡し、429エラーの異なるクールダウン要件を区別することで不要なリトライを防止します。
クォータ上限による429とレート制限による429では異なるクールダウンが必要
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。