本文にスキップ
AI News HubLIVE
その他
要約のみ

クォータ上限による429とレート制限による429では異なるクールダウンが必要

resilient-llm-routerは、マルチプロバイダLLMルーティング用のPythonライブラリで、(プロバイダ、モデル、クレデンシャル)ごとにレート制限、クォータ、サーキットヘルスの3つの直交状態を追跡し、429エラーの異なるクールダウン要件を区別することで不要なリトライを防止します。

ソースHacker News AI著者: eleion_ai
クォータ上限による429とレート制限による429では異なるクールダウンが必要
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 429エラーの2つのタイプ(一時的なレート制限とクォータ枯渇)を区別し、異なるクールダウン戦略を適用。
  • メモリ、SQLite、PostgreSQLの3つのバックエンドをサポートし、永続化とマルチホスト展開が可能。
  • オプションのプローブデーモンとレート制限ヘッダーの自動検出機能。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。