ガイド

サービスのクールダウンと再試行

LLMs Text

サービスのクールダウンとリトライ

HTTP 503 は上流の一時的な障害を示す場合があります。プラットフォームがレート制限、クォータ制限、ネットワーク障害、上流のアクセス制限を検出すると、影響を受けたサービスへのリクエストを一時停止し、可用性条件が満たされたときにリトライします。

自動ルーティング

プラットフォームは他の利用可能な上流サービスを試行します。成功はモデルの可用性、クォータ、上流ポリシーに依存するため、自動ルーティングですべてのリクエストが成功するとは限りません。

初回バイトタイムアウトの段階的処理

response header timeout は、上流の一時的な混雑や長い推論処理によってよく発生します。連続失敗後、プラットフォームは失敗を記録し、他の利用可能な経路を試します。

  • 1~2 回目の連続失敗:別経路を試行
  • 3~4 回目:30 秒間一時停止
  • 5~6 回目:1 分間一時停止
  • 7 回目以降:5 分間一時停止

成功応答で連続失敗カウントはリセットされます。その他の上流制限では、より長い回復時間が必要な場合があります。

利用可能なサービスがない場合

クライアントは次のような HTTP 503 エラーを受け取ることがあります。

{
  "code": "no_account_available",
  "message": "all accounts cooling down, retry in 60s"
}

これらは実際の API エラーフィールドであり、トラブルシューティング用にそのまま記載しています。retry in Xs はリトライ待機時間の目安です。実際の回復は上流の状態に依存します。

クライアント側の対処

  • ジッター付き指数バックオフ(1、2、4、8 秒など)を使用し、最大リトライ回数を設定してください。
  • ツールや SDK が既にリトライしているか確認し、リトライループの二重化を避けてください。
  • 失敗した自動タスクを記録し、手動復旧の手段を用意してください。リトライ前にツール呼び出しや書き込み操作が既に実行されていないか確認し、重複操作を避けてください。
  • 継続的な失敗は サービスとサポート を確認してください。15 分以上続く場合や重要タスクに影響する場合は、リクエスト時刻、モデル、エラーコードを添えて support@4aicode.com にご連絡ください。

トラブルシューティング情報を共有する前に、APIキーと機密性の高いリクエスト内容を削除してください。