Kılavuzlar

Servis soğuma ve yeniden deneme

LLMs Text

Servis soğuma süreleri ve yeniden denemeler

HTTP 503 geçici bir üst sağlayıcı kesintisini gösterebilir. Platform hız sınırları, kota sınırları, ağ hataları veya üst sağlayıcı erişim kısıtlamaları algıladığında, etkilenen servise istekleri duraklatır ve kullanılabilirlik koşulları sağlandığında yeniden dener.

Otomatik yönlendirme

Platform diğer kullanılabilir üst sağlayıcı servislerini dener. Başarı yine de model kullanılabilirliğine, kotalara ve üst sağlayıcı politikalarına bağlıdır; otomatik yönlendirme her isteğin başarılı olacağını garanti edemez.

İlk bayt zaman aşımlarının kademeli işlenmesi

response header timeout genellikle geçici üst sağlayıcı yoğunluğu veya daha uzun muhakemeden kaynaklanır. Ardışık hatalardan sonra platform hatayı kaydeder ve diğer kullanılabilir rotaları dener:

  • 1.–2. ardışık hata: Başka bir rota dene
  • 3.–4. hata: 30 saniye duraklat
  • 5.–6. hata: 1 dakika duraklat
    1. ve sonraki hatalar: 5 dakika duraklat

Başarılı bir yanıt ardışık hata sayacını sıfırlar. Diğer üst sağlayıcı kısıtlamaları daha uzun bir toparlanma süresi gerektirebilir.

Kullanılabilir servis yok

İstemciler şu tür bir hatayla HTTP 503 alabilir:

{
  "code": "no_account_available",
  "message": "all accounts cooling down, retry in 60s"
}

Bunlar gerçek API hata alanlarıdır ve sorun giderme için burada tutulur. retry in Xs bir yeniden deneme gecikmesi önerir; gerçek toparlanma üst sağlayıcı durumuna bağlıdır.

İstemci işleme

  • Titreşimli üstel geri çekilme kullanın; örneğin 1, 2, 4 ve 8 saniye; maksimum yeniden deneme sayısı belirleyin.
  • Araç veya SDK'nızın zaten yeniden deneme yapıp yapmadığını kontrol edin; üst üste binen yeniden deneme döngülerinden kaçının.
  • Başarısız otomatik görevleri kaydedin ve manuel bir kurtarma yolu sağlayın. Yeniden denemeden önce araç çağrılarının veya yazma işlemlerinin zaten çalışıp çalışmadığını kontrol ederek yinelenen eylemlerden kaçının.
  • Kalıcı hatalarda Servis ve destek sayfasını kontrol edin. Hatalar 15 dakikadan uzun sürerse veya kritik görevleri etkiliyorsa, istek zamanı, model ve hata kodu ile support@4aicode.com adresine başvurun.

Sorun giderme ayrıntılarını paylaşmadan önce API anahtarlarını ve hassas istek içeriğini kaldırın.