Kılavuzlar

Performans

LLMs Text

Yanıt hızı

Karmaşık bir görev onlarca dakika mı sürüyor? Darboğaz neredeyse her zaman model üretim süresi × Agent turlarıdır; relay katmanı değil.

Zaman nereye gidiyor

Claude Code / Codex CLI bir görevi işlerken onlarca ila yüzlerce API turu yapar. 24 saat boyunca tüm üretim isteklerinde ölçümler:

  • Model üretimi toplam sürenin %93'ünü oluşturur
  • Relay iletim yükü istek başına <1 saniyedir (%7)

30 dakikalık bir görev ≈ 100+ tur × tur başına yaklaşık 10 saniye. Daha hızlı yapmak için ya tur sayısını azaltın ya da daha hızlı bir modele geçin.

Model hızı referansı

Ölçülen tek istek p50:

Modelp50En iyisi
gpt-5.4-mini~4sHafif görevler, küçük değişiklikler, toplu işleme
gpt-5.4~9sGünlük geliştirme
gpt-5.5~11sKarmaşık muhakeme, büyük yeniden düzenlemeler

En hızlı ile en yavaş arasında yaklaşık 3× fark vardır. Claude tarafında da aynıdır: claude-haiku-* sonnet / opus'tan daha hızlıdır.

Hızlandırma önerileri

Göreve göre model seçin

Basit görevler için en ağır modeli kullanmayın. Özetler, çeviriler ve küçük düzeltmeler için önce gpt-5.4-mini / claude-haiku-* deneyin.

Muhakeme çabasını düşürün

Muhakeme düzeyi ne kadar yüksekse model o kadar uzun düşünür. Tek bir xhigh turu medium'dan birkaç kat daha yavaş olabilir. Günlük geliştirme için medium yeterlidir; xhigh'ı yalnızca özellikle zor sorunlarda açın.

Codex CLI (~/.codex/config.toml):

model_reasoning_effort = "medium"

Claude Code ChatGPT modelleri kullandığında:

export CLAUDE_CODE_EFFORT_LEVEL=medium

Bağlam uzunluğunu kontrol edin

Bağlam ne kadar uzunsa ilk token'a kadar geçen süre o kadar yavaştır. Yeni bir göreve başlamadan önce /clear çalıştırın ve uzun oturumlarda zamanında /compact kullanın.

SSS

S: Relay servisi yavaş mı? C: Ölçülen relay yükü istek başına <1 saniyedir (%7). Aynı modelle resmi servise doğrudan bağlanmak fark edilir derecede daha hızlı olmaz.

S: Aynı soru neden bazen hızlı bazen yavaş? C: Tur sayısı değişir, resmi servis yükü de değişir. Üretim süresinin kendisinin de uzun bir kuyruğu vardır (p99, p50'nin 5 katını aşabilir).

S: Akış daha hızlı mı yapar? C: Toplam süre aynıdır, ancak ilk token daha erken gelir; bu yüzden daha hızlı hissedilir. CLI araçları varsayılan olarak akış kullanır.

S: Ağ / bölge değiştirmek hızı iyileştirir mi? C: Temelde hayır. Ağ gidiş-dönüş süresi toplam sürenin yalnızca küçük bir kısmıdır; çoğu zaman model sağlayıcısının veri merkezinde üretimle geçer.