복잡한 작업이 수십 분 걸리나요? 병목은 거의 항상 모델 생성 시간 × Agent 라운드 수이며, 릴레이 계층이 아닙니다.

시간이 쓰이는 곳

Claude Code / Codex CLI가 작업을 처리할 때 = 수십~수백 번의 API 라운드. 24시간 프로덕션 요청 측정 기준:

30분 작업 ≈ 100회 이상 라운드 × 라운드당 약 10초. 빠르게 하려면 라운드 수를 줄이거나 더 빠른 모델로 바꾸세요.

모델 속도 참고

단일 요청 p50 측정:

가장 빠른 모델과 느린 모델은 거의 3배 차이. Claude 쪽도 동일: claude-haiku-*가 sonnet / opus보다 빠릅니다.

단순 작업에 가장 무거운 모델을 쓰지 마세요. 요약, 번역, 사소한 수정은 gpt-5.4-mini / claude-haiku-*부터 시도하세요.

추론 수준이 높을수록 생각하는 시간이 길어집니다. xhigh 한 라운드는 medium보다 수 배 느릴 수 있습니다. 일상 개발에는 medium으로 충분하고, 특히 어려운 문제에만 xhigh를 켜세요.

Codex CLI (~/.codex/config.toml):

model_reasoning_effort = "medium"

Claude Code에서 ChatGPT 모델 사용 시:

export CLAUDE_CODE_EFFORT_LEVEL=medium

컨텍스트가 길수록 첫 토큰까지 시간이 늘어납니다. 새 작업 전 /clear, 긴 세션에서는 /compact를 적시에 사용하세요.

Q: 릴레이 서비스가 느린가요? A: 측정상 릴레이 오버헤드는 요청당 1초 미만(7%)입니다. 같은 모델로 공식 서비스에 직접 연결해도 체감 차이는 거의 없습니다.

Q: 같은 질문이 때때로 빠르고 때로는 느린 이유는? A: 라운드 수와 공식 서비스 부하가 달라지고, 생성 시간 자체도 꼬리가 깁니다(p99가 p50의 5배를 넘을 수 있음).

Q: 스트리밍이 더 빠른가요? A: 총 소요 시간은 같지만 첫 토큰이 더 빨리 와서 빠르게 느껴집니다. CLI 도구는 기본적으로 스트리밍을 사용합니다.

Q: 네트워크/지역을 바꾸면 속도가 나아지나요? A: 거의 아닙니다. 왕복 네트워크 시간은 전체의 일부이고, 대부분은 모델 제공자 데이터센터에서 생성하는 데 쓰입니다.