ガイド

レスポンス速度

LLMs Text

応答速度

複雑なタスクに数十分かかりますか?ボトルネックはほぼ常に モデル生成時間 × Agent ラウンド数 であり、中継レイヤーではありません。

時間の内訳

Claude Code / Codex CLI がタスクを処理する = 数十~数百回の API ラウンド。24 時間の本番リクエスト全体の計測:

  • モデル生成が総時間の 93%
  • 中継転送オーバーヘッドは 1 リクエストあたり 1 秒未満(7%)

30 分のタスク ≈ 100 回以上のラウンド × ラウンドあたり約 10 秒。高速化するには、ラウンド数を減らすか、より速いモデルに切り替えます。

モデル速度の参考

単一リクエストの p50 計測:

モデルp50向いている用途
gpt-5.4-mini~4s軽量タスク、小さな変更、バッチ処理
gpt-5.4~9s日常開発
gpt-5.5~11s複雑な推論、大規模リファクタ

最速と最遅で約 3 倍の差があります。Claude 側も同様で、claude-haiku-* は sonnet / opus より速いです。

高速化の推奨

タスクに応じてモデルを選ぶ

単純なタスクに最重モデルを使わないでください。要約、翻訳、軽微な修正には、まず gpt-5.4-mini / claude-haiku-* を試してください。

推論 effort を下げる

推論レベルが高いほど、モデルの思考時間が長くなります。xhigh の 1 ラウンドは medium の数倍遅くなることがあります。日常開発には medium で十分;特に難しい問題のときだけ xhigh を有効にしてください。

Codex CLI(~/.codex/config.toml):

model_reasoning_effort = "medium"

Claude Code で ChatGPT モデルを使う場合:

export CLAUDE_CODE_EFFORT_LEVEL=medium

コンテキスト長を制御する

コンテキストが長いほど、初回トークンまでの時間が遅くなります。新しいタスクの前に /clear を実行し、長いセッションでは /compact を適宜使ってください。

FAQ

Q: 中継サービスは遅いですか? A: 計測された中継オーバーヘッドは 1 リクエストあたり 1 秒未満で、7% です。同じモデルで公式サービスに直接接続しても、体感上はほぼ速くなりません。

Q: 同じ質問が速かったり遅かったりするのはなぜ? A: ラウンド数が変わるほか、公式サービスの負荷も変動します。生成時間自体にも長い尾があり(p99 は p50 の 5 倍以上になることがあります)。

Q: ストリーミングで速くなりますか? A: 総所要時間は同じですが、初回トークンが早く届くため、体感は速くなります。CLI ツールはデフォルトでストリーミングを使用します。

Q: ネットワークやリージョンを変えると速くなりますか? A: 基本的にいいえ。ネットワーク往復時間は総時間のごく一部;大半はモデルプロバイダーのデータセンターでの生成に費やされます。