请求返回 HTTP 503 时,可能是上游服务暂时不可用。平台会在检测到限流、额度限制、网络故障或上游访问限制后,暂停向受影响的服务发送请求,并在可用条件满足时重新尝试。
自动调度
平台会尝试其他可用的上游服务。请求是否成功仍取决于目标模型的可用性、额度和上游策略;自动调度无法保证每次请求成功。
首包超时的分级处置
response header timeout 常见于上游短暂拥塞或较长推理。连续失败时,平台会记录失败并尝试其他可用路由:
- 第 1~2 次连续失败:尝试其他路由
- 第 3~4 次:暂停 30 秒
- 第 5~6 次:暂停 1 分钟
- 第 7 次及以后:暂停 5 分钟
成功响应会清空连续失败计数。其他上游限制可能需要更长的恢复时间。
暂无可用服务
客户端可能收到 HTTP 503 和如下错误:
{
"code": "no_account_available",
"message": "all accounts cooling down, retry in 60s"
}
这里保留接口实际返回的错误字段,便于排障。retry in Xs 是重试等待提示,实际恢复时间取决于上游状态。
客户端处理
- 使用带随机抖动的指数退避,例如间隔 1、2、4、8 秒,并设置重试次数上限。
- 根据工具或 SDK 的实际配置确认是否已启用重试,避免多层重试叠加。
- 对自动化任务记录失败状态并保留人工恢复入口;涉及工具调用或写操作时,重试前检查是否已经执行,防止重复操作。
- 持续失败时查看服务公告与支持。持续 15 分钟以上或影响关键任务时,可联系 [email protected],并提供请求时间、模型和错误码。
分享排障信息时,请隐去 API Key 和请求中的敏感内容。