重试、超时与失败请求:账单里看不见的那部分
字数 2188
更新时间 2026-10-30 00:04:28

重试、超时与失败请求:账单里看不见的那部分

成本核算里最容易漏掉的一块,是没有成功返回结果的那些调用。

它们不在报表的正例里,不在成功率的统计里,甚至在业务日志里也只是一行错误记录。但它们确实被计费。

一个功能号称每次调用三分钱,实际账单算下来四分五,差额往往就藏在这里。

失败的请求也消耗了算力

模型生成到一半超时,钱已经花了。

原因在于推理是逐字生成的:服务端已经跑了几百轮计算,缓存也建起来了,这时候客户端断连或者超时,计算不会退回。

有些服务商对已生成的部分计费,有些按整次请求计费,规则不同,但都不太可能全额退还。

所以“失败”在计费上是模糊的。工程上说的失败,很多其实是“没有把结果交给用户”,而不是“没有消耗资源”。

重试会放大失败

真正让成本失控的不是单次失败,是重试。

一个请求超时之后,客户端通常会重试。重试是完整的第二次调用,全额计费。如果第二次又超时,可能还有第三次。

于是单次失败的成本是三倍。

更糟的是重试的时机。如果超时设得太短,正常请求也会被判定为失败,于是所有慢请求都变成三次调用。这种放大是隐性的:成功率看起来还不错,因为重试之后成功了;但账单上是三倍。

现象 真实成本 排查方向
成功率正常,账单偏高 重试在放大调用量 统计实际请求数与成功数之比
长文本请求特别贵 超时触发重复生成 超时阈值与输出长度不匹配
夜间成本突增 批量任务重试风暴 退避策略缺失
某功能单位成本高 失败后转人工 人工成本未计入

超时阈值是一个成本参数

很多人把超时当体验参数:设短一点,用户等得少。

它同时是成本参数。设得太短,会人为制造失败;设得太长,失败时浪费更多算力。

合理的做法是按任务类型分别设。简单问答的首字延迟通常在一秒内,超时可以设在十秒;长文档生成可能要几十秒,超时就得放到一分钟以上。

用同一套超时对待所有任务,必然在某一类上出问题。

还有一点:超时应该按“首字返回”和“整体完成”分开设。首字迟迟不来,说明服务不可用,早点放弃;首字来了但后续很慢,说明任务确实重,值得等。

退避与熔断

客户端重试如果立刻执行,会在服务端拥塞时火上浇油。

正确做法是退避:第一次失败等一秒,第二次等两秒、四秒,逐次拉长。这样既给服务端恢复时间,也避免短时间内重复打。

再往上是熔断:当失败率超过阈值时,直接停止调用一段时间,让请求快速失败而不是慢慢超时。

熔断看起来是“放弃用户”,实际是保护系统。持续重试一个已经不可用的服务,结果是所有请求都在排队,成本翻倍且全部失败。

幂等:避免重复产生副作用

重试不只是钱的问题,还可能产生重复的副作用。

一次下单请求超时了,客户端重试,服务端其实第一次已经处理成功。如果不做幂等,用户会被扣两次款。

这类问题在模型调用链上同样存在:重复触发写库、重复发通知、重复生成文件。

解决办法是给每个请求一个唯一标识,服务端对同一标识只处理一次,重复的请求直接返回上次结果。

这件事看似与成本无关,但它是“可以安全重试”的前提。没有幂等,重试策略就受限于业务风险,很难优化。

缓存也能吃失败

有些失败是重复的:同样的输入、同样的失败。

比如一个特定的输入总能触发模型输出格式错误,每次失败都重试三次。如果系统对失败结果不做记录,下一次遇到同样输入还会重来一遍。

可行的做法是记录失败模式:对已知会失败的输入,直接走兜底路径,不再调用模型。

这属于“负缓存”,用得不多但收益明确,尤其是那些高频、固定的坏输入。

预算闸门

还有一个更粗但有效的办法:给每个功能设成本上限。

按天或按小时统计消耗,超过阈值就降级:切到更便宜的模型、关闭非核心功能、限制单用户调用频次。

这个机制的价值不在于省钱,而在于防止事故。一个死循环的重试、一个被刷的接口、一次配置错误导致的无限调用,都可能在几小时内烧掉一个月预算。

有了闸门,最坏情况是可以预期的。

怎么把这块账补上

要看清这部分成本,需要几个数字。

实际调用总数与成功返回总数的比值。这个比值叫放大系数,正常应该在一点一以内,超过一点五说明重试过多。

失败请求的消耗占比。从账单或日志里可以按状态切分,很多团队第一次看这个数字会惊讶。

平均重试次数,按功能分别统计。某个功能明显高于其他,通常是有具体的技术问题。

超时阈值与平均响应时间的分布。如果超时阈值落在响应时间的常见区间里,说明阈值设错了。

人工兜底的比例。失败转人工的那部分,成本往往比模型账单高一个数量级。

五个数字补上之后,成本模型才算完整。在此之前,所有的降本讨论都建立在一个偏低的基数上。

一个反直觉的结论

把失败率从百分之五降到百分之一,看起来只是一个可靠性指标,实际可能是最大的一笔降本。

因为失败的成本是乘法:一次失败消耗多次调用,还可能触发人工。

按这个逻辑,稳定性投入的回报率往往高于模型压缩。很多团队在压缩模型上花几个月,收益百分之三十;而修掉一个导致大量重试的缺陷,收益可能超过一半。

判断顺序上,先看清放大系数,再谈优化。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏