量化与蒸馏省下的钱,常常从别处花回去
字数 2228
更新时间 2026-10-30 00:04:28

量化与蒸馏省下的钱,常常从别处花回去

降本的第一反应通常是压缩模型:把精度降一点,把参数裁掉一些,把大模型的能力装进小模型。

账面上看,这一步的收益立竿见影:显存占得少,同样的卡能跑更多请求,单次成本可能降到原来的三分之一。

但很多团队做完之后发现,总账没降那么多,甚至更贵了。省下的算力,被别的地方吃掉了。

第一处回吐:重试率上升

压缩之后,模型在某些输入上开始出错。

出错的形式通常不是彻底的胡说,而是细微的偏差:格式偶尔不规范、字段偶尔漏一个、推理偶尔跳一步。

这些偏差在离线测试里可能只表现为准确率从八十五降到八十二。听起来还能接受。

但在生产环境里,三个百分点的失败率意味着每三十次请求就有一次要重试。重试要花一次完整调用,而且很多系统会重试两次、三次。

算一下:成本降到三分之一,但请求量涨了一点一倍,实际成本只降到四成。如果再算上重试带来的延迟与用户等待,收益已经很薄。

省钱动作 账面收益 常见回吐
精度量化 显存与算力下降 格式错误增多、重试率上升
参数裁剪 单次成本下降 复杂任务正确率下滑、需人工兜底
蒸馏到小模型 单价大幅下降 领域边缘案例失效、需补规则
缩短上下文 输入成本下降 信息不足导致答错、二次追问

第二处回吐:人工兜底

有些错误不能靠重试解决,因为重试也无解,模型就是做不对。

比如一份合同里的金额提取,压缩模型在格式规范的样本上没问题,遇到扫描质量差或者表格嵌套的就漏。这类错误没有人会一直重试,正常做法是转人工确认。

转人工的成本往往远超模型本身。一次模型调用可能几分钱,一次人工确认要几块钱。

所以判断该不该压缩,不能只比模型单价,要比“完成一次任务的完整成本”:模型调用加失败重试加人工兜底加返工。

这个账算清楚之后,很多压缩方案会显得不划算,尤其是那些错误率从百分之三涨到百分之八的方案。

第三处回吐:为兜底而增加的复杂度

为了让压缩模型“够用”,工程上会加一堆补救措施。

输出加校验、失败走规则兜底、特定类型请求转回大模型、关键字段做二次核对。

这些措施确实能保住质量,但它们本身就是成本:代码复杂度、维护负担、额外的调用、更多的日志与监控。

更麻烦的是,这些逻辑会随时间累积。半年后没人说得清某个判断为什么走这条路,改动一次要连带测五个地方。

所以压缩通常有一个隐性门槛:只有当省下的钱明显大于新增的复杂度,这笔交易才划算。

什么情况下压缩是真赚

反过来说,有几类场景压缩的收益是很确定的。

第一类是任务单一、输出格式严格。比如分类、抽取、打分。这类任务的正确性容易验证,失败能被立刻发现,重试成本低。

第二类是延迟敏感而非质量极致。比如输入法联想、搜索建议、初步筛选。错一点用户不在意,快才是关键。

第三类是量大且便宜的边缘请求。比如内容审核的第一道过滤、消息的自动归类。用大模型做这些本身就不经济。

共同的规律是:任务边界清楚、错误可自动判定、人工介入少。三者齐备,压缩就是纯赚;缺一项,就要重新算。

精度该降到哪一档

技术上的边界问题,之前已经讨论过。从成本视角看,多一个判断维度:降精度之后,哪些输入会退化。

通常退化的不是平均情况,而是边缘情况:超长输入、罕见格式、多语言混排、含大量数字或符号的内容。

所以做压缩时,评测集不能只取随机样本。要把这几类边缘样本单独提出来,专门测一遍。

如果边缘样本的准确率掉得厉害,而业务里这类输入占比不低,压缩就不该做,或者只能在特定子集上做。

分级是更稳的路径

比起全量压缩,更有性价比的做法是分级。

把请求按难度分开:简单请求走压缩模型,复杂请求走原始模型。分级的判断本身也要成本,所以判断逻辑要轻,比如按输入长度、按任务类型、按置信度阈值。

这条路的收益不如全量压缩那么漂亮,但风险低得多:即使压缩模型在边缘案例上失效,那些请求本来就被分流到了大模型。

分级的关键是阈值设得准。阈值太松,压缩模型接不住,错误率起飞;太紧,大部分请求都走大模型,压缩白做。

一个务实的验证顺序

如果要认真做一次压缩,建议按这个顺序。

第一步,先建评测集。包含常规样本与边缘样本,标注清楚什么算对、什么算错。

第二步,只算模型单价,不改任何东西,看理论上能省多少。这一步决定值不值得做。

第三步,在压缩模型上跑评测,看准确率下降了多少,重点看边缘样本。

第四步,估算失败率带来的重试与人工成本,把它加到账上。

第五步,比较“原方案总成本”与“压缩后总成本”。前者含大模型调用,后者含小模型调用、重试、人工、兜底逻辑的维护。

五步走完,通常会发现真正划算的压缩点比想象中少,但找到的那几个收益很稳。

成本优化不是把单价压到最低

这一条适用于所有降本手段,不只是压缩。

单价是最容易看到的数字,也是唯一能用一句话说清的数字。正因为它好比较,反而容易成为唯一的决策依据。

而真实成本藏在链路上:一次任务从请求进来到结果被接受,中间经过几次调用、几次重试、几次人工、几次返工。

压缩模型的价值,取决于它让这条链路变短还是变复杂。让链路变短,它省钱;让链路绕路,它只是在把钱从一个账本挪到另一个账本。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏