量化与蒸馏省下的钱,常常从别处花回去
降本的第一反应通常是压缩模型:把精度降一点,把参数裁掉一些,把大模型的能力装进小模型。
账面上看,这一步的收益立竿见影:显存占得少,同样的卡能跑更多请求,单次成本可能降到原来的三分之一。
但很多团队做完之后发现,总账没降那么多,甚至更贵了。省下的算力,被别的地方吃掉了。
第一处回吐:重试率上升
压缩之后,模型在某些输入上开始出错。
出错的形式通常不是彻底的胡说,而是细微的偏差:格式偶尔不规范、字段偶尔漏一个、推理偶尔跳一步。
这些偏差在离线测试里可能只表现为准确率从八十五降到八十二。听起来还能接受。
但在生产环境里,三个百分点的失败率意味着每三十次请求就有一次要重试。重试要花一次完整调用,而且很多系统会重试两次、三次。
算一下:成本降到三分之一,但请求量涨了一点一倍,实际成本只降到四成。如果再算上重试带来的延迟与用户等待,收益已经很薄。
| 省钱动作 | 账面收益 | 常见回吐 |
|---|---|---|
| 精度量化 | 显存与算力下降 | 格式错误增多、重试率上升 |
| 参数裁剪 | 单次成本下降 | 复杂任务正确率下滑、需人工兜底 |
| 蒸馏到小模型 | 单价大幅下降 | 领域边缘案例失效、需补规则 |
| 缩短上下文 | 输入成本下降 | 信息不足导致答错、二次追问 |
第二处回吐:人工兜底
有些错误不能靠重试解决,因为重试也无解,模型就是做不对。
比如一份合同里的金额提取,压缩模型在格式规范的样本上没问题,遇到扫描质量差或者表格嵌套的就漏。这类错误没有人会一直重试,正常做法是转人工确认。
转人工的成本往往远超模型本身。一次模型调用可能几分钱,一次人工确认要几块钱。
所以判断该不该压缩,不能只比模型单价,要比“完成一次任务的完整成本”:模型调用加失败重试加人工兜底加返工。
这个账算清楚之后,很多压缩方案会显得不划算,尤其是那些错误率从百分之三涨到百分之八的方案。
第三处回吐:为兜底而增加的复杂度
为了让压缩模型“够用”,工程上会加一堆补救措施。
输出加校验、失败走规则兜底、特定类型请求转回大模型、关键字段做二次核对。
这些措施确实能保住质量,但它们本身就是成本:代码复杂度、维护负担、额外的调用、更多的日志与监控。
更麻烦的是,这些逻辑会随时间累积。半年后没人说得清某个判断为什么走这条路,改动一次要连带测五个地方。
所以压缩通常有一个隐性门槛:只有当省下的钱明显大于新增的复杂度,这笔交易才划算。
什么情况下压缩是真赚
反过来说,有几类场景压缩的收益是很确定的。
第一类是任务单一、输出格式严格。比如分类、抽取、打分。这类任务的正确性容易验证,失败能被立刻发现,重试成本低。
第二类是延迟敏感而非质量极致。比如输入法联想、搜索建议、初步筛选。错一点用户不在意,快才是关键。
第三类是量大且便宜的边缘请求。比如内容审核的第一道过滤、消息的自动归类。用大模型做这些本身就不经济。
共同的规律是:任务边界清楚、错误可自动判定、人工介入少。三者齐备,压缩就是纯赚;缺一项,就要重新算。
精度该降到哪一档
技术上的边界问题,之前已经讨论过。从成本视角看,多一个判断维度:降精度之后,哪些输入会退化。
通常退化的不是平均情况,而是边缘情况:超长输入、罕见格式、多语言混排、含大量数字或符号的内容。
所以做压缩时,评测集不能只取随机样本。要把这几类边缘样本单独提出来,专门测一遍。
如果边缘样本的准确率掉得厉害,而业务里这类输入占比不低,压缩就不该做,或者只能在特定子集上做。
分级是更稳的路径
比起全量压缩,更有性价比的做法是分级。
把请求按难度分开:简单请求走压缩模型,复杂请求走原始模型。分级的判断本身也要成本,所以判断逻辑要轻,比如按输入长度、按任务类型、按置信度阈值。
这条路的收益不如全量压缩那么漂亮,但风险低得多:即使压缩模型在边缘案例上失效,那些请求本来就被分流到了大模型。
分级的关键是阈值设得准。阈值太松,压缩模型接不住,错误率起飞;太紧,大部分请求都走大模型,压缩白做。
一个务实的验证顺序
如果要认真做一次压缩,建议按这个顺序。
第一步,先建评测集。包含常规样本与边缘样本,标注清楚什么算对、什么算错。
第二步,只算模型单价,不改任何东西,看理论上能省多少。这一步决定值不值得做。
第三步,在压缩模型上跑评测,看准确率下降了多少,重点看边缘样本。
第四步,估算失败率带来的重试与人工成本,把它加到账上。
第五步,比较“原方案总成本”与“压缩后总成本”。前者含大模型调用,后者含小模型调用、重试、人工、兜底逻辑的维护。
五步走完,通常会发现真正划算的压缩点比想象中少,但找到的那几个收益很稳。
成本优化不是把单价压到最低
这一条适用于所有降本手段,不只是压缩。
单价是最容易看到的数字,也是唯一能用一句话说清的数字。正因为它好比较,反而容易成为唯一的决策依据。
而真实成本藏在链路上:一次任务从请求进来到结果被接受,中间经过几次调用、几次重试、几次人工、几次返工。
压缩模型的价值,取决于它让这条链路变短还是变复杂。让链路变短,它省钱;让链路绕路,它只是在把钱从一个账本挪到另一个账本。