多轮对话的成本为什么越聊越贵
单次问答便宜,做成对话产品之后账单突然失控。
用户感觉没多问几句,工程侧的账单却在翻倍。原因不在用户变啰嗦,而在每一轮都要把前面的内容重新带进去。
对话没有记忆,只有重发
模型本身没有状态。它不记得上一轮说过什么。
所谓“上下文记忆”,实际做法是:每发一轮,把之前的全部对话重新拼进提示词,一起送进去。
第三轮时,输入里包含第一轮的问答和第二轮的内容;第十轮时,前九轮全在。输入长度随轮数线性增长,到后期一次请求可能比第一次大十倍。
这不是设计缺陷,是当前架构的必然。模型是无状态的,状态只能靠人搬。
于是产生第一个反直觉的结论:对话越长,每一轮都越贵,而不是“总成本等于每轮成本乘以轮数”。
增长的不只是输入
第二轮开始还多了一件事。
为了让模型不用重算前面所有内容,推理服务会缓存前一轮已经算过的中间结果。这个缓存能显著降低重复计算,但它占了显存。
对话越长,缓存越大。到某个长度,一个长对话占据的显存可能等于好几个普通请求,服务端不得不减少并发。
所以长对话的成本有两条路径:直接从输入长度算,间接从并发能力算。两条叠加,账单的曲线比线性更陡。
| 轮次 | 输入大致量级 | 账单上的变化 |
|---|---|---|
| 第一轮 | 系统提示加问题 | 基准 |
| 第五轮 | 前四轮加新问题 | 三到五倍 |
| 第二十轮 | 前十九轮加新问题 | 十倍以上 |
| 极长对话 | 接近窗口上限 | 单次成本超过整段对话的平均值很多倍 |
三种压缩,各有代价
既然历史越堆越贵,压缩就不可避免。常见做法有三种。
第一种是无脑截断:只保留最近若干轮。它最便宜,但会丢关键信息。用户在前面说过“我是做教育的,要面向初中生”,截断之后模型就不知道了。
第二种是摘要:把早期对话压缩成一段要点的形式,与最近几轮一起带入。它能保住关键信息,但摘要本身要花一次调用,而且摘要会有损,重要细节可能被抹掉。
第三种是外置状态:把关键信息抽出来存成结构化字段,每轮只把字段带入,不带原始对话。它最省,但需要设计抽取逻辑,且不适合开放式聊天。
三种做法适用场景不同。客服、办事类流程适合第三种;写作辅助适合第二种;闲聊可以第一种。
真正的工程问题不是选哪个,而是知道在什么条件下切换。
用户看不见的那一半
成本还有一个不对等的特点:用户花的时间与账单不成比例。
用户停在三轮,成本很低;用户聊了三十轮,成本可能高两个数量级。而用户在体验上感觉是一样的投入。
如果按调用次数收费,这种不对等会吃掉利润;如果按订阅收费,少数重度用户会显著拉高整体成本。
所以在定价与限额设计上,通常要区分“轮次”与“长度”。按次数限流对长对话无效,按累计输入长度计量更贴近真实成本。
什么情况下可以不带历史
有一种常见的浪费:把所有历史都带上,但绝大部分与当前问题无关。
比如一个工具型应用,用户问过七八个不相关的问题,每个问题的历史都被带进新的请求。
更合理的做法是按主题切分会话。用户换话题时,开一个新会话,旧会话不参与。
这个动作对成本的影响很大,而实现成本很低:在界面上给一个“新话题”按钮,或者在检测到话题切换时自动分段。
一个容易忽略的细节:系统提示也在计费
每一轮都带系统提示。
系统提示通常不短:角色设定、输出格式、注意事项、示例。这些内容每轮都重复发送,一次对话十轮,系统提示就被计费十次。
有些服务商对重复的提示词提供缓存折扣,命中之后价格明显降低。这属于基础设施能力,用与不用差别很大。
如果用的是自建服务,同样可以做前缀缓存:把不变的部分缓存起来,只算变化的部分。这类优化对高频对话产品收益最直接。
怎么判断对话产品的成本是否失控
几个可以直接看的数据。
平均对话轮数是多少。超过八轮的产品,必须做历史管理。
单次请求的平均输入长度,随轮次怎么变化。如果第二十轮的输入是第一轮的十倍以上,说明历史没有被压缩。
摘要或外置状态的比例是多少。完全没有,说明还在原样堆历史。
系统提示的缓存命中率是多少。接近零,说明每轮都在全价重发。
对话总成本里,长尾用户的占比。少数超长对话如果吃掉大半预算,限额设计就有问题。
这五项不需要复杂的工具,从日志里统计就能得到。把数字摆出来,压缩策略该怎么做通常就清楚了。
成本与体验的平衡点
压缩历史一定有体验损失,问题在于压到哪一层用户能接受。
一个可参考的顺序:先保住用户明确陈述过的事实与约束,再保最近几轮的具体上下文,最后才是早期的闲聊与试探。
也就是说,按照“对结果的影响”排序,而不是按时间新旧排序。
这个原则比任何具体策略都重要。因为对话压缩的目标不是省钱,而是在省钱的条件下不丢关键信息。理解了这一点,就不会为了省成本把用户三句前刚说过的要求抹掉。