多轮对话的成本为什么越聊越贵
字数 2053
更新时间 2026-10-30 00:04:27

多轮对话的成本为什么越聊越贵

单次问答便宜,做成对话产品之后账单突然失控。

用户感觉没多问几句,工程侧的账单却在翻倍。原因不在用户变啰嗦,而在每一轮都要把前面的内容重新带进去。

对话没有记忆,只有重发

模型本身没有状态。它不记得上一轮说过什么。

所谓“上下文记忆”,实际做法是:每发一轮,把之前的全部对话重新拼进提示词,一起送进去。

第三轮时,输入里包含第一轮的问答和第二轮的内容;第十轮时,前九轮全在。输入长度随轮数线性增长,到后期一次请求可能比第一次大十倍。

这不是设计缺陷,是当前架构的必然。模型是无状态的,状态只能靠人搬。

于是产生第一个反直觉的结论:对话越长,每一轮都越贵,而不是“总成本等于每轮成本乘以轮数”。

增长的不只是输入

第二轮开始还多了一件事。

为了让模型不用重算前面所有内容,推理服务会缓存前一轮已经算过的中间结果。这个缓存能显著降低重复计算,但它占了显存。

对话越长,缓存越大。到某个长度,一个长对话占据的显存可能等于好几个普通请求,服务端不得不减少并发。

所以长对话的成本有两条路径:直接从输入长度算,间接从并发能力算。两条叠加,账单的曲线比线性更陡。

轮次 输入大致量级 账单上的变化
第一轮 系统提示加问题 基准
第五轮 前四轮加新问题 三到五倍
第二十轮 前十九轮加新问题 十倍以上
极长对话 接近窗口上限 单次成本超过整段对话的平均值很多倍

三种压缩,各有代价

既然历史越堆越贵,压缩就不可避免。常见做法有三种。

第一种是无脑截断:只保留最近若干轮。它最便宜,但会丢关键信息。用户在前面说过“我是做教育的,要面向初中生”,截断之后模型就不知道了。

第二种是摘要:把早期对话压缩成一段要点的形式,与最近几轮一起带入。它能保住关键信息,但摘要本身要花一次调用,而且摘要会有损,重要细节可能被抹掉。

第三种是外置状态:把关键信息抽出来存成结构化字段,每轮只把字段带入,不带原始对话。它最省,但需要设计抽取逻辑,且不适合开放式聊天。

三种做法适用场景不同。客服、办事类流程适合第三种;写作辅助适合第二种;闲聊可以第一种。

真正的工程问题不是选哪个,而是知道在什么条件下切换。

用户看不见的那一半

成本还有一个不对等的特点:用户花的时间与账单不成比例。

用户停在三轮,成本很低;用户聊了三十轮,成本可能高两个数量级。而用户在体验上感觉是一样的投入。

如果按调用次数收费,这种不对等会吃掉利润;如果按订阅收费,少数重度用户会显著拉高整体成本。

所以在定价与限额设计上,通常要区分“轮次”与“长度”。按次数限流对长对话无效,按累计输入长度计量更贴近真实成本。

什么情况下可以不带历史

有一种常见的浪费:把所有历史都带上,但绝大部分与当前问题无关。

比如一个工具型应用,用户问过七八个不相关的问题,每个问题的历史都被带进新的请求。

更合理的做法是按主题切分会话。用户换话题时,开一个新会话,旧会话不参与。

这个动作对成本的影响很大,而实现成本很低:在界面上给一个“新话题”按钮,或者在检测到话题切换时自动分段。

一个容易忽略的细节:系统提示也在计费

每一轮都带系统提示。

系统提示通常不短:角色设定、输出格式、注意事项、示例。这些内容每轮都重复发送,一次对话十轮,系统提示就被计费十次。

有些服务商对重复的提示词提供缓存折扣,命中之后价格明显降低。这属于基础设施能力,用与不用差别很大。

如果用的是自建服务,同样可以做前缀缓存:把不变的部分缓存起来,只算变化的部分。这类优化对高频对话产品收益最直接。

怎么判断对话产品的成本是否失控

几个可以直接看的数据。

平均对话轮数是多少。超过八轮的产品,必须做历史管理。

单次请求的平均输入长度,随轮次怎么变化。如果第二十轮的输入是第一轮的十倍以上,说明历史没有被压缩。

摘要或外置状态的比例是多少。完全没有,说明还在原样堆历史。

系统提示的缓存命中率是多少。接近零,说明每轮都在全价重发。

对话总成本里,长尾用户的占比。少数超长对话如果吃掉大半预算,限额设计就有问题。

这五项不需要复杂的工具,从日志里统计就能得到。把数字摆出来,压缩策略该怎么做通常就清楚了。

成本与体验的平衡点

压缩历史一定有体验损失,问题在于压到哪一层用户能接受。

一个可参考的顺序:先保住用户明确陈述过的事实与约束,再保最近几轮的具体上下文,最后才是早期的闲聊与试探。

也就是说,按照“对结果的影响”排序,而不是按时间新旧排序。

这个原则比任何具体策略都重要。因为对话压缩的目标不是省钱,而是在省钱的条件下不丢关键信息。理解了这一点,就不会为了省成本把用户三句前刚说过的要求抹掉。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏