输出比输入贵得多:为什么账单上写的是两套价
第一次看模型调用账单的人,常被一个事实弄糊涂:同样是文字,进来的和出去的,价格差好几倍。
有的服务商输入按一个价,输出按三到四倍的价。为什么同一段文字,方向不同就要多付钱?
答案在生成方式的差别上,而不在文字本身的价值。
输入是一次读完,输出是一字一字写
模型处理输入的方式是并行的。
一整段提示词送进去,模型可以一次性把它全部读入并计算,这个过程在硬件上高度并行,效率很高。输入越长,单位成本反而可能更低,因为并行度被利用得更充分。
生成输出的方式完全不同。它必须一个一个词往外吐:吐出第一个词,才能算第二个词;算出第二个,才知道第三个该是什么。
这个串行过程决定了它没法并行加速。一段话有几百个字,就要跑几百轮,每一轮都要把前面所有内容重新过一遍。
所以输出的成本结构与输入根本不同:输入是批量处理,输出是逐次迭代。
每一轮都在重算前面的内容
更具体地说,生成每个词时,模型都要参考已经生成的全部内容。
如果每次重头计算,成本会随输出长度呈平方增长。实际实现用了一种缓存机制:把已经算过的中间结果存下来,下一轮直接复用。这就是键值缓存。
缓存让成本降到了线性,但它有代价。
一是占显存。输出越长,缓存越大,而显存是集群里最贵的资源。一段长输出可能占掉本该装下更多并发请求的空间。
二是它是推理服务的主要内存开销之一。很多服务在长输出场景下被迫减少并发,因为缓存装不下。
这就解释了一个现象:同样长度的文字,作为输入送进去几乎不花钱,作为输出生成出来就很贵。差别不在字数,而在是否可并行、是否需要维护缓存。
| 维度 | 输入 | 输出 |
|---|---|---|
| 处理方式 | 整段并行读入 | 逐词串行生成 |
| 长度影响 | 近似线性,单位成本递减 | 线性,但需维护缓存 |
| 主要资源 | 计算吞吐 | 显存与迭代次数 |
| 优化空间 | 批量合并、缓存复用 | 控制长度、早停 |
这个价差在实践中的含义
理解价差之后,几件事就变得清楚了。
第一,让模型少说废话是真实的省钱手段。同样一个答案,两百字和五百字,成本差一倍。这不是审美问题,是账单问题。
第二,让模型“只输出结果”是一项值得做的工程。很多任务其实不需要解释过程,只需要一个结构化结果:一个分类标签、一段提取出的字段、一个数字。这类任务如果把输出限制在几十个字,成本能降一个数量级。
第三,让模型“先说结论”是一种折中。有些场景需要解释,但可以让结论在前、解释在后,用户看到结论就能停,不必等全文生成完。这在流式输出里可以直接省钱。
一个常被忽略的细节:思考过程也算输出
近两年不少模型会在回答前先输出一段推理过程。
这段过程对用户未必可见,但它同样是逐词生成的,同样按输出计价,而且往往比最终答案还长。
于是出现一种情况:用户只看到三行结论,账单上却按几十行计费。
对成本敏感的场合,这是必须算进去的一项。可选的做法包括:关闭可见的推理过程、限制推理长度、只在难题上启用。
控制输出的几种手段
工程上有几条常用路径。
一是格式约束。要求模型只输出一个结构化的结果,不允许解释。这一条最有效,也最容易落地。
二是长度上限。设定最大输出长度,超出的部分被截断。要注意截断可能破坏结构,所以通常配合“提前说明”用。
三是停止条件。给模型明确的终止标记,让它说完就停,而不是继续补充。
四是分级。简单问题走短输出模型,复杂问题才允许长输出。这一条与分级路由配合使用。
四条加起来的空间很大。同样一个功能,输出长度从平均五百字压到一百字,账单可能降一半以上。
为什么输入侧的优化反而次要
既然输入便宜,是不是输入就可以随便堆?
也不尽然。输入的成本虽然是单位价格低,但量可以很大。把几十页文档塞进上下文,绝对金额并不小。而且长输入还有两个隐性代价:占用显存、拉长首字延迟。
所以更准确的说法是:输入的优化靠“减少冗余”,输出的优化靠“控制长度”。两者方向不同。
判断顺序上,通常先看输出,因为它的单价高、且往往有大量可压缩的客套话;再看输入,把不必要的背景、重复的示例、过期的历史清掉。
一个可以直接用的检查
如果账单偏高,先做三个统计。
平均输出长度是多少。如果超过三百字,而任务本身只需要结构化结果,这里有明显的压缩空间。
输出里有多少是“解释性内容”而用户从不看。这部分是纯浪费。
推理过程占比多少。开启推理的调用,输出量是不是翻了几倍。
三项统计出来,通常能定位到一半以上的成本。剩下的才是模型选型、批量处理、缓存这类更复杂的手段。