上下文该截多短:长窗口的成本结构与截断策略
字数 2325
更新时间 2026-10-30 00:04:28

上下文该截多短:长窗口的成本结构与截断策略

上下文窗口越做越大,从几万到几十万,甚至上百万。

很多人以为这意味着“什么都塞进去就行了”。实际用起来,塞满的账单会先教做人。

长上下文有一个容易误解的成本结构:它不是“能装多少就装多少”,而是每多一段内容,都在全场计费。

长窗口的三种成本

第一是直接的输入成本。按长度计费的部分,塞多少算多少。

第二是显存占用。长上下文在推理时要占用大量显存,服务端为了装下它,只能减少同时处理的请求数。所以一个超长请求的隐形成本,是它挤掉的并发能力。

第三是延迟。输入越长,处理时间越长,首字延迟越明显。用户能忍受的等待有限,这条限制会把长窗口的可用性锁在一个不该有的高度。

三种成本叠加,结论很直接:长窗口是能力,不是策略。能用不等于该用。

塞满的典型场景及其浪费

一种常见做法是“把全部资料塞进去,让模型自己找”。

如果资料是几十页文档,这种做法的问题在于:其中真正与问题相关的可能只有两三段。剩下的部分消耗了输入成本,还稀释了模型的注意力。

另一种是“把所有历史都带上”,前面已经讨论过。

还有一种是“把整份代码库塞进去”。这类做法在小规模时效果不错,规模一大就变成灾难,而且很难察觉:模型看起来还在回答,只是准确率慢慢下降。

塞法 表面好处 实际代价
全量文档塞入 省去筛选 大部分内容无关,输入成本高
全量对话历史 不丢信息 输入随轮数线性增长
整库代码 上下文完整 注意力被稀释,准确率下滑
超长系统提示 约束更全 每轮重复计费,且难维护

截断不是砍尾巴

多数人对截断的理解是“从后面砍掉超出的部分”。这个做法最少思考,也最容易出错。

因为重要的信息往往不在末尾。一份合同的金额可能在开头,一份报告的结论可能在中间,一段对话的关键约束可能在前几轮。

更合理的截断顺序是分层的。

先删绝对无关的内容:重复的背景介绍、过期的示例、与当前问题领域不搭的部分。

再删可以用摘要替代的内容:把早期对话压成几行要点,把长文档压成目录加关键段。

最后才考虑硬截断,而且优先截掉最近的重复片段,而不是最早的关键陈述。

这个顺序背后的原则是:按“对答案的影响”排序,而不是按位置排序。

该留多长才够

有一个经验范围可以参考:对大多数问答与生成任务,输入里真正起作用的部分通常不超过几千字。

超过这个量级,模型的表现往往不再提升,甚至因为干扰变多而下降。

所以判断“该塞多少”,可以用一个简单的测试:把资料量逐次减半,看准确率是否下降。

如果减到四分之一,准确率基本不变,说明前面塞的大部分是无用功。

这个测试比任何理论估算都可靠,因为它测的是具体任务与具体模型。

长窗口什么时候真的必要

也不是所有长上下文都是浪费。

有几类任务确实依赖完整输入。

一是跨文档比对。要判断两份合同哪一条不一致,两份都得在上下文里。

二是全书级问答。问题涉及跨章节的推理,抽取单段无法回答。

三是长代码的重构。改动的影响面分布在整个文件甚至多个文件里。

这些场景的共同点是:信息之间存在必须同时可见的关联。此时长窗口不是省事,而是必需。

判断标准可以概括为:如果删掉某段内容,答案可能完全不同,那它必须留下;如果删掉之后答案只是变简单,那它可以走摘要或按需检索。

检索与长窗口的分工

很多团队在“塞全文”和“做检索”之间纠结。

从成本看,检索明显更优:先用检索挑出几段相关的内容,再把这几段送进模型。输入量从几万字降到几千字,成本降一个数量级。

从效果看,检索的风险在召回:如果没检索到关键段落,模型就无从回答。而塞全文至少保证了信息在场。

所以折中方案通常是:检索优先,检索置信度低时回退到长上下文。这样大多数请求走便宜的路径,少数复杂请求才付出完整成本。

这个设计的关键是“如何判断置信度”。常见做法是看检索得分分布:如果最高分明显高于次高分,说明找到了明确答案;如果几个段落分数接近,说明问题需要跨段推理,此时回退。

一个容易忽略的成本:输入前缀的复用

如果每次请求的输入都有一大段相同的前缀,比如系统提示、格式说明、固定的参考文档,那这段前缀可以缓存复用。

很多服务商对重复前缀提供折扣,自建服务也可以自己做前缀缓存。

它对长上下文场景尤其重要:一段几万字的固定资料,如果缓存命中,实际计费可能只有首次的一小部分。

所以在优化长上下文成本时,先问一句:这段内容变不变?不变的部分应该被缓存,而不是每次都全价付费。

怎么系统地定截断策略

给一套可执行的步骤。

第一步,统计现有请求的输入长度分布。看中位数与长尾,通常会发现少数超长请求吃掉大部分成本。

第二步,对这些超长请求做抽样,人工标注“哪些段落真正被用到”。

第三步,按标注结果设计分层:必留、可摘要、可丢。

第四步,用一个评测集验证:按新策略裁剪之后,准确率下降多少。可接受才上线。

第五步,把策略参数化,允许按任务类型调整。不同任务的最优长度不一样,一刀切会伤到某一类。

五步做完,截断策略就有了依据,而不是凭感觉砍。

长度是可以被设计的

最后回到一个判断:上下文长度应该由任务决定,而不是由模型的上限决定。

模型能装几十万字,只说明技术上可行。要不要装,取决于这段内容对答案有没有贡献,以及它的成本是否值得。

把这个问题想清楚,长窗口就从“炫技”变成了“工具”。想不清楚,它就是一个会自己长大的账单。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏