什么时候该重测:评测集也会过期
字数 1863
更新时间 2026-10-30 00:09:11

什么时候该重测:评测集也会过期

一套评测集建好之后,最舒服的状态是它一直给出稳定结果。

但稳定有时候不是好消息。稳定的意思可能是:模型没变,任务没变,评测集也没变——整条链路都没在动。

更多的时候,稳定是假象。评测集早就跟不上了,只是没人意识到。

过期的第一种原因:模型变了

这一条最容易被忽视。

多数时候,你调用的不是一个固定版本,而是一个持续更新的服务。同一个接口名,背后的模型可能已经换过。

有时候官方会公告版本更新,有时候只是同一版本下的持续优化,连公告都没有。

变化可能很小:修了一些边界情况,调整了拒答倾向,改进了某个语言的表达。但累积几次,行为就明显不同了。

应对方式是记录模型标识。多数服务提供带日期的版本号,能固定就固定,至少在评测期间固定。不能固定的话,至少在每次评测结果里记下调用时间。

如果不记,三个月后回看数据,就分不清那次分数下降是提示词改坏了,还是模型换过了。

第二种原因:任务漂移

用户问的问题会变。

产品刚上线时,用户都是早期尝鲜者,问题集中且专业。用户量涨起来之后,问题会变宽、变浅、变得更口语化。

业务方向调整也会带来变化:新开一个场景,或者下掉一个功能,流量的构成就变了。

原来的评测集反映的是三个月前的分布。用它衡量现在的效果,等于用旧地图导航新路。

判断任务漂移有一个简单的方法:每个月从线上随机抽两百条问题,和评测集里的问题做一次对比,看主题分布差多少。差得多,就该补样本了。

过期原因 症状 处理
模型静默更新 同一套题分数无故波动 记录版本与调用时间
任务漂移 评测集与线上问题分布脱节 每月抽查,补充新场景
数据污染 分数上涨但实际表现不变 换题,收紧流通范围
标准变化 老样本判分结论不再成立 重新评审旧标签

第三种原因:污染

评测题一旦流出,就会进入下一轮训练数据。

这个过程是渐进的。某个模型在评测集上突然涨了八分,仔细看发现是某些特定题目答得完美,而其他题目毫无变化——这种不均衡的提升,通常说明在训练时见过同类题目。

公开榜单常年受这个问题困扰。自建的评测集也一样,只要样本被贴到群里、被写进内部文档、被拿去和外部团队对比,就有可能流出。

控制污染只有一个方向:限制流通,定期换题。

核心集只在小范围可见,对外比价用另一套公开样本,并且每半年到一年轮换一批。换下来的题不要删,标记为“已公开”,在新模型上仍然能跑,只是结果不再作为主要依据。

第四种原因:标准变了

这一条最少被讨论,但影响很大。

标注标准是会演进的。半年前认为“可以接受”的回答,现在可能觉得“不合格”——因为团队对质量的要求提高了,或者发现了新的错误类型。

这种情况下,旧样本上的旧标签就不可信了。

处理办法是定期复审。每季度抽百分之十的老样本,重新标一遍,看与原来的判断差多少。差异大的那部分,要么修正标签,要么直接剔除。

不修正的后果很隐蔽:分数看起来一直在涨,其实是因为标准在放松,而不是模型在变好。

重测的触发器

不需要定期全量重测,太贵。用触发器更实际。

第一个触发器是模型换代。只要底层模型变了,全部重测。

第二个触发器是提示词或流程改动。这类改动的影响往往比模型换代更大,因为提示词直接决定行为。

第三个触发器是业务指标异常。用户满意度掉了、追问率涨了、某个功能的使用率突然下跌,都值得跑一次评测看看。

第四个触发器是季度复审。即使什么都没变,也每季度完整跑一次,确认基线还在。

四个触发器覆盖了大部分情况,成本可控。

重测之后要做的第一件事

不是看新分数,是对比。

把新旧结果并排放,看变化集中在哪些题上。

如果退化的题目集中在某一类场景,说明问题有明确原因,可以针对性修。如果退化是均匀分布的,可能是模型整体变了,或者评测时的运行环境有问题。

如果分数涨了但用户反馈变差,那就是前面说的情况:评测集已经跟不上了。

别把评测集当固定资产

最后一句话,值得反复提醒。

评测集不是建好之后就放着的东西。它有寿命,会过时,需要维护。

把它当成一个活的系统:每个季度有输入(新样本),有输出(修正后的标签),有版本记录。

维护得好,它会持续提供可信的判断依据;维护得差,它会变成一个每年都在涨、但没人再信的分数。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏