什么时候该重测:评测集也会过期
一套评测集建好之后,最舒服的状态是它一直给出稳定结果。
但稳定有时候不是好消息。稳定的意思可能是:模型没变,任务没变,评测集也没变——整条链路都没在动。
更多的时候,稳定是假象。评测集早就跟不上了,只是没人意识到。
过期的第一种原因:模型变了
这一条最容易被忽视。
多数时候,你调用的不是一个固定版本,而是一个持续更新的服务。同一个接口名,背后的模型可能已经换过。
有时候官方会公告版本更新,有时候只是同一版本下的持续优化,连公告都没有。
变化可能很小:修了一些边界情况,调整了拒答倾向,改进了某个语言的表达。但累积几次,行为就明显不同了。
应对方式是记录模型标识。多数服务提供带日期的版本号,能固定就固定,至少在评测期间固定。不能固定的话,至少在每次评测结果里记下调用时间。
如果不记,三个月后回看数据,就分不清那次分数下降是提示词改坏了,还是模型换过了。
第二种原因:任务漂移
用户问的问题会变。
产品刚上线时,用户都是早期尝鲜者,问题集中且专业。用户量涨起来之后,问题会变宽、变浅、变得更口语化。
业务方向调整也会带来变化:新开一个场景,或者下掉一个功能,流量的构成就变了。
原来的评测集反映的是三个月前的分布。用它衡量现在的效果,等于用旧地图导航新路。
判断任务漂移有一个简单的方法:每个月从线上随机抽两百条问题,和评测集里的问题做一次对比,看主题分布差多少。差得多,就该补样本了。
| 过期原因 | 症状 | 处理 |
|---|---|---|
| 模型静默更新 | 同一套题分数无故波动 | 记录版本与调用时间 |
| 任务漂移 | 评测集与线上问题分布脱节 | 每月抽查,补充新场景 |
| 数据污染 | 分数上涨但实际表现不变 | 换题,收紧流通范围 |
| 标准变化 | 老样本判分结论不再成立 | 重新评审旧标签 |
第三种原因:污染
评测题一旦流出,就会进入下一轮训练数据。
这个过程是渐进的。某个模型在评测集上突然涨了八分,仔细看发现是某些特定题目答得完美,而其他题目毫无变化——这种不均衡的提升,通常说明在训练时见过同类题目。
公开榜单常年受这个问题困扰。自建的评测集也一样,只要样本被贴到群里、被写进内部文档、被拿去和外部团队对比,就有可能流出。
控制污染只有一个方向:限制流通,定期换题。
核心集只在小范围可见,对外比价用另一套公开样本,并且每半年到一年轮换一批。换下来的题不要删,标记为“已公开”,在新模型上仍然能跑,只是结果不再作为主要依据。
第四种原因:标准变了
这一条最少被讨论,但影响很大。
标注标准是会演进的。半年前认为“可以接受”的回答,现在可能觉得“不合格”——因为团队对质量的要求提高了,或者发现了新的错误类型。
这种情况下,旧样本上的旧标签就不可信了。
处理办法是定期复审。每季度抽百分之十的老样本,重新标一遍,看与原来的判断差多少。差异大的那部分,要么修正标签,要么直接剔除。
不修正的后果很隐蔽:分数看起来一直在涨,其实是因为标准在放松,而不是模型在变好。
重测的触发器
不需要定期全量重测,太贵。用触发器更实际。
第一个触发器是模型换代。只要底层模型变了,全部重测。
第二个触发器是提示词或流程改动。这类改动的影响往往比模型换代更大,因为提示词直接决定行为。
第三个触发器是业务指标异常。用户满意度掉了、追问率涨了、某个功能的使用率突然下跌,都值得跑一次评测看看。
第四个触发器是季度复审。即使什么都没变,也每季度完整跑一次,确认基线还在。
四个触发器覆盖了大部分情况,成本可控。
重测之后要做的第一件事
不是看新分数,是对比。
把新旧结果并排放,看变化集中在哪些题上。
如果退化的题目集中在某一类场景,说明问题有明确原因,可以针对性修。如果退化是均匀分布的,可能是模型整体变了,或者评测时的运行环境有问题。
如果分数涨了但用户反馈变差,那就是前面说的情况:评测集已经跟不上了。
别把评测集当固定资产
最后一句话,值得反复提醒。
评测集不是建好之后就放着的东西。它有寿命,会过时,需要维护。
把它当成一个活的系统:每个季度有输入(新样本),有输出(修正后的标签),有版本记录。
维护得好,它会持续提供可信的判断依据;维护得差,它会变成一个每年都在涨、但没人再信的分数。