榜单分数也会“徇私”:基准污染——模型提前背过考题这件事
两个模型在排行榜上分差很小,实际用起来却天差地别——除了“榜单失真”的老问题,还有一个更隐蔽的坑:模型可能早就“见过”考题。这件事行内叫基准污染,看懂它,你对榜单的信任就要多留一分心眼。
什么是基准污染
公开评测集的题目大量存在于互联网上,而训练数据就是互联网。也就是说,模型很可能在训练时就把某道题和它的标准答案一起吞进了数据里。评测时它“答对了”,不是会做,是背过。榜单分数随之虚高。
怎么判断一个榜可能有污染
- 题目公开很多年:越老的基准越可能被背过,新题才是干净题;
- 分数逼近甚至超过人类专家:在推理密集的题目上,这个信号要拉响警报——更可能是见过答案而非真的超越;
- 同一个模型在不同年份的同一基准上涨分异常快:训练数据范围扩大后,污染面积也在扩大。
行业的应对办法
- 定期换新题:用刚产生、不可能进训练集的新问题做评测(比如最新数学竞赛题);
- 私有题库:评测方自己出题、题目不公开,只公布结果;
- 污染检测:把题目换个表述再测——如果“原题高分、改头低分”,很可能就是背过而不是理解。
对普通选型的实际意义
看榜单时把“同分”理解为“同一档”而不是“同一水平”:差一分两分的项目,实测可能差出一截——分差越小越可能是噪声或污染的产物。真正可靠的排序只能来自你自己的任务集:拿十道真实工作里的题测试,比记名次有用得多。另外选新发布的基准时,优先进入那些有“防污染机制”说明的。
一句话记住它:考题公开得越久,分数越不值钱——这不是哪个模型的错,而是用公开题库评测的天然代价。把榜单当粗筛工具、把实测当选型依据,就不会被它带坑里去。