同一道题跑两遍分数不一样:评测里的随机性
字数 1857
更新时间 2026-10-30 00:09:09

同一道题跑两遍分数不一样:评测里的随机性

两个模型对比,A 得八十二分,B 得八十分。结论是不是 A 更好?

很可能不是。同一套题,同一个模型,今天跑八十二,明天可能跑七十九。两分的差距在噪声里,什么都没说明。

多数评测结论不牢靠,原因不是题目不好,是没有处理随机性。

随机来自生成方式

模型生成文字是采样出来的。

给定输入,模型算出下一个词的概率分布,然后按分布抽取。抽取有随机性,所以同样的输入可能产出不同的输出。

温度参数控制这个随机程度。设为零时接近确定性,但多数服务不保证完全一致,因为底层计算的并行归约顺序、批处理组合都会带来微小差异。

于是一个边界情况会来回摇摆:某道题的正确率就在五成上下,这次抽对了算对,下次抽错了算错。

一道题翻转,总分就差一两个点。几百道题的评测集,总分的波动可以到三五个点。

题目越少,噪声越大

这是最容易被忽略的算术。

一百道题,每道题有十分之一的概率翻转,总分的标准差大约是三点。也就是说,八十分的真实水平,跑出来可能是七十七到八十三。

如果用三十道题的快速集,标准差会翻倍。这时候两个模型差五分,完全可能是噪声。

所以小集合只适合看趋势,不适合排名。用它来选模型,等于在噪声里找信号。

噪声来源 影响幅度 控制方法
采样随机 单题翻转,累计三到五个点 多次运行取平均
题目数量少 标准差随题目数开方缩小 至少几百题,或报区间
提示词微调 有时超过模型差异 冻结提示词版本
批处理组合 微小数值差异 固定批大小与并发

三次取平均是底线

既然有随机,就要重复。

一个务实的做法是:每个模型跑三次,报平均值与波动范围。

如果三次结果是八十二、七十九、八十一,那真实水平大概在八十上下。而另一个模型是七十八、七十七、七十九,虽然平均值低,但它的波动小,说明输出更稳定。

波动本身也是信息。波动大意味着行为不可预测,在生产环境里意味着用户会遇到时好时坏的回答。

这比平均值更接近真实体验。

提示词是最容易被忽视的变量

很多对比测试里,两个模型用的是同一套提示词。

但提示词对不同模型的效果不一样。A 模型吃系统提示里的大段说明,B 模型可能更依赖示例。同一套提示词会让某一个模型处于不利位置。

更麻烦的是提示词的微小差异。多一个空格、换一个标点、顺序不同,输出就可能变。这类差异在模板化提示词里经常出现,因为拼接时总会带入格式变化。

所以做对比时,固定提示词版本是前提,而且最好给每个模型各配一版适配过的提示词,再取各自最优结果比较。这样比的是“能达到的上限”,而不是“对某套提示词的适配度”。

分数要带区间

工程上有一个简单的表达方式:不报点,报区间。

跑三次,给出均值和极差;或者跑十次,给出中位数与十分位。

这样做的好处是逼着人面对不确定性。写“八十(七十七到八十三)”比写“八十”诚实得多,也让读者知道两分之差不算差。

如果一定要比较两个模型,可以做一次配对检验:同一批题上两个模型各自的对错,看差异是否超出随机波动。这个计算不复杂,但能避免大部分错误结论。

还有一个噪声:题目本身

同一道题,评分标准不同,结论也不同。

比如一道开放题,评分规则是“提到三个要点即算对”。表述顺序不同、措辞不同,人工判分时松紧就会变。

如果两个模型由不同的人打分,差异可能来自打分者,而不是模型。

所以评分规则要写得足够机械:什么算对、什么算错、部分正确怎么计。人工只判断规则覆盖不到的部分。

什么情况下可以只跑一次

也不是所有测试都要重复。

用于开发自测的快速回归,跑一次看有没有明显崩坏就够了,不必统计。

用于对外的对比、用于采购决策、用于写进报告的数字,必须处理随机性。

区分标准很简单:这个结论会不会被用来做决定。会,就要重复;不会,跑一次省时间。

一个常见的错误结论

“A 模型比 B 模型好两点,所以我们换成 A。”

这句话的问题不在于换,而在于理由。两点的差距在这个评测规模下不成立。真正该问的是:除了分数,还有没有别的理由。

比如 A 的延迟低三成,A 的输出格式更稳定,A 在某几个关键场景上明显更好。这些理由比两点分数可靠得多。

评测的价值不是给出排名,是给出判断依据。如果把排名当结论,就会在噪声上做决策。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏