让模型当裁判:省了人工,也引入了三种偏见
字数 1898
更新时间 2026-10-30 00:09:10

让模型当裁判:省了人工,也引入了三种偏见

评分是评测里最贵的一环。于是很多人想到一个办法:让另一个模型来打分。

成本立刻降下来,速度也快。但随之而来的是一组稳定的系统性偏差:它们不会随机抵消,而是朝固定的方向偏。

理解这三种偏见,才能判断哪些结论可以信。

偏见一:位置

把两个回答放给裁判模型比较,先出现的那个更容易被选中。

这个现象在多组数据上重复出现,原因不完全清楚,可能是注意力机制对序列前段的偏好。但对使用者的含义很明确:如果每次都把 A 放在前面,A 的胜率会被系统性抬高。

解决办法是把顺序交换一遍。

同一个配对,跑两次:第一次 A 在前,第二次 B 在前。只有两次都判 A 更好,才算 A 胜。一次胜一次负,记为平局。

这个操作很便宜,翻倍而已,但能把位置偏见基本消掉。

偏见二:长度

更长的回答更容易被判为好。

这条偏见比位置偏见顽固。因为长回答通常确实包含更多信息,“信息更多”与“更好”在实际判断里经常混在一起。

裁判模型无法区分“详细”和“准确”。一段五百字但有一处错误的回答,可能胜过一段一百字完全正确的回答。

对策有几种。一是在评分标准里明确写“简洁优先,超出必要长度的内容视为冗余”。二是对不同长度的回答做长度归一:用同一套标准,但要求裁判先判断“是否有多余内容”。

还有一种是直接控制:让被测模型在相同长度限制下生成,从源头消除变量。

偏见 表现 缓解方式
位置 先出现的一方胜率高 交换顺序,两次一致才算胜
长度 长回答得分偏高 限定长度或显式惩罚冗余
自偏好 同族模型互评分数偏高 换用不同来源的裁判
格式 结构清晰者优先 统一格式后再比

偏见三:自偏好

裁判模型对“自己家族”的输出更宽容。

这一点在实践中最危险,因为很多团队的评测是拿 A 公司的模型去评 B 公司的模型,而裁判恰好来自其中一方。

结果是比较系统性地偏向裁判的同类。而且这种偏差很难从结果里看出来,因为分数看起来很正常。

唯一可靠的做法是换裁判:用第三方模型,或者用多个不同来源的裁判交叉验证,看结论是否一致。

如果三家裁判结论一致,可信度高;如果只有自家裁判说好,那基本可以忽略。

还有一种更隐蔽的偏好:格式

结构化的回答得分更高。

分点、加粗、有标题的回答,在裁判眼里显得更“有条理”,即使内容与一段平铺直叙的文字完全相同。

这个偏见会引导所有被测模型朝“多用小标题”的方向优化,最终的结果是:评测分数提高了,但用户没得到更多信息。

所以在评分标准里要明确:格式不计分,只评内容。

裁判能用在哪儿

分清场景很重要。

适合用裁判的,是粗筛:几千条候选里挑出明显不合格的,或者判断某个回答是否与问题相关。这类判断容错高,即使有百分之十的偏,也不影响大局。

适合用裁判的,还有一致性检查:同一批数据用两套标准打分,看是否稳定。

不适合用裁判的,是最终结论:某个模型能不能上线、两个模型哪个更好、改了提示词之后有没有变好。这些直接影响决策,必须有人工参与。

一个折中的组合是:裁判打初分,人工只看两端,分数特别高的抽检是否误判,分数特别低的抽检是否被冤枉。中间段接受裁判的判断。

这样人工量能降六七成,同时保住了关键结论的可靠性。

与人工对齐

用裁判之前,必须做一次校准。

取两三百条样本,人工打一遍,裁判打一遍,看两者的差距。

如果人工认为是“明显错误”的回答,裁判给了八分,说明标准没对齐,可能是提示词里对“错误”的定义不一致。

校准的产出是一个调整后的评分提示词,以及一个可以接受的偏差范围。之后每次换裁判模型,都要重新校准一遍。

没有校准就直接用裁判,等于用一把不知道刻度的尺子。

一个务实的判断

如果团队在讨论“我们要不要用模型来评分”,可以先问三个问题。

评分结果会不会被用来做上线决定。会,就必须保留人工终审。

裁判模型与被测模型是不是同源。是,先换裁判再谈。

有没有做过与人工的对齐校准。没有,先补这一步。

三个问题都很具体,答案也很直接。

裁判只是工具,不是标准

最后要说清一点:裁判模型给的是“另一个模型的偏好”,不是“正确答案”。

它可以帮人省掉大量重复劳动,可以让评测跑得更频繁,但它不能替代人对“什么叫好”的定义。

定义好与坏,是人的事。这件事一旦交出去,评测就从“衡量质量”变成了“复制偏见”。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏