榜单涨了十分,用户却没感觉
模型换代,公开榜单上的分数涨了十分。产品团队很高兴,用户却反馈“没什么变化”。
这种情况非常常见。原因不在用户,也不在模型,而在榜单测的东西和用户感受到的东西,本来就是两回事。
榜单题是固定的,真实任务不是
公开评测集的题目是固定的。
固定意味着可比,也意味着可以被针对性优化。模型在训练阶段见过同类题目,在评测时表现自然好。
而真实任务的分布完全不同:用户的问题长短不一,表述不规范,常带上下文和隐含前提,还会有大量重复与闲聊。
一个模型在标准化题目上得九十分,在一批真实日志上可能只有六十分。
这不是模型在骗人。任何“考试”,被考的东西和实际工作总有差距。问题在于,把考试分数当成了工作能力。
头部分数已经饱和
另一个结构性问题是天花板。
几年前,主流模型在经典基准上的分数是六十到七十,差距明显。现在头部模型普遍在九十以上,有时只剩一两个点的差别。
区分度在头部消失,意味着榜单只能告诉你“这一批都在及格线上”,无法告诉你谁更适合你的场景。
于是榜单开始往更难的方向走:更专业的领域题、更长的推理链、更多轮的交互。这些确实有区分度,但它们衡量的是更窄的能力。
用户感受到的是另外几件事
真实体验里,用户感知最强的通常不是“答得多聪明”,而是这些:
回答来得快不快。第一句话出来的延迟,比总耗时更影响感受。
格式对不对。要表格给表格,要代码给代码,不该出现的解释一句不多。
多轮之间记不记得。第二轮问“那它呢”,模型要明白指的是上一轮里的哪个对象。
会不会硬顶。不知道的时候说不知道,比编一段流畅的假话好得多。
这些指标,绝大多数榜单不测。
| 榜单测什么 | 用户感受什么 |
|---|---|
| 标准题正确率 | 我的具体问题解决了没有 |
| 推理链长度 | 回答多久开始出现 |
| 学科知识覆盖 | 格式与语气合不合场景 |
| 单轮表现 | 多轮里上下文是否还连着 |
十分的分差,很可能落在上表左右两列的重叠区之外。
一个具体的例子
用户问:“帮我把这段话改成更正式的表述,但别太生硬。”
榜单能测的是“改写任务”的正确率:意思有没有保留、语法对不对。
用户实际在意的是:语气是不是更正式了、有没有变得像公文腔、原有的分寸感还在不在。
后者很难打分,但它决定了用户会不会用第二次。
这也是为什么很多团队发现,把一个榜单上分数更高的模型换上去,用户满意度反而下降了:它可能在“正确”这一维更强,在“分寸”这一维退步了。
怎么把两件事接起来
办法不复杂:用真实流量做抽样评测。
从线上日志里随机抽一批问题,脱敏之后作为评测集。这批题目的分布就是用户的真实分布,不存在偏。
然后人工标注一批,建立基线。之后每次换模型、改提示词,都在这批真实样本上跑一遍。
这个做法不新鲜,难的是持续:样本要定期补充,标注要保持一致性,版本要管理好。
但它的收益很直接——评测结论和用户反馈开始同向变化。当两边方向不一致时,你会知道哪一边出了问题,而不是只能猜。
十分的分差意味着什么
回到最初的问题:涨十分要不要升级。
答案取决于这十分涨在哪。
如果涨在用户经常遇到的场景上,比如长文档摘要的准确性、表格转换的稳定性,那值得升。如果涨在某个冷门学科的选择题上,对你几乎没有用。
判断方法很简单:把那十分拆开,看每一类题目的提升幅度,再对照自己的流量分布。加权之后,可能只剩两三分。
这两三分是不是值得承担升级成本,是另一件事。
别用一个数字做决定
榜单有用,但它的作用是排除,不是选择。
排除掉明显不行的,剩下的要靠自己的数据判断。
把榜单当一个筛选器,而不是一个裁决者,就不会在“涨了十分但没感觉”里困惑。