大模型榜单是怎么排出来的?看懂三种榜,不再被分数带节奏
想选一个模型,搜一圈全是各种「榜单第一」。但不同榜单口径完全不一样,看懂它们怎么排名,比记住一个分数重要得多。
第一类:固定题目「考试型」榜单
比如 MMLU、GSM8K 这类,给模型出一套标准题,按答对率打分。优点是可比、可复现;问题是题目一旦公开久了,就可能被「喂」进训练数据,模型等于提前背过答案(业内叫数据污染),高分未必等于真会。而且一套固定题只覆盖特定能力,不代表实际好用程度。
第二类:真人投票「对战型」榜单
像 LMArena 那种,把同一个问题分别丢给两个匿名模型,人看完选哪个更好,再像下棋等级分(ELO)那样累计排名。优点是贴近真实体感、题目活;缺点是受「大众偏好」影响,而人往往偏爱话多、排版漂亮、语气自信的回答,并不等于更准确。它排的是「讨人喜欢」,不完全是「干活靠谱」。
第三类:任务型 / 场景型评测
针对具体用途设计,比如写代码跑测试通过率、长文档问答、数学推理带步骤给分。这类最接近「能不能用」,但覆盖面窄,某项第一不代表综合第一。
看榜单的正确姿势
先问三个问题:考的是什么能力,跟你需求对不对得上;题目是公开老题还是新题,会不会被背过;评测方式对人准还是对答案准。没有任何一个榜能定义「最好的模型」,只有「最适合某个任务的模型」。
落地建议
别只盯一个总分。把两三个榜单交叉看:考试型看基础、对战型看体感、任务型看你会用到的场景。真正决定选型的,是你自己那批实际数据上的效果——花半天用自己的例子跑一遍,胜过研究一周别人的榜。
小结
榜单是有立场的:固定题库测「背没背过」,真人投票测「喜不喜欢」,任务评测测「能不能用」。把它们当成不同维度的参考,而不是绝对名次,选模型时才不会被一句「榜单第一」带偏。