榜单只测选择题,你的活是写长文
看榜单选模型,选完发现不好用。问题不在模型,在测的东西和你做的事不是一回事。
榜单要可比较,就必须把任务标准化。而标准化的代价,是离真实工作很远。
标准化测试选了什么
多数榜单用的是有唯一答案的题:选择题、短答、代码通过率。
这类题好判分、好对比、好排名。但它们有个共同特点:答案短。
而多数人的真实工作是长输出:一份方案、一段说明、一封邮件。这类任务没有唯一答案,也就没法进榜单。
三种任务的差距
| 任务类型 | 榜单覆盖 | 真实占比 |
|---|---|---|
| 单选与短答 | 高 | 低 |
| 结构化输出 | 低 | 中 |
| 长文与判断 | 几乎为零 | 高 |
第三行占比最高,却几乎没有榜单覆盖。
所以榜单分数高,只能说明它在短答上强。这跟你要做的事关系有限。
差距从哪来
长输出要处理的东西更多:前后是否一致、语气是否稳定、有没有中途跑偏。
这些能力在短答里体现不出来。一道题只需要一个词,模型没有机会跑偏。
任务一长,弱点就出现了。而弱点恰恰决定你能不能用它。
一个自测的办法
不用建榜单,用你手上的活测。
挑三件你每周都要做的事,各做一次,然后看三件事:能不能直接用、要改多少、改起来烦不烦。
三个问题的答案,比任何分数都贴近你的实际。
一个边界:榜单也不是没用
| 用途 | 榜单有没有参考价值 | 原因 |
|---|---|---|
| 排除明显不行的 | 有 | 下限可看 |
| 在几个里挑一个 | 有限 | 差距太小 |
| 判断能不能直接上线 | 没有 | 场景不同 |
第一行是它最实际的用途。分数特别低的,基本不用试了。
而第二行是最常见的误用:两个模型差两分,就据此做决定。这个差距在你的场景里几乎不成立。
换个看法
榜单衡量的是能力上限,你的工作考验的是稳定下限。
上限决定它能做到多好,下限决定你能不能用它。多数时候,下限更重要。
所以更值得看的是失败案例:它在什么情况下会崩,崩得有多难看。
一个具体的做法
选模型时,先按榜单筛出三个,然后用自己的活测。
测试只需要半小时:三件事各一次,记录修改量和修改时间。
半小时的测试,比读十篇评测更能帮你做决定。
一个更省时的替代
如果没有时间做完整测试,用一句话代替:让它做一件你昨天刚做完的活。
做完对比,你只需要判断两件事:改了几处、改完敢不敢直接交出去。两个答案通常就够了。
完整测试适合团队选型,个人试用用一句话版本更快。
最后一句
榜单告诉你它擅长什么,你自己的活告诉你它能不能用。
前者可以看,后者必须做。顺序反了,选完还要重选。