拿十个自己的问题去试模型,比看榜单准
选模型时,最先看到的往往是榜单。
分数高的那个,看起来更聪明。
但你真正关心的问题,榜单里一道都没有。
榜单回答不了你的问题
榜单测的是标准题型,答案有唯一解。
你的工作里,多数问题没有标准答案,还带着大量背景信息。
分数高说明它在那些题上表现好,不说明它在你的任务上表现好。
十个问题怎么选
不要多,十道就够,覆盖你日常的四类任务。
第一类,信息提取:从一段长文里找出指定字段。
第二类,改写:把同一段话改成不同语气。
第三类,推理:需要两三步才能得出结论的问题。
第四类,边界:明显不该回答的问题,看它会不会硬编。
四类各两到三道,剩下的留给最常用的那一个任务。
每类看什么
| 题型 | 观察重点 | 常见问题 |
|---|---|---|
| 信息提取 | 字段是否齐全 | 漏项、串行 |
| 改写 | 语气是否稳定 | 越改越长 |
| 推理 | 中间步骤是否成立 | 结论对但过程错 |
| 边界 | 是否承认不知道 | 编造细节 |
观察重点要事先写好,否则跑完只会有一个模糊的印象。
怎么打分
不要用十分制,用三档:能用、改一改能用、不能用。
三档的好处是分歧小,两个人分别打分也容易对齐。
每个问题记两件事:第一次能不能用,改一次之后能不能用。
第二次的分数,往往比第一次更能说明问题。
测试要固定条件
同一批问题、同样的提示、同样的长度限制,只换模型。
温度、最大长度这些设置也要固定,否则比出来的差异可能来自参数。
一次只换一个变量,结论才有意义。
多久重测一次
三个月一次足够,或者在换版本、换价格、换场景时重测。
模型更新很频繁,旧结论半年就会过期。
把十道题和当时的结论存下来,下次重测只要半小时。
三个常见误判
一是把一次表现当稳定水平。同一个问题跑三次,结果可能差很多。
二是只看答案对不对,不看它读没读懂问题。
三是用自己的母语习惯去评判,忽略了目标读者的感受。
便宜和贵怎么比
不要只比单价,要算完成同一个任务的总成本。
便宜模型要多改两轮,人花的时间也是成本。
把人工修改的时间折算进去,结论常常会反过来。
最后一题留给自己的高频任务
十道题里,留一道放你每周都要做的那件事。
它可能平淡无奇,但最能反映日常体验。
模型在漂亮题目上表现好,不代表它在你重复一百遍的任务上不添乱。
题目的答案要留档
每次测完,把题目、当时的答案和你的评价存成一个文件。
下次换模型,用同一份题目对比,差异才看得清楚。
只凭记忆比较,人会偏向自己刚用过的那个。
写在最后
榜单是别人的题,十个问题才是你自己的尺子。
选模型这件事,最终要靠自己的任务来投票。