评测一次要花多少钱:被漏掉的那笔预算
算推理成本时,大家算的是线上调用。
很少有人把评测算进去。而评测在 AI 项目里的花费,往往和线上调用同一个量级,甚至更多,尤其是在迭代频繁的阶段。
它包含三部分:跑评测集的调用费、人工标注的工时、以及回归带来的重复支出。
跑一次评测要多少调用
一个评测集几百到几千条,每条都要调用一次模型。
听起来不多。但如果同时要测三个版本的模型、五个提示词变体,调用量就乘上十五。而这类对比测试在迭代期几乎每周都做。
再看单条的数据量:如果评测涉及长文档理解,每条输入的上下文可能上万字,那么一千条的评测就是千万字级的输入。
按单价折算,一次完整评测的费用可能相当于线上几天的调用量。而它不产生任何业务价值,只产生一个数字。
这件事本身没有错,评测是必要的。问题在于预算里常常没有这一项。
人工标注才是大头
跑分便宜,标注贵。
要让评测有意义,得有标准答案。标准答案要么由人工标注,要么由更强的模型生成后人工校验。
人工标注的成本按条算:一条简单的事实问答可能几分钟,一条需要阅读长文档的判断可能二十分钟。
一千条评测集,每条五分钟,就是八十多个工时。按人力成本折算,这笔钱通常远超跑评测的调用费。
更麻烦的是标注质量的维护。两个标注员对同一条的判断不一致,需要第三人裁定;标准更新之后,旧标注要重做。这些都会让成本翻倍。
| 评测环节 | 主要成本 | 容易被低估的原因 |
|---|---|---|
| 跑模型 | 调用费 | 多版本对比时成倍放大 |
| 人工标注 | 工时 | 按条算,长文档任务尤其贵 |
| 标注校验 | 复核工时 | 分歧处理与标准更新常被忽略 |
| 回归测试 | 重复调用 | 每次改动都要重跑一遍 |
回归是持续的支出
模型或提示词改一次,就要重跑一遍评测。
如果是每周迭代,评测就是每周一次。一年五十次,累计成本很容易超过初期建设。
这笔支出在预算里往往被当成一次性投入,实际是运营成本。
控制它的办法有两个方向。
一是分层:小改动只跑核心子集,大改动才跑全集。核心子集选那些历史上出过问题的、以及业务最关键的一百来条。
二是自动化:能用程序判定的部分不要人工参与。格式是否正确、字段是否齐全、数字是否与原文一致,这些都可以写成校验规则。
人工只留给真正需要判断的部分:语气是否合适、解释是否准确、有没有编造。
自动判定能覆盖多少
一个现实的分布是:在结构化输出任务里,七成以上可以用规则判定;在开放式生成任务里,可能只有三成。
所以先做一件事:把评测项分类,标出哪些能自动判、哪些必须人工。
这个分类本身就能省下大量钱,因为它让后续每次回归都能只跑必要的人工部分。
有一个容易被忽略的自动判定方式:用另一个模型来打分。
它在成本上比人工便宜得多,适合做初筛:先用模型打分把明显不合格的挑出来,剩下的再人工看。
但它不能替代人工做最终判断,因为模型之间存在偏好偏差,用它评测自己的同类,结论往往偏乐观。
评测集本身的成本
评测集不是天上掉下来的。
要覆盖真实场景,样本得来自真实流量。而真实流量要先有一定规模,还要经过清洗、去重、脱敏。
要覆盖边缘情况,得有人专门去构造:长输入、特殊格式、多语言混排、含歧义的表述。这类样本造起来费时,但恰恰是最能暴露问题的。
一个几千条的评测集,从零开始做,通常要几周时间与大量人工。这笔投入在项目初期经常被跳过,结果是后期所有的优化都缺少判断依据。
把评测成本算进产品账
正确的做法是把评测当成产品成本的一部分,而不是研发的杂项。
具体来说,估算月成本时应包含三块:线上调用、评测调用、标注与复核工时。
其中评测那一块可以按迭代频率估算:每次评测的调用费乘以每月迭代次数,再加上人工部分。
这笔预算的意义不只是算钱,它决定了一件更重要的事:能不能承受高频迭代。
如果一个团队的评测预算只够每月跑一次,那它的迭代节奏就是每月一次,不管研发多快。
省评测钱的几个务实做法
第一,建小集合。用一百到两百条最能暴露问题的样本,覆盖历史缺陷与关键场景。日常迭代跑小集合,重大版本跑全集。
第二,缓存模型输出。同一条样本、同一个提示词、同一个模型,结果是可以缓存的。做提示词对比实验时,固定部分的输出不必重复计算。
第三,把评测放在批处理通道。多数服务商对非实时的批处理调用有折扣,评测正好适合这种模式。
第四,只测变化的部分。如果这次只改了输出格式,就没必要重跑事实准确性那一组。
第五,把评测结果存成基线。每次改动与基线比较,而不是每次重新标注。基线维护得好,长期成本会显著下降。
什么时候该花这笔钱
有一种倾向是能省则省,评测能不做就不做。
这在早期看起来省钱,实际会把成本推到后期:没有评测,就不知道改动是变好还是变坏,只能靠线上用户反馈。而线上出错的代价远高于评测。
所以更合理的判断是:评测预算应该与迭代频率匹配。迭代越快,评测越要跟上;迭代慢的项目,可以降低频率但不能没有。
一个可以对照的信号:如果团队说不清“上次改动之后准确率变化了多少”,那评测就是缺位的。这时候讨论降本,其实是在一个没有刻度的系统上做加减法。