评测集怎么建:从真实流量里挖样本的四个步骤
字数 1890
更新时间 2026-10-30 00:09:11

评测集怎么建:从真实流量里挖样本的四个步骤

给自己出十道题,能解决“我该选哪个模型”这种一次性的问题。

但一旦要持续维护一个产品,十道题不够。你需要一批能反复跑的样本,它要能反映真实用户,要能长期可比,还要能抗住重复使用带来的污染。

这是一件工程活。四个步骤,每一步都有常见的坑。

第一步:采样,而不是出题

多数人建评测集的方式是自己出题。写的人脑子里想着“用户大概会问什么”,于是出了一批工整、完整、带着明确意图的问题。

真实流量不是这样。真实的问题里有错别字,有半句话,有截图加上一句“这个怎么办”,有连着追问的碎片。

自己出题建出来的集合,测的是一个更干净的世界。

正确的方式是从日志里采样。

采样的关键是分层。按业务场景分层,按输入长度分层,按用户类型分层。每一层按真实占比抽相应数量,或者在样本量允许的情况下给难场景加权。

分层的好处是,你能知道分数变化来自哪一层。如果总分掉了三分,看分层数据就知道是长文本场景退化了,还是新用户的问题变多了。

第二步:清洗与去重

日志里有很多不能用的东西。

含个人信息的要去掉,含内部链接、订单号、未脱敏数据的也要去掉。这一步不能省,评测集经常被拿去做外部对比,泄露一次就收不回来。

重复问题要合并。同一个用户反复问同一件事、不同用户问同样的常识问题,这类样本在日志里占很大比例。保留太多会让分数被少数主题主导。

但也不能全删。重复率高本身就是真实分布的一部分,全删掉会让评测集变得比真实世界更多样。

一个折中:同类问题保留两三条不同表述的版本,把“问法多样性”保留下来,把“同一个人刷屏”去掉。

步骤 主要动作 常见问题
采样 按场景、长度、用户类型分层抽取 自己出题,样本过于工整
清洗 脱敏、去重、剔除无效样本 忘做脱敏,泄露内部数据
标注 双人标注加第三人裁定 标准写在脑子里,判分不一致
管理 版本化、冻结、记录变更 边测边改,历史结果不可比

第三步:标注,并且写清标准

标注是投入最大的一步,也是最容易被草率对待的一步。

只让一个人标,标准会漂移。同一个人隔两周标同一批样本,判断也可能不一致。

所以至少要双人标注。两人一致的部分直接采用,不一致的部分交给第三人裁定。裁定的结果反过来补充标准文档——这是标准逐渐变清楚的过程。

标准要写得足够机械。什么样的回答算“正确”,什么样的算“部分正确”,什么情况算“拒绝回答是合理的”。这些如果不写清楚,标注者只能凭感觉,而感觉不可传递。

还有一个常被忽略的点:标注时不要看模型名。

知道这是哪个模型答的,判断就会受影响。把样本匿名化,只保留问题与回答,标注才会相对客观。

第四步:管理与冻结

评测集最怕的是“一边测一边改”。

今天加十道题,明天删五道,分数就没法纵向比较了。上个月的七十五分和这个月的七十八分,可能只是题目变了。

做法是版本化。每次变更记一笔:加了什么、删了什么、为什么。老版本冻结保留,新结果仍然可以用老版本跑,保证可比性。

同时要控制流通范围。评测集一旦公开,就会进入下一轮模型的训练数据。哪怕只是发在内部群里,也可能被截图流出。

比较稳妥的做法是:核心集只在少数人手里,对外展示用公开子集,并且定期换题。

规模怎么定

没有一个标准答案,但有几个经验区间。

五十到一百条,可以支撑快速回归。用来发现明显崩坏,不适合下结论。

三百到五百条,可以做日常对比,配合多次运行能看出真实差异。

一千条以上,可以做分层分析,能看出某个场景的细微退化。

规模不是越大越好。标一千条的成本是标三百条的三倍多,但收益往往是边际递减的。多数团队从两三百条起步,遇到具体问题再扩。

一个容易被忽略的角色:坏样本池

线上出过的每个严重问题,都应该变成一道题。

用户投诉过的错误回答、审核发现的有害输出、客服记录里的误解案例,这些是最有价值的样本,因为它们已经真实发生过一次。

把它们单独存成一个池子,每次回归都跑一遍。这个池子的规模会随着时间增长,它比任何人工出的题都更贴近风险。

最后:评测集会变成资产

建的时候很麻烦,建好之后很难被替代。

它记录了这个产品的历史:哪些问题曾经难住模型,哪些场景反复出问题,哪次改动带来了真实提升。这些东西写不进周报,但它们是判断的基础。

所以值得认真建一次,而不是每次临时拼一批题应付。

延伸阅读

相似文章
相似文章
小程序二维码
 全屏