10.12.1 评测集构建与标注
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据
覆盖范围
- 为什么需要评测集
- 评测集构建方法
- 标注流程与质量控制
- 评测集的维度划分
- 自动化评测 vs 人工评测
- 评测集的维护与迭代
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.12.1-001 | 为什么需要评测集? | 基础 | ★★★★ |
| 10.12.1-002 | 怎么构建评测集? | 进阶 | ★★★★ |
| 10.12.1-003 | 标注流程怎么做? | 进阶 | ★★★ |
| 10.12.1-004 | 评测集怎么分维度? | 进阶 | ★★★ |
| 10.12.1-005 | 自动评测和人工评测? | 基础 | ★★★★ |
| 10.12.1-006 | 评测集怎么保证质量? | 进阶 | ★★★ |
| 10.12.1-007 | 评测集要多大? | 基础 | ★★★ |
| 10.12.1-008 | 评测集怎么维护? | 基础 | ★★★ |
10.12.1-001 为什么需要评测集?
频率 ★★★★ | 难度 基础
一句话结论
评测集是衡量 LLM 应用效果的标尺:没有评测集就不知道模型好不好、改了 Prompt 是变好还是变坏、不同模型哪个更适合;是持续迭代的基础。
概念解释
- 效果衡量:模型输出好不好,用评测集打分。
- 回归测试:改了 Prompt 或模型,跑评测集确保不退化。
- 模型选型:不同模型在同一个评测集上对比。
- 持续迭代:每次改动都跑评测集,看变化。
原理流程
- 准备评测集(问题 + 标准答案/评分标准)。
- 模型跑评测集,输出结果。
- 评分:自动或人工打分。
- 对比:和上次结果对比,看变化。
代码 / 示例
评测集的作用:
1. 模型选型: GPT-4o vs DeepSeek, 哪个效果好?
2. Prompt 迭代: 改了 Prompt, 是变好还是变坏?
3. 回归测试: 升级模型后, 效果有没有退化?
4. 质量门禁: 不达标不上线
常见误区
- 误区:demo 效果好就行;正解:demo 是个例,评测集才是统计意义上的效果。
- 误区:跑一次评测就够了;正解:每次改动都要跑,持续监控。
追问
- Q:没有评测集怎么迭代? A:凭感觉,改了不知道变好还是变坏,迭代效率低。
- Q:评测集是一次性的吗? A:不是,要持续更新,加入新场景和 bad case。
10.12.1-002 怎么构建评测集?
频率 ★★★★ | 难度 进阶
一句话结论
构建流程:收集真实用户问题 → 分类整理 → 标注标准答案 → 划分难度和场景 → 去重和清洗;核心是真实、有代表性、覆盖各种场景。
概念解释
- 数据来源:真实用户日志、业务场景、边界 case。
- 分类:按任务类型、难度、场景分类。
- 标注:标准答案或评分标准。
- 清洗:去重、去噪、确保质量。
原理流程
- 收集真实用户问题(从日志)。
- 补充边界 case 和困难 case。
- 分类整理:任务类型、难度。
- 标注标准答案或评分标准。
- 清洗去重,确保质量。
代码 / 示例
评测集构建流程:
1. 收集: 从用户日志提取真实问题
2. 补充: 边界 case, 困难 case, 特殊场景
3. 分类: 按任务类型 (问答/摘要/代码) 和难度 (简单/中等/困难)
4. 标注: 标准答案, 或评分标准
5. 清洗: 去重, 去噪, 确保质量
常见误区
- 误区:评测集用通用 benchmark 就行;正解:通用 benchmark 不代表你的业务场景,必须用自己的真实问题。
- 误区:评测集越多越好;正解:质量比数量重要,100 道高质量题比 1000 道水题有用。
追问
- Q:标准答案怎么来? A:人工写、从强模型蒸馏、或人工标注评分标准。
- Q:评测集要覆盖哪些场景? A:常见场景、边界场景、困难场景、bad case,都要覆盖。
10.12.1-003 标注流程怎么做?
频率 ★★★ | 难度 进阶
一句话结论
标注流程:制定标注规范 → 标注员培训 → 试标注 → 正式标注 → 抽检审核;核心是规范清晰、多人标注、交叉审核,确保标注质量。
概念解释
- 标注规范:什么算对、什么算错,标准明确。
- 培训:标注员先培训,试标注。
- 交叉标注:同一道题多人标注,看一致性。
- 抽检:审核员抽检,确保质量。
原理流程
- 写标注规范:评分标准、示例。
- 培训标注员:看规范,试标注。
- 正式标注:每人独立标注。
- 交叉审核:不一致的讨论统一。
- 抽检:审核员抽检 10%。
代码 / 示例
标注流程:
1. 写标注规范: 评分标准, 示例, 边界 case
2. 培训: 标注员看规范, 试标注 10 道
3. 正式标注: 每人独立标注
4. 交叉: 同一题 2~3 人标, 不一致讨论
5. 抽检: 审核员抽检 10%, 不合格重标
常见误区
- 误区:标注规范写个大概就行;正解:规范要非常详细,有示例,不然不同人理解不同。
- 误区:一个人标完就行;正解:多人交叉标注,看一致性(Kappa 系数),确保质量。
追问
- Q:怎么衡量标注一致性? A:Kappa 系数,>0.8 算一致好,<0.6 说明规范有问题。
- Q:标注不一致怎么办? A:讨论统一,更新规范,重新标注。
10.12.1-004 评测集怎么分维度?
频率 ★★★ | 难度 进阶
一句话结论
维度划分:按任务类型(问答/摘要/代码)、难度(简单/中等/困难)、场景(通用/领域)、能力维度(正确性/完整性/格式);分维度看效果,知道哪里好哪里差。
概念解释
- 任务维度:问答、摘要、翻译、代码、推理。
- 难度维度:简单(直接答)、中等(需要推理)、困难(边界 case)。
- 场景维度:通用、业务领域、敏感场景。
- 能力维度:正确性、完整性、格式合规、安全。
原理流程
- 按任务类型分类。
- 按难度分级。
- 按场景划分。
- 每个维度单独统计分数。
代码 / 示例
评测集维度:
任务类型: 问答 / 摘要 / 代码 / 翻译
难度: 简单 / 中等 / 困难
场景: 通用 / 业务领域 / 敏感
能力: 正确性 / 完整性 / 格式 / 安全
示例: 问答-中等-业务领域-正确性
常见误区
- 误区:一个总分就够了;正解:分维度看,知道哪个维度差,针对性优化。
- 误区:维度越多越好;正解:维度太多不好管理,选关键维度。
追问
- Q:怎么发现短板? A:看各维度分数,哪个低就是短板,针对性优化。
- Q:维度之间权重? A:按业务重要性设权重,如正确性比格式重要。
10.12.1-005 自动评测和人工评测?
频率 ★★★★ | 难度 基础
一句话结论
自动评测(LLM-as-Judge、规则匹配)快、便宜、可批量,但不够准;人工评测准但慢、贵;两者结合:自动评测跑日常回归,人工评测做深度评估。
概念解释
- 自动评测:规则匹配(精确匹配、包含)、LLM-as-Judge(强模型打分)。
- 人工评测:人看输出打分,准但慢。
- 结合:自动跑回归,人工做关键评估。
原理流程
- 日常回归:自动评测,快速跑。
- 版本发布:人工评测,深度评估。
- 自动评测不准的:人工抽检。
代码 / 示例
自动 vs 人工评测:
自动评测:
优点: 快, 便宜, 可批量, 可天天跑
缺点: 不够准, 复杂任务评不了
人工评测:
优点: 准, 能评复杂任务
缺点: 慢, 贵, 不能天天跑
结合: 自动跑回归, 人工做版本评估
常见误区
- 误区:自动评测就够了;正解:自动评测只能评简单的,复杂任务(写作、推理)还是要人工。
- 误区:人工评测太慢;正解:不用全量人工,抽一部分关键 case 人工评就行。
追问
- Q:LLM-as-Judge 准吗? A:顶级模型做裁判,和人工一致性约 70~85%,够日常用,关键决策还是要人工。
- Q:怎么结合? A:自动评测做日常回归,每次发布抽 100 道人工评。
10.12.1-006 评测集怎么保证质量?
频率 ★★★ | 难度 进阶
一句话结论
质量保证:标注规范清晰、多人交叉标注、Kappa 系数监控、抽检审核、bad case 持续补充;评测集本身也要迭代,不是一成不变。
概念解释
- 规范清晰:标注标准明确,有示例。
- 交叉标注:多人标注,看一致性。
- Kappa 系数:标注一致性指标,>0.8 合格。
- 抽检:审核员抽检,不合格重标。
原理流程
- 写详细规范,有示例。
- 多人交叉标注,算 Kappa。
- Kappa 低 → 讨论统一,更新规范。
- 抽检审核,确保质量。
代码 / 示例
评测集质量保证:
- 标注规范: 详细, 有示例, 边界 case
- 交叉标注: 2~3 人标同一题
- Kappa 系数: >0.8 合格
- 抽检: 10% 抽检, 不合格重标
- 持续更新: bad case 加入评测集
常见误区
- 误区:评测集建完就不管了;正解:要持续更新,加入新场景和 bad case。
- 误区:标注质量没问题;正解:标注质量直接决定评测结果,必须严格把控。
追问
- Q:Kappa 系数低怎么办? A:说明标注规范不清晰,讨论统一标准,更新规范,重新标注。
- Q:评测集多久更新一次? A:每月补充新 case,每季度 review 一次。
10.12.1-007 评测集要多大?
频率 ★★★ | 难度 基础
一句话结论
评测集大小:50~200 道高质量题就够日常用;按任务类型分配,每类 20~50 道;质量比数量重要,100 道精心标注的题比 1000 道水题有用。
概念解释
- 最小规模:50 道,覆盖主要场景。
- 推荐规模:100~200 道,分维度覆盖。
- 质量优先:质量比数量重要。
- 持续补充:bad case 持续加入。
原理流程
- 先建 50 道核心题。
- 跑起来,持续补充 bad case。
- 逐步到 100~200 道。
- 不再追求数量,追求质量。
代码 / 示例
评测集规模建议:
最小: 50 道 (核心场景)
推荐: 100~200 道 (分维度)
质量: 每道都精心标注, 有标准答案
不要追求:
- 1000 道水题
- 通用 benchmark 直接用
常见误区
- 误区:评测集越大越好;正解:50 道高质量题就够,太大维护成本高。
- 误区:直接用公开 benchmark;正解:公开 benchmark 不代表你的业务,必须有自己的题。
追问
- Q:怎么判断够不够? A:跑出来的分数稳定,bad case 能覆盖主要场景,就够了。
- Q:评测集要更新吗? A:要,bad case 持续加入,业务变化了也要更新。
10.12.1-008 评测集怎么维护?
频率 ★★★ | 难度 基础
一句话结论
维护流程:bad case 持续补充、定期 review 过时题、版本管理、和业务同步;评测集是活的,要随业务一起迭代。
概念解释
- bad case:线上发现的问题,加入评测集。
- 定期 review:过时的题删掉或更新。
- 版本管理:评测集版本化,可追溯。
- 业务同步:业务变了,评测集也要变。
原理流程
- 线上 bad case → 加入评测集。
- 每月 review:删掉过时题,更新答案。
- 版本管理:每次更新记录版本号。
- 业务变化 → 评测集同步更新。
代码 / 示例
评测集维护:
- bad case 收集: 线上用户反馈, 人工审核
- 定期 review: 每月一次, 删掉过时题
- 版本管理: v1, v2, ... 记录变更
- 业务同步: 业务变化了, 评测集更新
常见误区
- 误区:评测集建完就不管了;正解:要持续维护,不然过时了就不准。
- 误区:bad case 不用加进去;正解:bad case 是最有价值的,加入评测集防止复发。
追问
- Q:bad case 怎么收集? A:用户反馈、线上监控、人工抽检,发现问题就记录。
- Q:评测集更新后要重跑历史结果吗? A:要,确保对比的是同一套题。
待整理清单
- [ ] LLM-as-Judge 的偏差控制
- [ ] 评测集的自动化流水线
- [ ] 多维度评测指标
- [ ] 人类评估协议
- [ ] 评测数据的隐私保护