罗罗编程学习记录
本页内容 展开查看

10.12.1 评测集构建与标注

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据

覆盖范围

  • 为什么需要评测集
  • 评测集构建方法
  • 标注流程与质量控制
  • 评测集的维度划分
  • 自动化评测 vs 人工评测
  • 评测集的维护与迭代

高频题速览

编号 题目 难度 频率
10.12.1-001 为什么需要评测集? 基础 ★★★★
10.12.1-002 怎么构建评测集? 进阶 ★★★★
10.12.1-003 标注流程怎么做? 进阶 ★★★
10.12.1-004 评测集怎么分维度? 进阶 ★★★
10.12.1-005 自动评测和人工评测? 基础 ★★★★
10.12.1-006 评测集怎么保证质量? 进阶 ★★★
10.12.1-007 评测集要多大? 基础 ★★★
10.12.1-008 评测集怎么维护? 基础 ★★★

10.12.1-001 为什么需要评测集?

频率 ★★★★ | 难度 基础

一句话结论

评测集是衡量 LLM 应用效果的标尺:没有评测集就不知道模型好不好、改了 Prompt 是变好还是变坏、不同模型哪个更适合;是持续迭代的基础。

概念解释

  • 效果衡量:模型输出好不好,用评测集打分。
  • 回归测试:改了 Prompt 或模型,跑评测集确保不退化。
  • 模型选型:不同模型在同一个评测集上对比。
  • 持续迭代:每次改动都跑评测集,看变化。

原理流程

  1. 准备评测集(问题 + 标准答案/评分标准)。
  2. 模型跑评测集,输出结果。
  3. 评分:自动或人工打分。
  4. 对比:和上次结果对比,看变化。

代码 / 示例

评测集的作用:
  1. 模型选型: GPT-4o vs DeepSeek, 哪个效果好?
  2. Prompt 迭代: 改了 Prompt, 是变好还是变坏?
  3. 回归测试: 升级模型后, 效果有没有退化?
  4. 质量门禁: 不达标不上线

常见误区

  • 误区:demo 效果好就行;正解:demo 是个例,评测集才是统计意义上的效果。
  • 误区:跑一次评测就够了;正解:每次改动都要跑,持续监控。

追问

  • Q:没有评测集怎么迭代? A:凭感觉,改了不知道变好还是变坏,迭代效率低。
  • Q:评测集是一次性的吗? A:不是,要持续更新,加入新场景和 bad case。

10.12.1-002 怎么构建评测集?

频率 ★★★★ | 难度 进阶

一句话结论

构建流程:收集真实用户问题 → 分类整理 → 标注标准答案 → 划分难度和场景 → 去重和清洗;核心是真实、有代表性、覆盖各种场景。

概念解释

  • 数据来源:真实用户日志、业务场景、边界 case。
  • 分类:按任务类型、难度、场景分类。
  • 标注:标准答案或评分标准。
  • 清洗:去重、去噪、确保质量。

原理流程

  1. 收集真实用户问题(从日志)。
  2. 补充边界 case 和困难 case。
  3. 分类整理:任务类型、难度。
  4. 标注标准答案或评分标准。
  5. 清洗去重,确保质量。

代码 / 示例

评测集构建流程:
  1. 收集: 从用户日志提取真实问题
  2. 补充: 边界 case, 困难 case, 特殊场景
  3. 分类: 按任务类型 (问答/摘要/代码) 和难度 (简单/中等/困难)
  4. 标注: 标准答案, 或评分标准
  5. 清洗: 去重, 去噪, 确保质量

常见误区

  • 误区:评测集用通用 benchmark 就行;正解:通用 benchmark 不代表你的业务场景,必须用自己的真实问题。
  • 误区:评测集越多越好;正解:质量比数量重要,100 道高质量题比 1000 道水题有用。

追问

  • Q:标准答案怎么来? A:人工写、从强模型蒸馏、或人工标注评分标准。
  • Q:评测集要覆盖哪些场景? A:常见场景、边界场景、困难场景、bad case,都要覆盖。

10.12.1-003 标注流程怎么做?

频率 ★★★ | 难度 进阶

一句话结论

标注流程:制定标注规范 → 标注员培训 → 试标注 → 正式标注 → 抽检审核;核心是规范清晰、多人标注、交叉审核,确保标注质量。

概念解释

  • 标注规范:什么算对、什么算错,标准明确。
  • 培训:标注员先培训,试标注。
  • 交叉标注:同一道题多人标注,看一致性。
  • 抽检:审核员抽检,确保质量。

原理流程

  1. 写标注规范:评分标准、示例。
  2. 培训标注员:看规范,试标注。
  3. 正式标注:每人独立标注。
  4. 交叉审核:不一致的讨论统一。
  5. 抽检:审核员抽检 10%。

代码 / 示例

标注流程:
  1. 写标注规范: 评分标准, 示例, 边界 case
  2. 培训: 标注员看规范, 试标注 10 道
  3. 正式标注: 每人独立标注
  4. 交叉: 同一题 2~3 人标, 不一致讨论
  5. 抽检: 审核员抽检 10%, 不合格重标

常见误区

  • 误区:标注规范写个大概就行;正解:规范要非常详细,有示例,不然不同人理解不同。
  • 误区:一个人标完就行;正解:多人交叉标注,看一致性(Kappa 系数),确保质量。

追问

  • Q:怎么衡量标注一致性? A:Kappa 系数,>0.8 算一致好,<0.6 说明规范有问题。
  • Q:标注不一致怎么办? A:讨论统一,更新规范,重新标注。

10.12.1-004 评测集怎么分维度?

频率 ★★★ | 难度 进阶

一句话结论

维度划分:按任务类型(问答/摘要/代码)、难度(简单/中等/困难)、场景(通用/领域)、能力维度(正确性/完整性/格式);分维度看效果,知道哪里好哪里差。

概念解释

  • 任务维度:问答、摘要、翻译、代码、推理。
  • 难度维度:简单(直接答)、中等(需要推理)、困难(边界 case)。
  • 场景维度:通用、业务领域、敏感场景。
  • 能力维度:正确性、完整性、格式合规、安全。

原理流程

  1. 按任务类型分类。
  2. 按难度分级。
  3. 按场景划分。
  4. 每个维度单独统计分数。

代码 / 示例

评测集维度:
  任务类型: 问答 / 摘要 / 代码 / 翻译
  难度: 简单 / 中等 / 困难
  场景: 通用 / 业务领域 / 敏感
  能力: 正确性 / 完整性 / 格式 / 安全

  示例: 问答-中等-业务领域-正确性

常见误区

  • 误区:一个总分就够了;正解:分维度看,知道哪个维度差,针对性优化。
  • 误区:维度越多越好;正解:维度太多不好管理,选关键维度。

追问

  • Q:怎么发现短板? A:看各维度分数,哪个低就是短板,针对性优化。
  • Q:维度之间权重? A:按业务重要性设权重,如正确性比格式重要。

10.12.1-005 自动评测和人工评测?

频率 ★★★★ | 难度 基础

一句话结论

自动评测(LLM-as-Judge、规则匹配)快、便宜、可批量,但不够准;人工评测准但慢、贵;两者结合:自动评测跑日常回归,人工评测做深度评估。

概念解释

  • 自动评测:规则匹配(精确匹配、包含)、LLM-as-Judge(强模型打分)。
  • 人工评测:人看输出打分,准但慢。
  • 结合:自动跑回归,人工做关键评估。

原理流程

  1. 日常回归:自动评测,快速跑。
  2. 版本发布:人工评测,深度评估。
  3. 自动评测不准的:人工抽检。

代码 / 示例

自动 vs 人工评测:

自动评测:
  优点: 快, 便宜, 可批量, 可天天跑
  缺点: 不够准, 复杂任务评不了

人工评测:
  优点: 准, 能评复杂任务
  缺点: 慢, 贵, 不能天天跑

结合: 自动跑回归, 人工做版本评估

常见误区

  • 误区:自动评测就够了;正解:自动评测只能评简单的,复杂任务(写作、推理)还是要人工。
  • 误区:人工评测太慢;正解:不用全量人工,抽一部分关键 case 人工评就行。

追问

  • Q:LLM-as-Judge 准吗? A:顶级模型做裁判,和人工一致性约 70~85%,够日常用,关键决策还是要人工。
  • Q:怎么结合? A:自动评测做日常回归,每次发布抽 100 道人工评。

10.12.1-006 评测集怎么保证质量?

频率 ★★★ | 难度 进阶

一句话结论

质量保证:标注规范清晰、多人交叉标注、Kappa 系数监控、抽检审核、bad case 持续补充;评测集本身也要迭代,不是一成不变。

概念解释

  • 规范清晰:标注标准明确,有示例。
  • 交叉标注:多人标注,看一致性。
  • Kappa 系数:标注一致性指标,>0.8 合格。
  • 抽检:审核员抽检,不合格重标。

原理流程

  1. 写详细规范,有示例。
  2. 多人交叉标注,算 Kappa。
  3. Kappa 低 → 讨论统一,更新规范。
  4. 抽检审核,确保质量。

代码 / 示例

评测集质量保证:
  - 标注规范: 详细, 有示例, 边界 case
  - 交叉标注: 2~3 人标同一题
  - Kappa 系数: >0.8 合格
  - 抽检: 10% 抽检, 不合格重标
  - 持续更新: bad case 加入评测集

常见误区

  • 误区:评测集建完就不管了;正解:要持续更新,加入新场景和 bad case。
  • 误区:标注质量没问题;正解:标注质量直接决定评测结果,必须严格把控。

追问

  • Q:Kappa 系数低怎么办? A:说明标注规范不清晰,讨论统一标准,更新规范,重新标注。
  • Q:评测集多久更新一次? A:每月补充新 case,每季度 review 一次。

10.12.1-007 评测集要多大?

频率 ★★★ | 难度 基础

一句话结论

评测集大小:50~200 道高质量题就够日常用;按任务类型分配,每类 20~50 道;质量比数量重要,100 道精心标注的题比 1000 道水题有用。

概念解释

  • 最小规模:50 道,覆盖主要场景。
  • 推荐规模:100~200 道,分维度覆盖。
  • 质量优先:质量比数量重要。
  • 持续补充:bad case 持续加入。

原理流程

  1. 先建 50 道核心题。
  2. 跑起来,持续补充 bad case。
  3. 逐步到 100~200 道。
  4. 不再追求数量,追求质量。

代码 / 示例

评测集规模建议:
  最小: 50 道 (核心场景)
  推荐: 100~200 道 (分维度)
  质量: 每道都精心标注, 有标准答案

  不要追求:
    - 1000 道水题
    - 通用 benchmark 直接用

常见误区

  • 误区:评测集越大越好;正解:50 道高质量题就够,太大维护成本高。
  • 误区:直接用公开 benchmark;正解:公开 benchmark 不代表你的业务,必须有自己的题。

追问

  • Q:怎么判断够不够? A:跑出来的分数稳定,bad case 能覆盖主要场景,就够了。
  • Q:评测集要更新吗? A:要,bad case 持续加入,业务变化了也要更新。

10.12.1-008 评测集怎么维护?

频率 ★★★ | 难度 基础

一句话结论

维护流程:bad case 持续补充、定期 review 过时题、版本管理、和业务同步;评测集是活的,要随业务一起迭代。

概念解释

  • bad case:线上发现的问题,加入评测集。
  • 定期 review:过时的题删掉或更新。
  • 版本管理:评测集版本化,可追溯。
  • 业务同步:业务变了,评测集也要变。

原理流程

  1. 线上 bad case → 加入评测集。
  2. 每月 review:删掉过时题,更新答案。
  3. 版本管理:每次更新记录版本号。
  4. 业务变化 → 评测集同步更新。

代码 / 示例

评测集维护:
  - bad case 收集: 线上用户反馈, 人工审核
  - 定期 review: 每月一次, 删掉过时题
  - 版本管理: v1, v2, ... 记录变更
  - 业务同步: 业务变化了, 评测集更新

常见误区

  • 误区:评测集建完就不管了;正解:要持续维护,不然过时了就不准。
  • 误区:bad case 不用加进去;正解:bad case 是最有价值的,加入评测集防止复发。

追问

  • Q:bad case 怎么收集? A:用户反馈、线上监控、人工抽检,发现问题就记录。
  • Q:评测集更新后要重跑历史结果吗? A:要,确保对比的是同一套题。

待整理清单

  • [ ] LLM-as-Judge 的偏差控制
  • [ ] 评测集的自动化流水线
  • [ ] 多维度评测指标
  • [ ] 人类评估协议
  • [ ] 评测数据的隐私保护