罗罗编程学习记录
本页内容 展开查看

10.2.2.2 评测集构建与回归测试

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.2 Prompt 工程 / 10.2.2 提示评测与注入防护

10.2.2.2-001 为什么 prompt 改动要靠评测集,不能凭感觉?

一句话结论

提示改动的效果(正确率、格式合规、边界遵守)需要可重复的样本集与指标量化对比;凭单次试看无法覆盖边界情况,也无法判断改动是改善还是劣化,评测集是回归对比的基准。

概念解释

  • 可重复:同一样本集可反复跑批。
  • 可对比:新旧版本指标对照。
  • 覆盖:边界与失败类型进入样本。

原理流程

  1. 固定一批标注样本与判定标准。
  2. 改动前后各跑一次。
  3. 对比关键指标决定是否发布。

代码 / 图示

改 prompt → 跑评测集 → 指标对比基线
通过 → 发布; 劣化 → 回退或修正

常见误区

  • 误区:演示问题回答好了就说明改动有效;正解:演示样本不覆盖失败边界,主观感受不能替代指标。
  • 误区:评测一次够用;正解:模型版本、业务输入变化后需要持续回归。

追问

  • Q:没有评测集先做什么? A:从历史真实请求与失败案例抽样起步,逐步补充边界样本。
  • Q:评测集放哪里管理? A:作为版本化资产与模板配套存放,不依赖个人本地记录。

10.2.2.2-002 评测集包含哪些类型样本?

一句话结论

样本应覆盖:典型输入、边界情况(缺失/歧义/极值/多实体)、历史失败案例、对抗与拒绝场景、格式变体;每类按业务重要性配比,而不是只收顺利的正例。

概念解释

  • 典型:线上主流形态。
  • 边界:容易出错的边缘条件。
  • 失败回流:线上真实错误样本。
  • 对抗:注入、越界、拒答场景。

原理流程

  1. 梳理输入分布与失败类型。
  2. 逐类收集/构造样本。
  3. 标注期望结果与判定规则。

代码 / 图示

典型样本 + 边界样本 + 历史错题 + 对抗样本 + 拒答场景

常见误区

  • 误区:评测集都是理想正例;正解:边界与失败样本才暴露问题,只收正例会高估效果。
  • 误区:样本越偏难越好;正解:配比要贴近真实流量分布,否则指标与线上表现脱节。

追问

  • Q:边界样本从哪来? A:历史工单、客服记录、线上错误日志与人工构造的边缘组合。
  • Q:样本规模怎么定? A:先覆盖关键路径与主要失败类型,规模随迭代扩充,不追求一次凑齐固定条数。

10.2.2.2-003 标注口径与评分标准怎么定?

一句话结论

标注前明确每条样本的期望输出、判定维度与合格标准:字段级对错、格式合规、依据充分性、拒答合理性;口径写成可执行规则,标注人员/自动评判按同一标准执行,避免主观分歧。

概念解释

  • 标注对象:期望答案与合格条件。
  • 维度:正确性、格式、引用、安全边界。
  • 一致性:标准文档化,可复核。

原理流程

  1. 定义任务的判定维度。
  2. 写清各维度合格/不合格规则。
  3. 标注样例对齐口径后批量标注。

代码 / 图示

判定维度: 字段正确 / 格式合法 / 依据可溯 / 拒答合理
每维度: 合格条件 + 典型不合格情形

常见误区

  • 误区:标注只写"正确答案";正解:缺少判定标准时,边缘样本会产生分歧标注。
  • 误区:口径在标注人脑子里;正解:规则文档化,换人复核也能保持一致。

追问

  • Q:多人标注不一致怎么办? A:先小样对齐口径,抽样复核一致性,分歧样本讨论后修订标准。
  • Q:开放类答案怎么标注? A:拆成可判定要点(必备信息、禁止内容),按要点核对而非整体印象。

10.2.2.2-004 样本规模与覆盖边界怎么权衡?

一句话结论

先追求关键类型全覆盖,再扩数量:少量高质量覆盖主要输入与失败类型,优于大量重复同类样本;样本增长按失败回流与新场景补充,规模受标注成本与评测时长约束。

概念解释

  • 覆盖优先:类型清单先打勾。
  • 数量其次:同类样本积累统计稳定性。
  • 成本:标注与跑批时间纳入权衡。

原理流程

  1. 列出需覆盖的类型清单。
  2. 每类先配代表性样本。
  3. 按指标波动与新场景补量。

代码 / 图示

覆盖度: 类型清单逐项有样本
规模: 同类足够观察稳定性, 不堆砌重复

常见误区

  • 误区:样本越多评测越准;正解:重复同类样本不增加覆盖,边际收益低。
  • 误区:小样本结论不可用;正解:覆盖关键边界的小样本可用于迭代,统计稳定性随样本量提升。

追问

  • Q:评测跑批时间过长怎么办? A:分层:快速小集迭代提示,完整大集在发布前跑批。
  • Q:新业务场景怎么补样本? A:上线初期持续收集真实输入,补充到评测集对应类型。

10.2.2.2-005 黄金答案(golden answer)如何构造?

一句话结论

黄金答案是标注好的期望输出或判定要点:抽取类给标准字段值,开放类给必备要点与禁止项;答案来自业务规则与权威资料,经人工核对,不能由待评测模型自行生成。

概念解释

  • 形式:完整对象 / 要点清单 / 分类标签。
  • 来源:规则、数据库、权威文档、人工专家。
  • 核对:正确性与口径一致。

原理流程

  1. 从权威来源确定期望结果。
  2. 按输出结构写成黄金答案。
  3. 人工复核后入库。

代码 / 示例

抽取: {"intent": "退货", "city": "北京"}
开放: 必备要点[..., ...], 禁止[编造条款]

常见误区

  • 误区:拿模型输出当黄金答案;正解:用模型答案标注会循环验证,基准失去独立性。
  • 误区:开放题给唯一逐字答案;正解:按要点判定,允许表达差异。

追问

  • Q:答案涉及易变信息怎么办? A:评测样本固化当时的权威依据,或改用工具可查的确定性事实。
  • Q:黄金答案要随业务规则更新吗? A:要,规则变更后同步复核对应样本答案。

10.2.2.2-006 回归测试:改 prompt 前后跑同一批样本怎么做?

一句话结论

固定样本集、模型版本与参数,改动前后在同一条件下跑批,对比指标与失败样本;回归集不随每次改动随意替换,保证版本间结果可比,发现劣化样本逐条归因。

概念解释

  • 控制变量:样本、模型、参数一致。
  • 对比对象:新旧模板指标与错题。
  • 稳定性:回归集版本固定。

原理流程

  1. 记录当前基线指标。
  2. 改模板后跑同一回归集。
  3. 对比指标与错题,劣化项定位原因。

代码 / 图示

回归集 S(版本固定) + 模型 M + 参数 P
旧模板 → 基线; 新模板 → 对比跑批

常见误区

  • 误区:回归集每次顺手改几条;正解:随意换样本会让前后指标不可比,新增样本走版本更新。
  • 误区:只看总分;正解:分类错误样本要逐条看,避免总分掩盖局部劣化。

追问

  • Q:模型升级时回归怎么做? A:在新模型上先跑基线建立新基准,再对比模板改动。
  • Q:回归集多长时间更新? A:按业务变化版本化更新,重大规则变更同步修订黄金答案。

10.2.2.2-007 指标:准确率、格式合规率、引用正确率、人工通过率怎么选?

一句话结论

按任务选指标:抽取看字段正确率,结构化看格式合规率,问答看引用/依据正确率,开放类看人工或评判通过率;指标定义明确计算口径,关键任务同时看多个指标与失败分布。

概念解释

  • 字段正确率:关键字段与黄金答案一致比例。
  • 格式合规率:可解析且符合 schema 比例。
  • 引用正确率:引用与证据对应正确比例。
  • 通过率:人工/评判判定合格比例。

原理流程

  1. 按任务类型确定核心指标。
  2. 明确统计口径(全字段/关键字段)。
  3. 跑批输出指标与失败类型分布。

代码 / 图示

抽取: 字段正确率
结构化: 格式合规率 + 字段正确率
问答: 引用正确率 + 事实正确率
开放: 人工/judge 通过率

常见误区

  • 误区:一个总分覆盖所有质量;正解:格式、事实、边界是不同维度,单指标会掩盖问题。
  • 误区:格式合规等于答案正确;正解:合法 JSON 仍可能字段错误,两类指标分开看。

追问

  • Q:指标分母怎么定? A:明确是全部样本还是有效样本,失败重试前后口径一致。
  • Q:拒答样本计入哪类? A:单独统计误拒率与漏拒率,避免与正确率混在一起。

10.2.2.2-008 阈值如何设定与跟踪?

一句话结论

阈值基于历史基线与业务容忍度设定:核心指标设最低合格线,劣化超过幅度即拦截发布;阈值随基线演进定期复核,跟踪趋势而不只看单次是否达标。

概念解释

  • 合格线:指标不低于业务可接受水平。
  • 劣化幅度:相对基线允许的波动范围。
  • 趋势:连续下滑即使未破线也要关注。

原理流程

  1. 用历史数据建立基线分布。
  2. 设定合格线与告警幅度。
  3. 每次回归对照阈值并跟踪趋势。

代码 / 图示

字段正确率 ≥ 基线 - 允许波动
格式合规率 ≥ 合格线
连续下降 → 告警排查

常见误区

  • 误区:阈值拍脑袋定一个高值;正解:阈值要结合基线与业务风险,过高无法发布,过低失去防护。
  • 误区:达标一次就不用跟踪;正解:趋势恶化可能在阈值以下之前就已发生。

追问

  • Q:不同任务阈值一样吗? A:不一样,高风险链路阈值更严,内部辅助任务可放宽。
  • Q:阈值调整走什么流程? A:随业务风险评审调整,记录调整原因与基线。

10.2.2.2-009 失败样本库如何沉淀?

一句话结论

线上错误、评测错题与红队样本归入失败样本库,标注错误类型、根因与修正方式;新样本补充进回归集,形成"发现 → 归因 → 补充样本 → 回归验证"的闭环。

概念解释

  • 库内容:输入、输出、错误类型、归因。
  • 流转:错题进入回归集验证修复。
  • 分类:结构、取值、语义、安全类。

原理流程

  1. 收集失败样本并脱敏。
  2. 标注错误类型与根因。
  3. 修复后回归该样本,通过后保留为常驻样本。

代码 / 图示

线上错误 → 脱敏入库 → 分类归因 → 入回归集
修复 → 回归通过 → 常驻防复发

常见误区

  • 误区:失败样本修完就删;正解:保留为回归样本,防止同类问题复发。
  • 误区:只记答案错误不记根因;正解:归因分类才能指导提示、证据或工具层改进。

追问

  • Q:失败样本含敏感信息怎么办? A:脱敏或替换为虚构等价样本后入库。
  • Q:样本库规模膨胀怎么管? A:按类型保留代表性样本,过期场景样本归档。

10.2.2.2-010 评测在 CI 中怎么落地?

一句话结论

把评测跑批接入发布流程:模板或代码变更触发回归集跑批,核心指标达标才允许合并/发布;CI 中固定模型版本与参数,输出指标报告与失败样本清单,阻断不达标变更。

概念解释

  • 触发:变更提交/发布前自动跑批。
  • 固定条件:模型版本、参数、回归集版本。
  • 门禁:指标不达标阻断发布。

原理流程

  1. 变更触发评测流水线。
  2. 跑回归集生成指标。
  3. 对照阈值,达标放行,不达标阻断并附错题。

代码 / 图示

提交变更 → 评测流水线 → 指标报告
达标 → 合并/发布; 不达标 → 阻断 + 失败样本

常见误区

  • 误区:CI 评测只跑几条演示;正解:门禁用常驻回归集,演示样本不能替代。
  • 误区:评测结果人工看一眼就行;正解:指标对照阈值自动判定,避免主观放行。

追问

  • Q:评测耗时影响流水线怎么办? A:快速集门禁 + 完整集发布前跑批,分层执行。
  • Q:外部 API 不稳定影响 CI 怎么办? A:记录失败原因,区分模型波动与质量劣化,必要时用固定录制响应对照。

10.2.2.2-011 样本泄露到训练数据的顾虑怎么处理?

一句话结论

评测样本应避免进入模型训练/微调数据,防止"背答案"虚高;自托管继续训练时隔离评测集,托管 API 注意供应商数据使用条款,定期更新样本保持评测独立性。

概念解释

  • 风险:样本被学习后指标失真。
  • 隔离:训练集与评测集分开。
  • 更新:定期替换部分样本。

原理流程

  1. 划分训练/微调与评测样本。
  2. 继续训练前排除评测集。
  3. 定期更新样本组合。

代码 / 图示

训练数据 ≠ 评测集
微调前: 排除评测样本
评测集: 定期轮换更新

常见误区

  • 误区:评测样本放进微调集提升效果;正解:这会让指标反映记忆而非泛化能力。
  • 误区:托管 API 不存在泄露问题;正解:供应商数据政策需核对,样本含敏感信息时更要谨慎。

追问

  • Q:怎么发现样本被记住? A:观察样本答案是否异常稳定、换相近表述后表现是否骤降。
  • Q:公开 benchmark 能替代自有集吗? A:只能参考,业务口径与场景仍需自有评测集。

10.2.2.2-012 边界样本与对抗样本如何纳入评测?

一句话结论

边界样本验证模型在缺失、歧义、极值条件下的合理行为;对抗样本验证注入、越狱、越权请求被拦截或合理拒答;两类样本单独统计通过率/拦截率,与正常样本指标分开报告。

概念解释

  • 边界:合法输入的边缘条件。
  • 对抗:恶意诱导与越权尝试。
  • 指标:边界合理率、对抗拦截率。

原理流程

  1. 构造边界与对抗样本。
  2. 跑批检查行为是否符合规则。
  3. 单独统计并回归防护改动。

代码 / 图示

边界样本 → 期望: 合理处理/声明不足
对抗样本 → 期望: 拒绝/拦截, 不执行越权动作

常见误区

  • 误区:对抗样本混在正常正确率里算;正解:拦截失败是独立安全指标,不能被高分正确率掩盖。
  • 误区:边界样本失败等同于攻击;正解:先区分是输入边缘合法情况还是恶意诱导。

追问

  • Q:对抗样本从哪来? A:红队演练、已知攻击模式库、线上异常请求脱敏回流。
  • Q:边界样本期望输出是什么? A:可能是拒答、请求补充信息或标记低置信,按业务规则预先定义。

10.2.2.2-013 多轮对话评测怎么构造?

一句话结论

多轮评测按完整会话构造:包含铺垫、转折、纠正与上下文依赖,检查模型是否保持一致、引用历史正确、不被早期诱导带偏;评测对象是整段会话的最终状态与关键轮次输出。

概念解释

  • 会话样本:多轮消息序列。
  • 依赖点:跨轮引用、用户纠正、状态变化。
  • 检查:一致性、历史利用、抗诱导。

原理流程

  1. 编写多轮脚本与期望结论。
  2. 逐轮跑完整会话。
  3. 核对关键轮次与最终状态。

代码 / 图示

轮1 背景 → 轮2 补充 → 轮3 纠正 → 轮4 结论
检查: 结论遵循最新纠正, 不引用已失效信息

常见误区

  • 误区:只评最后一轮输入;正解:多轮问题依赖历史,脱离会话无法复现真实表现。
  • 误区:每轮独立打分;正解:跨轮一致性是多轮任务的核心指标。

追问

  • Q:多轮评测成本高怎么控? A:关键会话全量评,简单轮次抽样检查。
  • Q:历史裁剪策略影响评测吗? A:影响,评测时固定历史组装策略,与线上配置一致。

10.2.2.2-014 评测结果如何归因(prompt/模型/检索)?

一句话结论

错误按环节归因:提示规则不清、模型能力不足、检索证据错配、工具返回错误或代码校验缺陷;对照输入、证据与输出定位环节,对应改进到负责层,不把所有问题归给模型。

概念解释

  • 归因环节:提示、模型、检索、工具、代码。
  • 方法:逐步回放输入与中间材料。
  • 改进:问题归属到对应层修复。

原理流程

  1. 回放样本的完整输入与上下文。
  2. 检查证据、工具结果与提示约束。
  3. 定位出错环节并分类记录。

代码 / 图示

错题 → 证据对吗? → 提示清楚吗? → 模型理解错? → 工具/代码缺陷?

常见误区

  • 误区:答错就是模型不行;正解:可能是检索片段错、提示歧义或工具数据错误。
  • 误区:归因只记现象不记环节;正解:环节分类决定后续改进方向与责任归属。

追问

  • Q:检索错配怎么识别? A:看召回片段与问题是否相关、证据能否支撑答案。
  • Q:模型能力不足怎么判断? A:证据与提示都正确仍反复出错,才归到模型能力问题。

10.2.2.2-015 版本对比与报告格式是什么?

一句话结论

评测报告记录:评测集版本、模型版本、模板版本、各指标结果、与基线对比、失败样本清单与归因;报告可追溯到具体配置组合,发布决策基于报告而非口头结论。

概念解释

  • 元信息:版本组合固定记录。
  • 指标:分维度结果与对比。
  • 附录:错题清单与建议。

原理流程

  1. 跑批采集指标与样本结果。
  2. 生成对比报告。
  3. 归档并关联发布记录。

代码 / 图示

报告: 集版本 / 模型 / 模板 / 指标 / 基线对比 / 错题清单 / 归因

常见误区

  • 误区:报告只写总分;正解:分维度指标与错题清单才支持定位改进。
  • 误区:报告不记版本;正解:缺少版本无法复现与回滚对照。

追问

  • Q:报告多长时间保留? A:与发布记录配套留存,便于线上问题回溯。
  • Q:报告谁看? A:任务负责人评审,高风险链路加业务/安全角色复核。

10.2.2.2-016 小样本快速验收与大规模回归如何分工?

一句话结论

日常迭代用小而精的快速集验证改动方向,发布前用完整回归集做门禁;快速集覆盖高频关键路径,完整集覆盖边界、对抗与历史错题,两层分工兼顾效率与把关。

概念解释

  • 快速集:少量核心样本,秒级/分钟级跑批。
  • 完整集:全量常驻样本,发布前运行。
  • 关系:快速集是完整集的子集或高优先级部分。

原理流程

  1. 提示改动先跑快速集。
  2. 方向确认后跑完整回归集。
  3. 发布门禁以完整集为准。

代码 / 图示

迭代: 快速集(核心路径)
发布: 完整集(边界/对抗/错题)

常见误区

  • 误区:只跑快速集就发布;正解:快速集不覆盖全部边界,不能替代完整回归。
  • 误区:完整集每次本地都跑;正解:耗时长的完整集放 CI/发布前,本地用快速集迭代。

追问

  • Q:快速集怎么选? A:高频代表样本 + 关键边界 + 近期错题。
  • Q:两层指标要一致吗? A:核心指标口径一致,完整集额外统计边界与对抗维度。

10.2.2.2-017 评测集本身如何维护更新?

一句话结论

评测集按版本维护:新增失败回流样本、更新过期答案、归档失效场景;变更记录样本增减与答案修订,保持集版本与指标基线对应,定期复核样本质量与标注一致性。

概念解释

  • 新增:新场景与错题。
  • 修订:答案口径随业务更新。
  • 归档:过时场景样本移出活跃集。

原理流程

  1. 定期审视样本覆盖与时效。
  2. 增删修订并升版本。
  3. 更新基线指标说明。

代码 / 图示

评测集 v1 → 补充错题/新场景 → v2
答案随业务规则修订; 过期样本归档

常见误区

  • 误区:评测集建好永久不变;正解:业务与模型变化使样本逐步过时,需要维护。
  • 误区:答案静默修改不记录;正解:答案修订要留痕,否则历史指标不可比。

追问

  • Q:谁负责维护? A:任务负责人补充样本,标注口径由业务确认,平台侧管理集版本。
  • Q:怎么发现样本过时? A:业务规则更新、模型行为变化与线上分布漂移时复核对应样本。

10.2.2.2-018 自动规则校验能替代人工评测吗?

一句话结论

结构、枚举、范围、引用匹配等可程序化判断的部分用自动规则覆盖;开放语义、合理性、风格与边界判断仍需人工或模型评判抽检,自动校验提效率,人工保证语义质量。

概念解释

  • 自动:可枚举、可比对、可计算的检查。
  • 人工:语义恰当、语气、模糊边界。
  • 配合:自动过滤明显错误,人工聚焦疑难样本。

原理流程

  1. 能规则化的检查进自动流水线。
  2. 疑难与开放样本抽样人工评。
  3. 人工发现的规则缺口补回自动校验。

代码 / 图示

自动: 格式/枚举/范围/引用匹配
人工: 语义恰当/边界合理/风格一致

常见误区

  • 误区:自动通过率高就不用人工看;正解:自动检查不到语义错误,需抽样兜底。
  • 误区:人工全量评开放类才可靠;正解:成本高,分层抽检加疑难复核更现实。

追问

  • Q:人工抽检比例怎么定? A:按风险等级与自动校验覆盖率调整,高风险链路比例更高。
  • Q:人工意见如何沉淀? A:分歧样本转成规则要点或新评测样本,反哺自动校验。

10.2.2.2-019 评测环境要固定哪些条件?

一句话结论

跑批固定模型版本、采样参数、提示模板版本、检索配置与评测集版本;外部数据(知识库、工具结果)尽量可复现,避免环境变量干扰导致指标不可比。

概念解释

  • 模型与参数:版本、温度、top-p 等固定。
  • 上下文配置:模板、检索 top-k、历史策略。
  • 外部依赖:工具/知识库结果可回放或锁定。

原理流程

  1. 记录每次跑批的配置组合。
  2. 外部结果可录制/回放。
  3. 对比时保持条件一致。

代码 / 图示

固定: 模型版本 + 参数 + 模板版本 + 检索配置 + 集版本
外部: 录制工具/检索结果, 保证可复现

常见误区

  • 误区:同一样本不同时间跑就能直接比;正解:模型版本、检索数据变化都会影响结果。
  • 误区:工具结果不用记录;正解:工具返回不同会改变答案,需记录版本或回放。

追问

  • Q:API 结果有随机性怎么办? A:固定采样配置,必要时多次跑批取分布,不只看单次结果。
  • Q:知识库更新影响评测吗? A:影响,回归时记录知识库版本,重大更新后重建基线。

10.2.2.2-020 评测流程清单是什么?

一句话结论

完整流程:确定任务与指标 → 构造标注样本与黄金答案 → 固定跑批环境 → 跑基线 → 迭代提示并回归对比 → 失败样本归因回流 → 报告归档与发布门禁;清单各环节有产物可核对。

概念解释

  • 前期:任务定义、样本与口径。
  • 执行:跑批、对比、归因。
  • 闭环:样本回流、报告、门禁。

原理流程

  1. 按清单准备评测资产。
  2. 每次改动走回归对比。
  3. 错题回流并更新集版本。

代码 / 图示

□ 指标与口径定义  □ 样本与黄金答案  □ 环境固定
□ 基线跑批       □ 回归对比       □ 错题归因回流
□ 报告归档       □ 发布门禁

常见误区

  • 误区:流程从跑批开始;正解:指标与标注口径不清,后续结果无法评判。
  • 误区:发布后不看线上表现;正解:线上样本回流补充评测集,闭环持续改进。

追问

  • Q:第一次建评测集从哪一步起步? A:先列核心任务与可判定指标,再收集真实样本标注黄金答案。
  • Q:评测产物存哪? A:与模板、代码同仓库或配套资产库,版本可追溯。