10.5.1.3 评估体系与离线评测
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化
10.5.1.3-001 为什么 LLM 应用需要离线评测体系?
一句话结论
离线评测在发布前用固定数据集检验模型/提示/检索/工具链路的表现,避免线上凭感觉判断;固定数据集支持版本回归对比,发现行为退化;没有离线基线,上线后的改动无法判断是改善还是劣化。
概念解释
- 固定数据集:可重复跑的评测样本。
- 版本对比:新旧版本同集对照。
- 退化拦截:发布前发现回退。
原理流程
- 构造覆盖任务与边界的评测集。
- 每次改动跑固定评测。
- 指标对比基线,退化超阈值拦截。
代码 / 图示
改动(模型/提示/检索/工具) → 离线评测集 → 指标对比基线 → 放行/拦截
常见误区
- 误区:演示几个样例效果好就上线;正解:样例不能代表整体行为,需固定集合回归。
- 误区:评测只在出问题时跑;正解:每次发布前固定回归,才能及时发现退化。
追问
- Q:离线评测覆盖哪些环节? 答:任务完成、格式、安全边界与检索命中,分层评估。
- Q:评测集多久更新? 答:定期补充新场景并重建基线,避免长期固化。
10.5.1.3-002 离线评测集如何分层构造?
一句话结论
按任务类型、难度与风险分层:典型正例、边界与拒答、格式变体、已知错题回归组;每层样本有明确标签与合格标准;高风险场景单独成组;分层统计指标,才能定位是哪类场景出问题。
概念解释
- 类型分层:意图与动作分类。
- 难度边界:正例/边界/拒答。
- 风险分组:高风险场景独立。
原理流程
- 按任务清单列评测维度。
- 收集与标注各层样本。
- 分组统计指标并归因。
代码 / 图示
典型正例 · 格式变体 · 边界/拒答 · 已知错题 · 高风险组
常见误区
- 误区:评测集只放顺利正例;正解:边界与错题回归组才暴露真实缺陷。
- 误区:混在一起算总分;正解:分组指标能定位薄弱场景,总分会掩盖局部退化。
追问
- Q:已知错题如何进评测集? 答:修复后固化为回归样本,防止再次出现。
- Q:样本标签谁定? 答:业务规则与人工评审确认,合格标准书面化。
10.5.1.3-003 任务完成类问题常用什么指标?
一句话结论
按任务类型选择:抽取类看字段正确率/覆盖率,分类类看准确率与混淆分布,问答类看事实正确率与引用依据,操作类看动作参数正确与是否越权;指标定义必须可判定,避免「回答好不好」这类模糊评分;阈值按业务风险设定。
概念解释
- 抽取:字段命中与正确。
- 分类:类别判定准确。
- 问答:事实与依据。
- 操作:动作与参数正确。
原理流程
- 按任务定义可判定指标。
- 标注期望结果。
- 自动比对或评分。
代码 / 图示
抽取: 字段正确率/覆盖率
分类: 准确率/混淆矩阵
问答: 事实正确率/引用率
操作: 动作+参数正确率
常见误区
- 误区:用一个「综合质量分」覆盖所有任务;正解:不同任务应分别定义可判定指标。
- 误区:指标只看命中不看错误动作;正解:越权或错误动作属于高严重度错误,需单独统计。
追问
- Q:没有标准答案怎么评分? 答:制定评分 rubric 并结合人工评审,见 10.5.1.3-006。
- Q:阈值怎么定? 答:参考历史基线与业务风险,关键任务更严。
10.5.1.3-004 格式与可解析性如何评测?
一句话结论
检查输出能否被结构化解析:JSON/字段/枚举/模板约束是否满足;统计格式通过率、字段缺失率与枚举非法率;解析失败样本回查提示约束与样本训练;格式指标是工程可用性的硬门槛,不通过不能进入业务链路。
概念解释
- 解析成功:结构可被程序读取。
- 字段合法:类型/枚举/必填满足。
- 通过率:合规输出占比。
原理流程
- 定义输出 schema 与校验规则。
- 解析每条输出并记录失败原因。
- 统计格式通过率并归因修复。
代码 / 图示
输出 → 解析 → schema/枚举校验 → 通过 / 失败(原因分类)
常见误区
- 误区:格式偶尔错没关系,后端兜底;正解:兜底重试放大成本,格式通过率应作为门禁指标。
- 误区:只看能否解析;正解:字段取值合法与必填缺失也要校验。
追问
- Q:格式失败原因怎么分类? 答:结构错误、字段缺失、枚举越界、类型错误分别统计。
- Q:提升格式通过率手段? 答:schema 约束、示范样本、后置校验重试。
10.5.1.3-005 事实正确率与忠实度如何评估?
一句话结论
事实正确率判断结论是否与依据一致;忠实度(faithfulness)判断回答是否完全基于给定证据、不编造未出现信息;对照检索证据与标准答案逐条判定;涉及引用的任务检查来源是否真实支撑结论;指标不达标优先查检索与生成约束,而不是换模型了事。
概念解释
- 事实正确:结论符合事实。
- 忠实度:不超出证据范围。
- 依据对照:回答 vs 证据/标准答案。
原理流程
- 标注标准答案与可用证据。
- 逐条核对结论与依据。
- 分类错误:无依据编造/证据误用/遗漏。
代码 / 图示
回答结论 ↔ 证据/标准答案
忠实: 有据可依; 幻觉: 证据外编造
常见误区
- 误区:回答通顺就认为正确;正解:流畅不等于事实正确,必须对照依据判定。
- 误区:检索到证据就代表忠实;正解:证据在但被误用或遗漏同样是生成层问题。
追问
- Q:忠实度错误如何归因? 答:证据缺失归检索,证据到位但编造归生成。
- Q:高风险事实任务阈值? 答:按业务风险从严设定,错误结论单独复盘。
10.5.1.3-006 人工评分如何组织,评分标准怎么定?
一句话结论
先制定书面 rubric(维度、等级、判定示例),标注员按维度打分,双人复核分歧;评分维度通常含正确性、相关性、完整性、格式与安全;评分前校准样例,定期抽检一致率;人工评分用于校准自动指标与处理主观质量判断。
概念解释
- rubric:书面评分标准与样例。
- 双评复核:分歧讨论对齐。
- 校准一致率:标注质量守护。
原理流程
- 编写评分维度与等级样例。
- 标注员双评并比对一致率。
- 分歧讨论后更新标准。
代码 / 图示
维度: 正确/相关/完整/格式/安全
等级 + 判定样例 → 双评 → 分歧复核 → 一致率抽检
常见误区
- 误区:人工凭印象打分;正解:无 rubric 的评分无法复现,标注之间不可比。
- 误区:一次培训不再校准;正解:口径漂移需要定期抽检与对齐。
追问
- Q:评分分歧怎么处理? 答:讨论后定归属规则,必要时补充 rubric 样例。
- Q:人工评分覆盖范围? 答:高价值抽样与自动指标难判断的主观维度,不必全量。
10.5.1.3-007 LLM-as-judge 是什么,有哪些已知偏差?
一句话结论
LLM-as-judge 用强模型按 rubric 给候选回答打分或排序,可批量扩展评测规模;已知偏差包括:偏好冗长、偏好自身风格、位置偏差(选靠前/靠后答案)、对事实核查不严、被措辞流畅误导;需要人工抽样校准并控制对比顺序。
概念解释
- 模型评分:按 rubric 输出判断。
- 偏差来源:偏好/位置/风格/流畅。
- 校准对照:人工抽样核验。
原理流程
- 固定评分 rubric 与输出格式。
- 批量评分并记录理由。
- 人工抽样核对,校准系统偏差。
代码 / 图示
候选回答 + rubric → 裁判模型打分/排序
人工抽样: 核对裁判判断与一致率
常见误区
- 误区:裁判模型分数可直接当最终结论;正解:必须与人工样本对照,估计偏差幅度。
- 误区:固定答案顺序比较;正解:位置偏差需要交换顺序重复对比验证。
追问
- Q:如何减轻位置偏差? 答:候选顺序随机化/双向交换,取一致判断。
- Q:裁判选什么模型? 答:能力应高于被评对象,评分稳定性在抽样中验证,以官方能力说明为准。
10.5.1.3-008 如何校准自动指标与人工评分的一致性?
一句话结论
在同一批样本上同时跑自动指标/模型评分与人工评分,计算相关性与一致率,找出系统性偏差;偏差大的维度回退人工评分或修正 rubric;校准集随版本更新;自动指标只在与人工对齐可信后才用于门禁。
概念解释
- 双轨对照:自动 vs 人工。
- 一致性度量:相关/一致率。
- 可信度门槛:对齐后才放行。
原理流程
- 抽样本集双轨评分。
- 对比各维度一致程度。
- 修正指标或保留人工复核。
代码 / 图示
人工评分 ↔ 自动/模型评分 → 一致率/相关性
低一致维度 → 人工兜底 / rubric 修订
常见误区
- 误区:自动指标跑通就替代人工;正解:未校准的自动分数可能与真实质量脱钩。
- 误区:校准一次永久有效;正解:模型与任务变化后需重新对齐。
追问
- Q:一致性怎么量化? 答:按等级一致率或评分相关性统计,阈值按业务要求定。
- Q:偏差方向如何记录? 答:记录自动偏高/偏低的维度,用于解释指标差异。
10.5.1.3-009 什么是回归测试,LLM 链路如何做版本回归?
一句话结论
回归测试用固定评测集在每次发布前对照基线检查关键指标不退化;覆盖提示变更、检索语料、模型版本、工具配置等链路改动;退化超阈值拦截发布;回归集包含历史缺陷样本,防止问题复现。
概念解释
- 基线对照:新旧版本同集对比。
- 链路覆盖:提示/检索/模型/工具。
- 缺陷回归:历史错题固化。
原理流程
- 锁定评测集与基线版本。
- 改动后跑全量或分组回归。
- 指标退化超阈值则拦截。
代码 / 图示
旧版本基线指标 ← 新版本回归指标
退化: 拦截 / 修复后重跑
常见误区
- 误区:只回归生成模型;正解:提示、检索语料与工具改动同样影响结果,需纳入回归。
- 误区:回归集频繁改动;正解:对比期间评测集冻结,指标差异才可归因到版本。
追问
- Q:回归跑全量还是抽样? 答:关键组全量,大集合可分层抽样,但高风险组不省略。
- Q:指标持平多少算退化? 答:按基线波动与业务阈值设定,不凭单次小波动判断。
10.5.1.3-010 评测指标的门禁阈值如何设定?
一句话结论
阈值结合历史基线、业务风险与任务类型:高风险事实与操作类从严,格式通过率作为硬门禁;阈值记录在评测报告中;上线后若指标长期贴线,重新评估样本与标准;阈值不是一成不变,需随业务校准。
概念解释
- 风险分级:严格程度不同。
- 硬门禁:格式/安全不通过不放行。
- 阈值留痕:报告可追溯。
原理流程
- 按任务风险分级。
- 参考基线设定各指标门槛。
- 发布报告记录阈值与结果。
代码 / 图示
高风险: 事实/动作正确率门槛高
工程: 格式通过率硬门禁
常见误区
- 误区:所有任务用同一通过率;正解:风险与可判定性不同,阈值应差异化。
- 误区:阈值拍脑袋定;正解:依据历史基线、错误成本与评审结论设定。
追问
- Q:阈值长期不达标怎么办? 答:先查数据与链路能力,不盲目下调门槛放行。
- Q:阈值变更谁审批? 答:业务与技术负责人确认,并记录版本。
10.5.1.3-011 如何评测提示与模板变更的效果?
一句话结论
固定其他条件(模型、检索语料、评测集),只变更提示模板,对照基线指标;A/B 分组在同一评测集跑;观察完成率、格式通过率与边界行为;提示改动也可能影响长度与成本,需一并记录;避免同时改多个变量导致无法归因。
概念解释
- 单变量对照:只改提示。
- 同集对比:结果可归因。
- 附带指标:长度/成本变化。
原理流程
- 固定模型、语料与数据集。
- 新旧模板分别跑评测。
- 对比质量与成本指标。
代码 / 图示
基线模板 vs 新模板 → 同评测集
对比: 完成率/格式/边界行为/输出长度/成本
常见误区
- 误区:一次同时改提示和模型;正解:变量混杂后无法判断改善来自哪里。
- 误区:只看平均质量;正解:边界样本与拒答行为也要对照。
追问
- Q:模板变更如何留版本? 答:提示模板纳入版本管理,与评测结果对应记录。
- Q:提示变长是好事吗? 答:可能提升约束但增加输入成本,需平衡。
10.5.1.3-012 检索增强链路的离线评测看哪些层?
一句话结论
分层评估:检索层看 Recall@k、正确证据排名;生成层看忠实度、事实正确率与引用支撑;端到端看答案可用率;分层指标定位是检索缺证据还是生成误用;RAG 评测细节见 10.3.2.5。
概念解释
- 检索层:证据召回与排序。
- 生成层:依据使用与忠实度。
- 端到端:整体答案质量。
原理流程
- 标注正确证据与合格答案。
- 分层计算检索与生成指标。
- 错题归因到对应环节。
代码 / 图示
检索: Recall@k / MRR / NDCG
生成: 忠实度 / 事实正确 / 引用支撑
端到端: 答案可用率
常见误区
- 误区:只评最终答案;正解:不分层就不知道该改语料、检索还是提示。
- 误区:检索命中即答案正确;正解:证据到位后生成仍可能遗漏或误用。
追问
- Q:引用正确率怎么判? 答:检查引用来源是否真实支撑对应结论。
- Q:检索层差先优化什么? 答:语料切分、embedding、混合检索与 rerank。
10.5.1.3-013 操作型/工具调用任务如何离线评测?
一句话结论
评测动作选择是否正确、参数抽取是否准确、是否调用了不该调用的工具、越权与危险操作是否被拦截;对照期望工具与参数逐项判定;工具错误分类:选错工具、参数错误、多余调用、漏调用;这类任务错误动作严重度高于回答不完整。
概念解释
- 动作正确:工具选择与顺序。
- 参数准确:槽位抽取匹配。
- 安全拦截:越权/危险动作。
原理流程
- 标注期望工具、参数与约束。
- 回放工具调用轨迹比对。
- 按错误类型分组统计。
代码 / 图示
期望: 工具A(参数x)
实际: 工具选择 / 参数 / 多余调用 / 漏调用 / 越权拦截
常见误区
- 误区:只看最终回答是否合理;正解:错误工具调用可能造成真实副作用,必须核对轨迹。
- 误区:参数错误归为小瑕疵;正解:错误参数可能触发错误业务动作,严重度高。
追问
- Q:如何回放工具轨迹? 答:记录每轮工具名、参数与返回,评测时对照标注。
- Q:危险操作评测样本? 答:构造越权/删除/支付等请求,期望被拦截或转人工。
10.5.1.3-014 评测集与训练/微调数据为什么必须隔离?
一句话结论
评测样本不能进入训练、提示调优或样本构造,否则指标反映记忆而非泛化;隔离按会话/文档实体划分;评测集版本固定,定期更新轮换;混用会让上线后真实表现显著低于离线指标。
概念解释
- 训练泄露:样本被模型记忆。
- 实体隔离:同源不跨集。
- 定期轮换:防止长期背题。
原理流程
- 数据集按实体分组切分。
- 评测集锁定不参与迭代。
- 更新时重建基线。
代码 / 图示
训练集 ∩ 评测集 = 空
常见误区
- 误区:评测题顺手加入微调样本;正解:指标虚高,泛化能力无法评估。
- 误区:长期不更新评测集;正解:模型迭代后可能记住固定题目,需轮换。
追问
- Q:发现泄露怎么办? 答:剔除相关样本,重建基线并重新评估。
- Q:小数据集如何隔离? 答:至少保证会话/文档实体不跨集,留出独立评审样本。
10.5.1.3-015 离线评测如何记录结果以便追溯?
一句话结论
记录数据集版本、模型/适配器版本、提示模板版本、检索语料版本、评测时间、指标结果与失败样本;评测报告可复现运行条件;版本对应关系齐全,问题复盘才能定位是哪个改动引起;产物与报告归档留存。
概念解释
- 版本留痕:数据/模型/提示/语料。
- 结果归档:指标与失败样本。
- 可复现:运行条件完整。
原理流程
- 每次评测登记各组件版本。
- 指标与失败样本归档。
- 复盘时按版本回溯。
代码 / 图示
dataset v · model v · prompt v · corpus v · 时间 → 指标报告
常见误区
- 误区:只保存总分数字;正解:失败样本与组件版本缺失会导致无法复盘。
- 误区:语料更新不记录版本;正解:检索结果变化无法归因。
追问
- Q:报告应包含哪些内容? 答:各分组指标、阈值、失败样例与结论(放行/拦截)。
- Q:失败样本如何回流? 答:确认问题后进入回归集,修复后持续跟踪。
10.5.1.3-016 多语言或多场景评测如何组织?
一句话结论
按语言、业务场景与用户群分组建立样本组,分别统计指标;避免单一高分场景掩盖其他场景短板;评测标准在各组保持口径一致,样本规模按业务量分配;上线后按分组监控线上表现。
概念解释
- 分组样本:语言/场景/人群。
- 分组指标:分别统计。
- 口径一致:标准统一。
原理流程
- 划分场景与语言分组。
- 各组构造样本并标注。
- 分组出指标与薄弱项。
代码 / 图示
语言组 / 业务场景组 / 用户群组 → 分别指标
常见误区
- 误区:混合样本算总平均;正解:短板场景被平均掩盖,需分组暴露。
- 误区:某组样本过少也强行评分;正解:样本不足时标注为低置信结论,补足后再评估。
追问
- Q:低资源语言怎么评测? 答:优先覆盖关键任务样本,不足时人工评审补充。
- Q:场景权重如何体现? 答:按业务量与风险分配样本比例与指标权重。
10.5.1.3-017 评测中常见的指标陷阱有哪些?
一句话结论
陷阱:样本分布偏斜导致指标虚高、只看平均不看分组、用流畅度代替正确性、自动指标未校准、评测集泄露、忽略错误动作严重度;识别陷阱的方式是对照人工抽样、分组查看、检查样本来源与错误类型分布。
概念解释
- 分布偏斜:样本不代表真实。
- 替代指标:流畅≠正确。
- 严重度忽略:错误动作低估。
原理流程
- 检查样本分布与来源。
- 分组与错误类型统计。
- 人工抽样核对关键判断。
代码 / 图示
样本分布? 分组指标? 人工对照? 错误类型分布?
常见误区
- 误区:指标数字好看即合格;正解:先确认指标本身是否可信、样本是否有代表性。
- 误区:把格式错误与事实错误等同权重;正解:按错误严重度分级统计。
追问
- Q:如何保证样本代表性? 答:按线上真实分布抽样,定期核对分布变化。
- Q:指标冲突时听谁的? 答:高严重度错误优先,人工复核为准。
10.5.1.3-018 离线评测与在线评测如何衔接?
一句话结论
离线评测集固化已知场景与回归基线;在线采样收集真实新场景,标注后回流扩充离线集;离线门禁拦截发布风险,在线监控发现新问题;两边指标口径保持一致,形成「线上发现 → 标注回流 → 离线回归」的闭环。
概念解释
- 离线守门:发布前回归。
- 在线发现:真实场景新问题。
- 回流闭环:样本进入离线集。
原理流程
- 离线集覆盖已知场景。
- 在线采样标注新缺陷。
- 回流扩充离线回归集。
代码 / 图示
离线评测 → 发布 → 在线采样 → 标注 → 回流离线集
常见误区
- 误区:离线评测做完不管线上;正解:真实场景持续产生新样本,离线集需要更新。
- 误区:两边指标口径不一致;正解:同一任务定义同一指标,才能对照趋势。
追问
- Q:在线样本如何进入离线集? 答:脱敏、标注、去重后按版本纳入。
- Q:离线集多久扩充? 答:按线上缺陷回流节奏定期更新并重建基线。