罗罗编程学习记录
本页内容 展开查看

10.5.1.3 评估体系与离线评测

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化

10.5.1.3-001 为什么 LLM 应用需要离线评测体系?

一句话结论

离线评测在发布前用固定数据集检验模型/提示/检索/工具链路的表现,避免线上凭感觉判断;固定数据集支持版本回归对比,发现行为退化;没有离线基线,上线后的改动无法判断是改善还是劣化。

概念解释

  • 固定数据集:可重复跑的评测样本。
  • 版本对比:新旧版本同集对照。
  • 退化拦截:发布前发现回退。

原理流程

  1. 构造覆盖任务与边界的评测集。
  2. 每次改动跑固定评测。
  3. 指标对比基线,退化超阈值拦截。

代码 / 图示

改动(模型/提示/检索/工具) → 离线评测集 → 指标对比基线 → 放行/拦截

常见误区

  • 误区:演示几个样例效果好就上线;正解:样例不能代表整体行为,需固定集合回归。
  • 误区:评测只在出问题时跑;正解:每次发布前固定回归,才能及时发现退化。

追问

  • Q:离线评测覆盖哪些环节? 答:任务完成、格式、安全边界与检索命中,分层评估。
  • Q:评测集多久更新? 答:定期补充新场景并重建基线,避免长期固化。

10.5.1.3-002 离线评测集如何分层构造?

一句话结论

按任务类型、难度与风险分层:典型正例、边界与拒答、格式变体、已知错题回归组;每层样本有明确标签与合格标准;高风险场景单独成组;分层统计指标,才能定位是哪类场景出问题。

概念解释

  • 类型分层:意图与动作分类。
  • 难度边界:正例/边界/拒答。
  • 风险分组:高风险场景独立。

原理流程

  1. 按任务清单列评测维度。
  2. 收集与标注各层样本。
  3. 分组统计指标并归因。

代码 / 图示

典型正例 · 格式变体 · 边界/拒答 · 已知错题 · 高风险组

常见误区

  • 误区:评测集只放顺利正例;正解:边界与错题回归组才暴露真实缺陷。
  • 误区:混在一起算总分;正解:分组指标能定位薄弱场景,总分会掩盖局部退化。

追问

  • Q:已知错题如何进评测集? 答:修复后固化为回归样本,防止再次出现。
  • Q:样本标签谁定? 答:业务规则与人工评审确认,合格标准书面化。

10.5.1.3-003 任务完成类问题常用什么指标?

一句话结论

按任务类型选择:抽取类看字段正确率/覆盖率,分类类看准确率与混淆分布,问答类看事实正确率与引用依据,操作类看动作参数正确与是否越权;指标定义必须可判定,避免「回答好不好」这类模糊评分;阈值按业务风险设定。

概念解释

  • 抽取:字段命中与正确。
  • 分类:类别判定准确。
  • 问答:事实与依据。
  • 操作:动作与参数正确。

原理流程

  1. 按任务定义可判定指标。
  2. 标注期望结果。
  3. 自动比对或评分。

代码 / 图示

抽取: 字段正确率/覆盖率
分类: 准确率/混淆矩阵
问答: 事实正确率/引用率
操作: 动作+参数正确率

常见误区

  • 误区:用一个「综合质量分」覆盖所有任务;正解:不同任务应分别定义可判定指标。
  • 误区:指标只看命中不看错误动作;正解:越权或错误动作属于高严重度错误,需单独统计。

追问

  • Q:没有标准答案怎么评分? 答:制定评分 rubric 并结合人工评审,见 10.5.1.3-006。
  • Q:阈值怎么定? 答:参考历史基线与业务风险,关键任务更严。

10.5.1.3-004 格式与可解析性如何评测?

一句话结论

检查输出能否被结构化解析:JSON/字段/枚举/模板约束是否满足;统计格式通过率、字段缺失率与枚举非法率;解析失败样本回查提示约束与样本训练;格式指标是工程可用性的硬门槛,不通过不能进入业务链路。

概念解释

  • 解析成功:结构可被程序读取。
  • 字段合法:类型/枚举/必填满足。
  • 通过率:合规输出占比。

原理流程

  1. 定义输出 schema 与校验规则。
  2. 解析每条输出并记录失败原因。
  3. 统计格式通过率并归因修复。

代码 / 图示

输出 → 解析 → schema/枚举校验 → 通过 / 失败(原因分类)

常见误区

  • 误区:格式偶尔错没关系,后端兜底;正解:兜底重试放大成本,格式通过率应作为门禁指标。
  • 误区:只看能否解析;正解:字段取值合法与必填缺失也要校验。

追问

  • Q:格式失败原因怎么分类? 答:结构错误、字段缺失、枚举越界、类型错误分别统计。
  • Q:提升格式通过率手段? 答:schema 约束、示范样本、后置校验重试。

10.5.1.3-005 事实正确率与忠实度如何评估?

一句话结论

事实正确率判断结论是否与依据一致;忠实度(faithfulness)判断回答是否完全基于给定证据、不编造未出现信息;对照检索证据与标准答案逐条判定;涉及引用的任务检查来源是否真实支撑结论;指标不达标优先查检索与生成约束,而不是换模型了事。

概念解释

  • 事实正确:结论符合事实。
  • 忠实度:不超出证据范围。
  • 依据对照:回答 vs 证据/标准答案。

原理流程

  1. 标注标准答案与可用证据。
  2. 逐条核对结论与依据。
  3. 分类错误:无依据编造/证据误用/遗漏。

代码 / 图示

回答结论 ↔ 证据/标准答案
忠实: 有据可依; 幻觉: 证据外编造

常见误区

  • 误区:回答通顺就认为正确;正解:流畅不等于事实正确,必须对照依据判定。
  • 误区:检索到证据就代表忠实;正解:证据在但被误用或遗漏同样是生成层问题。

追问

  • Q:忠实度错误如何归因? 答:证据缺失归检索,证据到位但编造归生成。
  • Q:高风险事实任务阈值? 答:按业务风险从严设定,错误结论单独复盘。

10.5.1.3-006 人工评分如何组织,评分标准怎么定?

一句话结论

先制定书面 rubric(维度、等级、判定示例),标注员按维度打分,双人复核分歧;评分维度通常含正确性、相关性、完整性、格式与安全;评分前校准样例,定期抽检一致率;人工评分用于校准自动指标与处理主观质量判断。

概念解释

  • rubric:书面评分标准与样例。
  • 双评复核:分歧讨论对齐。
  • 校准一致率:标注质量守护。

原理流程

  1. 编写评分维度与等级样例。
  2. 标注员双评并比对一致率。
  3. 分歧讨论后更新标准。

代码 / 图示

维度: 正确/相关/完整/格式/安全
等级 + 判定样例 → 双评 → 分歧复核 → 一致率抽检

常见误区

  • 误区:人工凭印象打分;正解:无 rubric 的评分无法复现,标注之间不可比。
  • 误区:一次培训不再校准;正解:口径漂移需要定期抽检与对齐。

追问

  • Q:评分分歧怎么处理? 答:讨论后定归属规则,必要时补充 rubric 样例。
  • Q:人工评分覆盖范围? 答:高价值抽样与自动指标难判断的主观维度,不必全量。

10.5.1.3-007 LLM-as-judge 是什么,有哪些已知偏差?

一句话结论

LLM-as-judge 用强模型按 rubric 给候选回答打分或排序,可批量扩展评测规模;已知偏差包括:偏好冗长、偏好自身风格、位置偏差(选靠前/靠后答案)、对事实核查不严、被措辞流畅误导;需要人工抽样校准并控制对比顺序。

概念解释

  • 模型评分:按 rubric 输出判断。
  • 偏差来源:偏好/位置/风格/流畅。
  • 校准对照:人工抽样核验。

原理流程

  1. 固定评分 rubric 与输出格式。
  2. 批量评分并记录理由。
  3. 人工抽样核对,校准系统偏差。

代码 / 图示

候选回答 + rubric → 裁判模型打分/排序
人工抽样: 核对裁判判断与一致率

常见误区

  • 误区:裁判模型分数可直接当最终结论;正解:必须与人工样本对照,估计偏差幅度。
  • 误区:固定答案顺序比较;正解:位置偏差需要交换顺序重复对比验证。

追问

  • Q:如何减轻位置偏差? 答:候选顺序随机化/双向交换,取一致判断。
  • Q:裁判选什么模型? 答:能力应高于被评对象,评分稳定性在抽样中验证,以官方能力说明为准。

10.5.1.3-008 如何校准自动指标与人工评分的一致性?

一句话结论

在同一批样本上同时跑自动指标/模型评分与人工评分,计算相关性与一致率,找出系统性偏差;偏差大的维度回退人工评分或修正 rubric;校准集随版本更新;自动指标只在与人工对齐可信后才用于门禁。

概念解释

  • 双轨对照:自动 vs 人工。
  • 一致性度量:相关/一致率。
  • 可信度门槛:对齐后才放行。

原理流程

  1. 抽样本集双轨评分。
  2. 对比各维度一致程度。
  3. 修正指标或保留人工复核。

代码 / 图示

人工评分 ↔ 自动/模型评分 → 一致率/相关性
低一致维度 → 人工兜底 / rubric 修订

常见误区

  • 误区:自动指标跑通就替代人工;正解:未校准的自动分数可能与真实质量脱钩。
  • 误区:校准一次永久有效;正解:模型与任务变化后需重新对齐。

追问

  • Q:一致性怎么量化? 答:按等级一致率或评分相关性统计,阈值按业务要求定。
  • Q:偏差方向如何记录? 答:记录自动偏高/偏低的维度,用于解释指标差异。

10.5.1.3-009 什么是回归测试,LLM 链路如何做版本回归?

一句话结论

回归测试用固定评测集在每次发布前对照基线检查关键指标不退化;覆盖提示变更、检索语料、模型版本、工具配置等链路改动;退化超阈值拦截发布;回归集包含历史缺陷样本,防止问题复现。

概念解释

  • 基线对照:新旧版本同集对比。
  • 链路覆盖:提示/检索/模型/工具。
  • 缺陷回归:历史错题固化。

原理流程

  1. 锁定评测集与基线版本。
  2. 改动后跑全量或分组回归。
  3. 指标退化超阈值则拦截。

代码 / 图示

旧版本基线指标 ← 新版本回归指标
退化: 拦截 / 修复后重跑

常见误区

  • 误区:只回归生成模型;正解:提示、检索语料与工具改动同样影响结果,需纳入回归。
  • 误区:回归集频繁改动;正解:对比期间评测集冻结,指标差异才可归因到版本。

追问

  • Q:回归跑全量还是抽样? 答:关键组全量,大集合可分层抽样,但高风险组不省略。
  • Q:指标持平多少算退化? 答:按基线波动与业务阈值设定,不凭单次小波动判断。

10.5.1.3-010 评测指标的门禁阈值如何设定?

一句话结论

阈值结合历史基线、业务风险与任务类型:高风险事实与操作类从严,格式通过率作为硬门禁;阈值记录在评测报告中;上线后若指标长期贴线,重新评估样本与标准;阈值不是一成不变,需随业务校准。

概念解释

  • 风险分级:严格程度不同。
  • 硬门禁:格式/安全不通过不放行。
  • 阈值留痕:报告可追溯。

原理流程

  1. 按任务风险分级。
  2. 参考基线设定各指标门槛。
  3. 发布报告记录阈值与结果。

代码 / 图示

高风险: 事实/动作正确率门槛高
工程: 格式通过率硬门禁

常见误区

  • 误区:所有任务用同一通过率;正解:风险与可判定性不同,阈值应差异化。
  • 误区:阈值拍脑袋定;正解:依据历史基线、错误成本与评审结论设定。

追问

  • Q:阈值长期不达标怎么办? 答:先查数据与链路能力,不盲目下调门槛放行。
  • Q:阈值变更谁审批? 答:业务与技术负责人确认,并记录版本。

10.5.1.3-011 如何评测提示与模板变更的效果?

一句话结论

固定其他条件(模型、检索语料、评测集),只变更提示模板,对照基线指标;A/B 分组在同一评测集跑;观察完成率、格式通过率与边界行为;提示改动也可能影响长度与成本,需一并记录;避免同时改多个变量导致无法归因。

概念解释

  • 单变量对照:只改提示。
  • 同集对比:结果可归因。
  • 附带指标:长度/成本变化。

原理流程

  1. 固定模型、语料与数据集。
  2. 新旧模板分别跑评测。
  3. 对比质量与成本指标。

代码 / 图示

基线模板 vs 新模板 → 同评测集
对比: 完成率/格式/边界行为/输出长度/成本

常见误区

  • 误区:一次同时改提示和模型;正解:变量混杂后无法判断改善来自哪里。
  • 误区:只看平均质量;正解:边界样本与拒答行为也要对照。

追问

  • Q:模板变更如何留版本? 答:提示模板纳入版本管理,与评测结果对应记录。
  • Q:提示变长是好事吗? 答:可能提升约束但增加输入成本,需平衡。

10.5.1.3-012 检索增强链路的离线评测看哪些层?

一句话结论

分层评估:检索层看 Recall@k、正确证据排名;生成层看忠实度、事实正确率与引用支撑;端到端看答案可用率;分层指标定位是检索缺证据还是生成误用;RAG 评测细节见 10.3.2.5。

概念解释

  • 检索层:证据召回与排序。
  • 生成层:依据使用与忠实度。
  • 端到端:整体答案质量。

原理流程

  1. 标注正确证据与合格答案。
  2. 分层计算检索与生成指标。
  3. 错题归因到对应环节。

代码 / 图示

检索: Recall@k / MRR / NDCG
生成: 忠实度 / 事实正确 / 引用支撑
端到端: 答案可用率

常见误区

  • 误区:只评最终答案;正解:不分层就不知道该改语料、检索还是提示。
  • 误区:检索命中即答案正确;正解:证据到位后生成仍可能遗漏或误用。

追问

  • Q:引用正确率怎么判? 答:检查引用来源是否真实支撑对应结论。
  • Q:检索层差先优化什么? 答:语料切分、embedding、混合检索与 rerank。

10.5.1.3-013 操作型/工具调用任务如何离线评测?

一句话结论

评测动作选择是否正确、参数抽取是否准确、是否调用了不该调用的工具、越权与危险操作是否被拦截;对照期望工具与参数逐项判定;工具错误分类:选错工具、参数错误、多余调用、漏调用;这类任务错误动作严重度高于回答不完整。

概念解释

  • 动作正确:工具选择与顺序。
  • 参数准确:槽位抽取匹配。
  • 安全拦截:越权/危险动作。

原理流程

  1. 标注期望工具、参数与约束。
  2. 回放工具调用轨迹比对。
  3. 按错误类型分组统计。

代码 / 图示

期望: 工具A(参数x)
实际: 工具选择 / 参数 / 多余调用 / 漏调用 / 越权拦截

常见误区

  • 误区:只看最终回答是否合理;正解:错误工具调用可能造成真实副作用,必须核对轨迹。
  • 误区:参数错误归为小瑕疵;正解:错误参数可能触发错误业务动作,严重度高。

追问

  • Q:如何回放工具轨迹? 答:记录每轮工具名、参数与返回,评测时对照标注。
  • Q:危险操作评测样本? 答:构造越权/删除/支付等请求,期望被拦截或转人工。

10.5.1.3-014 评测集与训练/微调数据为什么必须隔离?

一句话结论

评测样本不能进入训练、提示调优或样本构造,否则指标反映记忆而非泛化;隔离按会话/文档实体划分;评测集版本固定,定期更新轮换;混用会让上线后真实表现显著低于离线指标。

概念解释

  • 训练泄露:样本被模型记忆。
  • 实体隔离:同源不跨集。
  • 定期轮换:防止长期背题。

原理流程

  1. 数据集按实体分组切分。
  2. 评测集锁定不参与迭代。
  3. 更新时重建基线。

代码 / 图示

训练集 ∩ 评测集 = 空

常见误区

  • 误区:评测题顺手加入微调样本;正解:指标虚高,泛化能力无法评估。
  • 误区:长期不更新评测集;正解:模型迭代后可能记住固定题目,需轮换。

追问

  • Q:发现泄露怎么办? 答:剔除相关样本,重建基线并重新评估。
  • Q:小数据集如何隔离? 答:至少保证会话/文档实体不跨集,留出独立评审样本。

10.5.1.3-015 离线评测如何记录结果以便追溯?

一句话结论

记录数据集版本、模型/适配器版本、提示模板版本、检索语料版本、评测时间、指标结果与失败样本;评测报告可复现运行条件;版本对应关系齐全,问题复盘才能定位是哪个改动引起;产物与报告归档留存。

概念解释

  • 版本留痕:数据/模型/提示/语料。
  • 结果归档:指标与失败样本。
  • 可复现:运行条件完整。

原理流程

  1. 每次评测登记各组件版本。
  2. 指标与失败样本归档。
  3. 复盘时按版本回溯。

代码 / 图示

dataset v · model v · prompt v · corpus v · 时间 → 指标报告

常见误区

  • 误区:只保存总分数字;正解:失败样本与组件版本缺失会导致无法复盘。
  • 误区:语料更新不记录版本;正解:检索结果变化无法归因。

追问

  • Q:报告应包含哪些内容? 答:各分组指标、阈值、失败样例与结论(放行/拦截)。
  • Q:失败样本如何回流? 答:确认问题后进入回归集,修复后持续跟踪。

10.5.1.3-016 多语言或多场景评测如何组织?

一句话结论

按语言、业务场景与用户群分组建立样本组,分别统计指标;避免单一高分场景掩盖其他场景短板;评测标准在各组保持口径一致,样本规模按业务量分配;上线后按分组监控线上表现。

概念解释

  • 分组样本:语言/场景/人群。
  • 分组指标:分别统计。
  • 口径一致:标准统一。

原理流程

  1. 划分场景与语言分组。
  2. 各组构造样本并标注。
  3. 分组出指标与薄弱项。

代码 / 图示

语言组 / 业务场景组 / 用户群组 → 分别指标

常见误区

  • 误区:混合样本算总平均;正解:短板场景被平均掩盖,需分组暴露。
  • 误区:某组样本过少也强行评分;正解:样本不足时标注为低置信结论,补足后再评估。

追问

  • Q:低资源语言怎么评测? 答:优先覆盖关键任务样本,不足时人工评审补充。
  • Q:场景权重如何体现? 答:按业务量与风险分配样本比例与指标权重。

10.5.1.3-017 评测中常见的指标陷阱有哪些?

一句话结论

陷阱:样本分布偏斜导致指标虚高、只看平均不看分组、用流畅度代替正确性、自动指标未校准、评测集泄露、忽略错误动作严重度;识别陷阱的方式是对照人工抽样、分组查看、检查样本来源与错误类型分布。

概念解释

  • 分布偏斜:样本不代表真实。
  • 替代指标:流畅≠正确。
  • 严重度忽略:错误动作低估。

原理流程

  1. 检查样本分布与来源。
  2. 分组与错误类型统计。
  3. 人工抽样核对关键判断。

代码 / 图示

样本分布? 分组指标? 人工对照? 错误类型分布?

常见误区

  • 误区:指标数字好看即合格;正解:先确认指标本身是否可信、样本是否有代表性。
  • 误区:把格式错误与事实错误等同权重;正解:按错误严重度分级统计。

追问

  • Q:如何保证样本代表性? 答:按线上真实分布抽样,定期核对分布变化。
  • Q:指标冲突时听谁的? 答:高严重度错误优先,人工复核为准。

10.5.1.3-018 离线评测与在线评测如何衔接?

一句话结论

离线评测集固化已知场景与回归基线;在线采样收集真实新场景,标注后回流扩充离线集;离线门禁拦截发布风险,在线监控发现新问题;两边指标口径保持一致,形成「线上发现 → 标注回流 → 离线回归」的闭环。

概念解释

  • 离线守门:发布前回归。
  • 在线发现:真实场景新问题。
  • 回流闭环:样本进入离线集。

原理流程

  1. 离线集覆盖已知场景。
  2. 在线采样标注新缺陷。
  3. 回流扩充离线回归集。

代码 / 图示

离线评测 → 发布 → 在线采样 → 标注 → 回流离线集

常见误区

  • 误区:离线评测做完不管线上;正解:真实场景持续产生新样本,离线集需要更新。
  • 误区:两边指标口径不一致;正解:同一任务定义同一指标,才能对照趋势。

追问

  • Q:在线样本如何进入离线集? 答:脱敏、标注、去重后按版本纳入。
  • Q:离线集多久扩充? 答:按线上缺陷回流节奏定期更新并重建基线。