10.6.1.4 可观测、灰度与回归
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.6 AI 全栈场景题 / 10.6.1 AI 全栈场景
10.6.1.4-001 LLM 应用的可观测体系要覆盖哪些层面?
一句话结论
三层:业务结果(完成率、正确率、用户反馈)、链路过程(检索命中、工具调用、轮次、各阶段耗时)、系统运行(错误率、延迟分布、限流、依赖健康);指标按场景/版本/模型档位分组;链路 trace 串联一次请求的全部环节,便于归因。
概念解释
- 业务层:结果质量与反馈。
- 过程层:检索/工具/轮次轨迹。
- 系统层:错误延迟与依赖。
原理流程
- 各环节埋点上报事件。
- trace 串联单次请求链路。
- 分组聚合三层指标看板。
代码 / 图示
业务: 完成率/正确率/反馈
过程: 检索命中/工具调用/轮次/阶段耗时
系统: 错误率/延迟分布/限流/依赖健康
常见误区
- 误区:只看系统错误率;正解:模型回答错误但 HTTP 200,业务层指标必须独立监控。
- 误区:指标不分组;正解:不按场景/版本拆分,无法定位退化来自哪部分。
追问
- Q:trace 记录什么? 答:请求标识、各环节输入输出摘要、版本与耗时,见 10.6.1.4-002。
- Q:告警基于哪层? 答:三层分别设阈值,业务指标异常同样触发告警。
10.6.1.4-002 一次请求的链路 trace 应当记录哪些字段?
一句话结论
记录:请求标识与时间、用户/租户分组、模型与适配器版本、提示模板版本、检索查询与命中片段、工具调用轨迹与参数摘要、各阶段耗时、输出摘要、错误与兜底标记、用量 token 数;敏感信息脱敏;trace 可回放完整决策路径;字段口径在各版本保持一致。
概念解释
- 版本留痕:模型/提示/语料。
- 轨迹回放:检索与工具路径。
- 用量归集:token 与耗时。
原理流程
- 请求入口生成 trace 标识。
- 各环节事件挂到同一 trace。
- 脱敏后存储供复盘回放。
代码 / 图示
trace_id · 分组 · 版本 · 检索片段 · 工具轨迹 · 阶段耗时
输出摘要 · 错误/兜底标记 · token 用量
常见误区
- 误区:trace 只存最终回答;正解:缺少检索与工具轨迹就无法复盘错误动作。
- 误区:trace 记录明文敏感参数;正解:脱敏后存储,访问受控。
追问
- Q:trace 保留多久? 答:按合规与业务制度确定,到期清理。
- Q:跨服务如何串联? 答:请求标识透传,各环节共用同一 trace_id。
10.6.1.4-003 在线质量采样如何组织?
一句话结论
按比例抽样线上会话,标注或模型初筛人工复核;分层抽样:高风险场景、低置信输出、失败/兜底会话、新上线版本优先采样;样本脱敏后进入评测回流;抽样比例按风险与人力调整;采样结果用于估计线上质量,不替代全量监控指标。
概念解释
- 分层抽样:风险与异常优先。
- 人工复核:质量标注。
- 回流扩充:样本进离线集。
原理流程
- 定义抽样分层与比例。
- 抽取样本并标注质量。
- 脱敏回流离线评测集。
代码 / 图示
线上会话 → 分层抽样(高风险/低置信/失败/新版本)
→ 标注复核 → 脱敏回流
常见误区
- 误区:随机抽样均匀覆盖;正解:异常与高风险样本占比低,需要定向提高抽样比例。
- 误区:线上样本直接入训练/评测;正解:先脱敏并确认授权,见 10.5.1.5-013。
追问
- Q:标注口径谁定? 答:沿用离线 rubric,保证在线离线指标可比。
- Q:样本量不足怎么办? 答:先保证高风险组样本,其余组低比例抽样。
10.6.1.4-004 什么是线上漂移,如何监控?
一句话结论
漂移指线上输入分布、问题类型或业务数据随时间偏离评测基线:新话题、新术语、语料更新、用户表达变化;监控:问题分类分布、检索命中率、拒答率、反馈差评率、低置信占比;对比基线偏离触发复盘;漂移发现的新样本回流扩充评测集。
概念解释
- 分布漂移:输入话题与表达变化。
- 偏离基线:指标对比历史分布。
- 样本回流:新场景补充覆盖。
原理流程
- 建立基线分布与指标。
- 周期对比线上分布偏离。
- 漂移样本标注回流。
代码 / 图示
问题分类分布 · 检索命中 · 拒答率 · 差评率 · 低置信占比
对比基线 → 偏离告警 → 样本回流
常见误区
- 误区:模型版本不变就不会漂移;正解:用户问题与业务语料变化同样导致表现下滑。
- 误区:只看平均指标;正解:某类新话题指标恶化可能被平均值掩盖。
追问
- Q:漂移先查什么? 答:输入分布、语料更新与检索召回,分层归因。
- Q:漂移样本怎么用? 答:标注后进入离线回归集,防止同类问题再次退化。
10.6.1.4-005 灰度发布如何设计分流与对照?
一句话结论
按用户/租户/场景分组,新版本先小比例灰度;对照组走旧版本,两组同口径采集指标;对照维度:任务完成率、正确率、延迟、成本、反馈与兜底率;灰度期保留快速回滚通道;分流标识在 trace 中记录,便于按版本对比;指标显著劣化即回滚。
概念解释
- 分组分流:比例与人群。
- 对照基线:新旧同口径。
- 回滚通道:异常快速退回。
原理流程
- 划定灰度范围与比例。
- 新旧版本并行采集对照。
- 达标放量,劣化回滚。
代码 / 图示
请求 → 分流(灰度标识) → 新版本 / 旧版本对照
指标对照 → 达标放量 / 劣化回滚
常见误区
- 误区:灰度只看新版本自己的指标;正解:必须与旧版本同口径对照,才能判断相对优劣。
- 误区:灰度比例一次拉满;正解:按范围逐步放量,每阶段观察指标稳定后再扩。
追问
- Q:分流按什么维度? 答:租户、部门或问题类型,避免高风险用户先进入灰度。
- Q:回滚多快触发? 答:高严重度指标(越权、错误动作)异常立即回滚,质量指标按阈值判断。
10.6.1.4-006 灰度期间如何处理发现的问题?
一句话结论
问题分级:阻断性(错误动作、越权、大量失败)立即回滚;质量退化定位环节后决定修复或继续观察;灰度样本单独标记并复盘;修复后重新从灰度起步;灰度期发现的新错题进入离线回归集;不在灰度期直接全量推送未验证修复。
概念解释
- 分级处置:阻断/质量/观察。
- 样本标记:灰度来源可追溯。
- 修复重灰度:不走全量。
原理流程
- 按严重度分级响应。
- 阻断问题回滚并归因。
- 修复后重新灰度验证。
代码 / 图示
阻断 → 立即回滚
质量退化 → 归因修复 / 继续观察
新错题 → 回流回归集
常见误区
- 误区:灰度发现问题先观察看看;正解:高严重度错误动作不能等比例扩大。
- 误区:修复后直接恢复原比例;正解:修复版本需重新走灰度流程。
追问
- Q:灰度问题如何复现? 答:凭 trace 标识回放会话与检索/工具轨迹。
- Q:谁有权扩大灰度? 答:按发布流程审批,指标达标后逐级放量。
10.6.1.4-007 版本回滚需要准备哪些条件?
一句话结论
回滚条件:旧版本模型/提示/检索配置可快速切回、灰度分流配置可回退、版本与配置均有版本记录、回滚不产生未完成副作用(写动作幂等可核对);回滚流程预先演练;回滚后保留新版本日志供复盘;回滚不是删除故障,需后续定位修复。
概念解释
- 配置可回退:版本与分流。
- 副作用核对:写入幂等。
- 预案演练:故障时可执行。
原理流程
- 发布前确认旧版本可切回。
- 回滚时切配置与分流。
- 核对未完成动作并复盘。
代码 / 图示
新版本异常 → 切回旧版本配置 → 分流回退 → 核对副作用 → 复盘
常见误区
- 误区:回滚只退代码不退提示与检索配置;正解:模型、模板、语料与分流配置都要回退到对应版本。
- 误区:回滚后忽略进行中的写入任务;正解:需核对已发起动作,避免重复或遗留。
追问
- Q:版本配置存什么? 答:模型版本、适配器、提示模板、检索语料版本与分流规则。
- Q:回滚演练多久一次? 答:发布流程中定期演练,确认切换时长满足要求。
10.6.1.4-008 在线指标与离线评测指标如何对齐口径?
一句话结论
同一任务定义同一指标:完成率、正确率、格式通过率等口径在离线与线上一致;在线采样标注沿用离线 rubric;版本变更后先跑离线回归再上灰度;在线发现的新错题回流离线集;两套指标趋势可对照,口径不一致时以离线定义为准修正线上统计。
概念解释
- 口径统一:同名指标同定义。
- rubric 复用:标注标准一致。
- 闭环回流:线上错题进离线。
原理流程
- 统一指标定义与评分标准。
- 离线门禁与线上监控对照。
- 样本回流保持覆盖更新。
代码 / 图示
离线评测集 ← 线上采样错题回流
指标口径: 完成率/正确率/格式通过率 一致
常见误区
- 误区:线上指标随意统计、与离线各说各话;正解:口径不一致就无法判断离线门禁是否有效。
- 误区:离线集不随线上更新;正解:新场景不回流,离线覆盖会逐渐落后。
追问
- Q:在线正确率怎么获得? 答:采样标注或规则可判定部分,其余用代理指标辅助。
- Q:指标冲突时? 答:高严重度错误优先,人工复核为准。
10.6.1.4-009 用户反馈如何接入迭代闭环?
一句话结论
反馈通道:点赞点踩、差评标签、文本反馈、工单关联;反馈关联 trace 与会话上下文;差评样本优先抽样标注;归因分类后回流到对应环节(检索/生成/工具/体验);迭代结果通过离线回归与灰度验证;反馈统计按场景与版本分组。
概念解释
- 反馈关联:trace 可回溯。
- 归因分类:问题环节。
- 闭环验证:回归加灰度。
原理流程
- 反馈事件挂接会话标识。
- 差评抽样标注归因。
- 修复后回归并灰度验证。
代码 / 图示
反馈(赞/踩/标签/工单) → 关联 trace → 标注归因 → 回流环节 → 回归/灰度
常见误区
- 误区:只收集反馈不分析归因;正解:没有环节分类,反馈无法转化为改进动作。
- 误区:反馈样本直接改提示;正解:先归因并用离线集验证修复效果。
追问
- Q:反馈偏差怎么识别? 答:恶意或误点反馈结合会话结果交叉判断,不单独作为质量结论。
- Q:反馈率低怎么办? 答:结合采样标注补充估计整体水平。
10.6.1.4-010 如何建立发布前的回归门禁?
一句话结论
门禁:固定离线评测集跑任务指标、格式通过率、安全用例与边界样本;指标对照基线,退化超阈值拦截;覆盖提示、模型、检索语料、工具配置变更;门禁结果与版本记录归档;高风险任务指标从严;门禁不通过不进入灰度。
概念解释
- 固定回归集:可重复对照。
- 退化拦截:阈值基线对比。
- 版本归档:结果可追溯。
原理流程
- 变更后跑固定回归集。
- 分组指标对照基线。
- 达标放行,退化拦截。
代码 / 图示
变更(模型/提示/语料/工具) → 离线回归 → 指标对照基线
达标 → 灰度; 退化 → 拦截修复
常见误区
- 误区:门禁只测生成模型;正解:提示、语料与工具配置变更同样纳入回归。
- 误区:门禁阈值长期不校准;正解:基线随版本更新,阈值按业务风险设定。
追问
- Q:门禁跑全量还是抽样? 答:高风险组全量,大集合可分层抽样,关键组不省略。
- Q:门禁失败如何定位? 答:查看失败样本分组,归因到具体环节修复。
10.6.1.4-011 告警阈值与分级如何设定?
一句话结论
分级:阻断级(错误动作、越权、大面积失败)立即告警;质量级(正确率/拒答/差评偏离基线)周期告警;成本级(token 与延迟异常)趋势告警;阈值基于历史基线与压测水位,避免误报疲劳;告警附 trace 链接与初步归因;告警事件闭环跟踪到处置结果。
概念解释
- 级别划分:阻断/质量/成本。
- 基线阈值:历史分布对比。
- 闭环跟踪:处置结果留痕。
原理流程
- 指标分类设定告警级别。
- 阈值对照基线与水位。
- 告警处理并记录闭环。
代码 / 图示
阻断: 错误动作/越权/大面积失败 → 立即
质量: 正确率/拒答/差评偏离 → 周期
成本: token/延迟异常 → 趋势
常见误区
- 误区:所有指标同级别告警;正解:阻断级需要立即响应,趋势异常可周期观察。
- 误区:告警不带上下文;正解:附 trace 与基线对照,缩短排查时间。
追问
- Q:误报多怎么办? 答:回看基线分布校准阈值,区分抖动与真实异常。
- Q:告警谁处理? 答:按值班与职责分级响应,处置记录归档。
10.6.1.4-012 依赖组件(检索库/工具/外部模型)故障如何观测?
一句话结论
监控各依赖健康:可用性、响应耗时、错误码分布、限流状态;依赖超时触发链路兜底;故障事件关联 trace 归因;多依赖分别统计,避免把下游故障记到模型头上;降级与切换动作纳入监控;依赖供应商变更前评估故障切换预案。
概念解释
- 依赖健康:可用性与耗时。
- 错误归因:下游 vs 模型。
- 降级观测:兜底动作记录。
原理流程
- 各依赖独立埋点。
- 超时错误触发兜底。
- 故障归因到依赖组件。
代码 / 图示
向量库 / 工具接口 / 外部模型 → 可用性 · 耗时 · 错误码 · 限流
故障 → 兜底切换 + trace 归因
常见误区
- 误区:链路报错都归结为模型问题;正解:检索库或工具接口故障需要独立定位。
- 误区:依赖故障不记录降级;正解:兜底触发次数也是容量与可靠性指标。
追问
- Q:依赖超时预算? 答:计入整体延迟预算,见 10.6.1.2-012。
- Q:多供应商切换? 答:健康检查与切换预案预先准备,见 10.5.1.5-016。
10.6.1.4-013 如何评估一次版本迭代的真实收益?
一句话结论
对照迭代目标:质量指标(正确率/完成率/引用正确)、体验指标(延迟/中断/反馈)、成本指标(token/缓存命中/单请求成本);灰度对照旧版本差异;同时关注是否引入新退化;收益评估基于同口径数据,不凭演示样例;结论与数据归档供后续参考。
概念解释
- 多目标对照:质量/体验/成本。
- 新旧差异:灰度对照。
- 退化检查:新问题引入。
原理流程
- 明确迭代目标指标。
- 灰度对照采集差异。
- 评估收益与副作用归档。
代码 / 图示
质量(正确率/完成率) · 体验(延迟/反馈) · 成本(token/命中)
新旧对照 + 新增退化检查
常见误区
- 误区:只看改善的指标;正解:成本上升或新错误动作可能抵消质量收益。
- 误区:用个别好评样例证明收益;正解:需同口径分组数据支撑结论。
追问
- Q:收益不明显怎么办? 答:回查目标与基线,确认是否样本分布变化导致。
- Q:迭代结论记录什么? 答:版本、对照数据、结论与遗留问题。
10.6.1.4-014 日志与 trace 中的隐私信息如何处理?
一句话结论
采集前识别 PII 并脱敏,日志只存必要摘要;trace 中的参数与输出按分级脱敏;访问权限受控并审计;评测回流样本再次脱敏与授权确认;留存期限按制度到期清理;排障需要原始信息时走授权通道,不长期明文留存。
概念解释
- 分级脱敏:按敏感等级处理。
- 最小留存:只存必要摘要。
- 授权访问:排障按需获取。
原理流程
- 采集环节识别敏感信息。
- 脱敏后写入日志 trace。
- 受控访问与到期清理。
代码 / 图示
原始输入 → PII 识别 → 脱敏摘要 → 日志/trace
访问: 授权 + 审计; 到期清理
常见误区
- 误区:排障方便先存全量原文;正解:超期明文留存增加泄露与合规风险。
- 误区:trace 脱敏一次即可;正解:回流评测集前需要二次检查。
追问
- Q:哪些字段算敏感? 答:按业务 PII 清单与密钥形态识别,见 10.5.1.5-010。
- Q:授权访问留什么痕? 答:谁在何时查看了哪条 trace,记录归档。
10.6.1.4-015 可观测看板应当如何组织?
一句话结论
分层看板:总览(请求量、成功率、延迟、成本、反馈)、场景分组明细、链路过程(检索/工具/轮次)、错误与告警队列;看板支持按版本、租户、场景下钻;关键指标附基线对照;异常可从总览下钻到 trace;看板口径与离线评测定义一致。
概念解释
- 分层下钻:总览到明细。
- 多维度:版本/租户/场景。
- 基线对照:偏离可视化。
原理流程
- 汇总总览指标。
- 分组明细与链路过程。
- 异常下钻到单条 trace。
代码 / 图示
总览: 量/成功率/延迟/成本/反馈
明细: 场景分组 · 检索工具过程 · 错误告警队列
下钻: trace 回放
常见误区
- 误区:看板堆满原始埋点;正解:按决策需要组织分层视图,先看总览再下钻。
- 误区:看板不区分版本;正解:版本混在一起无法对照灰度差异。
追问
- Q:总览放哪些核心数? 答:请求量、成功率、P95 延迟、单请求成本与反馈率。
- Q:错误队列怎么用? 答:按错误类型分组,关联 trace 进入复盘与回流。
10.6.1.4-016 上线后多久复盘一次,复盘看什么?
一句话结论
节奏:灰度期每日观察,稳定后周期复盘;复盘内容:指标趋势与漂移、差评与失败样本、成本与缓存命中、安全拦截与越权样本、依赖故障记录;复盘结论转化为改进项并跟踪关闭;新场景与错题回流评测集;复盘记录可追溯到版本与时段。
概念解释
- 周期趋势:指标与分布。
- 样本复盘:失败与差评归因。
- 改进跟踪:结论到动作。
原理流程
- 周期拉取指标与样本。
- 归因分类形成结论。
- 改进项跟踪并回流样本。
代码 / 图示
指标趋势 · 差评失败 · 成本命中 · 安全样本 · 依赖故障
→ 归因结论 → 改进项跟踪 → 样本回流
常见误区
- 误区:复盘只看是否有故障;正解:质量退化与漂移在无故障时也会发生,需要周期检查。
- 误区:复盘结论不跟踪;正解:改进项无责任人与期限会持续遗留。
追问
- Q:复盘样本从哪来? 答:在线采样、告警队列与反馈差评关联 trace。
- Q:复盘结论如何落地? 答:对应到检索/提示/工具/体验环节的具体修复任务。
10.6.1.4-017 离线、在线与反馈三方数据如何形成闭环?
一句话结论
离线集覆盖已知场景并守门发布;在线采样发现真实新场景与缺陷;反馈提供用户视角的质量信号;三方样本经脱敏标注后回流离线集;指标口径统一;闭环持续扩大离线覆盖,减少上线后才暴露的问题;各环节版本与时间对应可追溯。
概念解释
- 三方来源:离线/在线/反馈。
- 统一口径:指标与标注。
- 回流迭代:覆盖持续扩充。
原理流程
- 离线门禁拦截已知问题。
- 在线与反馈发现新问题。
- 脱敏标注回流离线集。
代码 / 图示
离线回归集 ⇄ 在线采样 + 用户反馈
标注脱敏 → 回流扩充 → 下轮门禁覆盖
常见误区
- 误区:三方各自统计互相对不上;正解:口径与样本流转规则必须统一。
- 误区:回流样本不分类;正解:按场景与错误类型归入对应评测分组。
追问
- Q:回流样本何时进入门禁? 答:标注确认并纳入基线后,下轮回归生效。
- Q:样本版本怎么管? 答:数据集版本与模型/提示版本对应归档。
10.6.1.4-018 可观测、灰度与回归落地清单是什么?
一句话结论
清单:三层指标体系与 trace 字段规范、在线分层采样与标注、漂移监控与基线对照、灰度分流与新旧对照、快速回滚预案与演练、在线离线指标口径对齐、反馈关联归因回流、发布前回归门禁与阈值、分级告警与闭环跟踪、依赖故障观测与兜底、版本收益评估、隐私脱敏与审计、分层看板与周期复盘、三方数据闭环回流。
概念解释
- 观测:指标/trace/采样。
- 发布:灰度/门禁/回滚。
- 闭环:反馈/漂移/回流。
原理流程
- 建设观测与埋点体系。
- 灰度门禁控制发布风险。
- 周期复盘与样本回流迭代。
代码 / 图示
□ 三层指标 □ trace规范 □ 采样标注 □ 漂移监控
□ 灰度对照 □ 回滚预案 □ 口径对齐 □ 反馈回流
□ 回归门禁 □ 分级告警 □ 依赖观测 □ 收益评估
□ 隐私脱敏 □ 看板复盘 □ 三方闭环
常见误区
- 误区:可观测就是接个日志平台;正解:业务指标、链路轨迹与灰度对照才是 LLM 应用的核心。
- 误区:回归只在出问题后补跑;正解:门禁前置才能拦截发布退化。
追问
- Q:评测体系细节? 答:见 10.5.1.3 评估体系与离线评测。
- Q:安全审计细节? 答:见 10.5.1.5 安全、合规与内容风控。