10.12.4 A/B 与线上回归
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据
覆盖范围
- 线上 A/B 测试设计
- 线上监控指标
- 回归测试与质量门禁
- 用户反馈收集
- 线上问题排查
- 模型版本管理
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.12.4-001 | LLM 应用 A/B 测试怎么做? | 进阶 | ★★★★ |
| 10.12.4-002 | 线上要监控哪些指标? | 基础 | ★★★★ |
| 10.12.4-003 | 回归测试怎么做? | 基础 | ★★★ |
| 10.12.4-004 | 用户反馈怎么收集? | 基础 | ★★★ |
| 10.12.4-005 | 线上效果不好怎么排查? | 进阶 | ★★★ |
| 10.12.4-006 | 质量门禁怎么设? | 进阶 | ★★★ |
| 10.12.4-007 | 模型版本怎么管理? | 基础 | ★★★ |
| 10.12.4-008 | 灰度发布怎么做? | 基础 | ★★★ |
10.12.4-001 LLM 应用 A/B 测试怎么做?
频率 ★★★★ | 难度 进阶
一句话结论
A/B 测试:把用户随机分组,A 组用旧版(对照),B 组用新版(实验),对比关键指标;LLM 应用的难点是指标主观(用户满意度),需要结合自动指标和用户反馈。
概念解释
- 分组:按用户 ID hash 分组,同一用户始终在同一组。
- 指标:自动指标(正确率、完成率、延迟)+ 用户反馈(点赞点踩)。
- 样本量:要够大,统计显著。
- 决策:用数据决定新版是否上线。
原理流程
- 按用户 ID hash 分组。
- A 组旧版,B 组新版。
- 收集指标:自动 + 用户反馈。
- 统计分析,看新版是否更好。
- 好就全量,不好就回滚。
代码 / 示例
# 简单 A/B 分组
def get_version(user_id):
bucket = hash(user_id) % 2
return "B" if bucket == 0 else "A"
# 指标:
# - 自动: 任务完成率, 平均轮次, 错误率
# - 用户: 点赞率, 点踩率, 用户满意度
常见误区
- 误区:A/B 就是随机分配流量;正解:要按用户分组,同一用户始终在同一组,不然用户体验混乱。
- 误区:跑几天就够了;正解:样本量要够,统计显著才可信。
追问
- Q:LLM 的 A/B 难点是什么? A:指标主观(回答好不好很难自动评),要结合用户反馈和人工抽检。
- Q:怎么衡量用户满意度? A:点赞/点踩、用户主动反馈、任务完成率、复用率。
10.12.4-002 线上要监控哪些指标?
频率 ★★★★ | 难度 基础
一句话结论
监控三类指标:业务指标(任务完成率、用户满意度)、技术指标(延迟、错误率、吞吐)、成本指标(token 消耗、费用);异常波动要告警。
概念解释
- 业务指标:任务完成率、用户满意度、复用率。
- 技术指标:TTFT、TPOT、错误率、并发数。
- 成本指标:token 消耗、每请求成本。
- 告警:异常波动(突增/突降)告警。
原理流程
- 实时收集指标。
- 可视化看板展示。
- 设告警阈值,异常通知。
- 定期 review 趋势。
代码 / 示例
线上监控指标:
业务指标:
- 任务完成率
- 用户满意度 (点赞/点踩)
- 复用率 (用户是否回来)
技术指标:
- TTFT, TPOT
- 错误率
- 并发数
成本指标:
- 日 token 消耗
- 日费用
常见误区
- 误区:只看技术指标;正解:业务指标才是最终效果,技术指标只是中间。
- 误区:监控就是看仪表盘;正解:要设告警,异常自动通知,不用天天盯。
追问
- Q:怎么设告警阈值? A:按历史 P99 或均值的 2 倍,异常时告警。
- Q:监控数据存多久? A:至少存 3 个月,方便趋势分析。
10.12.4-003 回归测试怎么做?
频率 ★★★ | 难度 基础
一句话结论
回归测试:每次改动(Prompt、模型、RAG 配置)后,跑一遍评测集,确保不退化;是质量门禁的一部分,不达标不上线。
概念解释
- 回归测试:改动后跑评测集,确保效果不下降。
- 自动化:CI/CD 里自动跑,不用手动。
- 质量门禁:回归测试不通过,不允许上线。
- 快速:用自动评测,几分钟出结果。
原理流程
- 改动代码或 Prompt。
- CI 自动跑评测集。
- 对比基线分数。
- 分数下降超过阈值 → 不通过,不上线。
- 通过 → 可以上线。
代码 / 示例
回归测试流程:
1. 提交代码/Prompt 改动
2. CI 自动跑评测集 (50~100 题)
3. 对比基线分数
4. 下降 > 5% → 不通过
5. 通过 → 允许合并/上线
常见误区
- 误区:回归测试是手动的;正解:要自动化,每次改动自动跑,不然没人跑。
- 误区:回归测试要跑全量评测集;正解:跑核心 50 题就行,全量太慢。
追问
- Q:回归测试跑多久? A:50 道自动评测,几分钟到十几分钟,不能太慢。
- Q:回归测试发现退化怎么办? A:找到退化原因,修复后再跑,不修复不上线。
10.12.4-004 用户反馈怎么收集?
频率 ★★★ | 难度 基础
一句话结论
收集方式:点赞/点踩(轻量)、主动评价(1~5 星)、用户留言(详细反馈)、客服记录(问题工单);多渠道收集,定期分析。
概念解释
- 点赞/点踩:轻量,用户一键反馈。
- 星级评价:1~5 星,量化满意度。
- 用户留言:详细反馈,问题描述。
- 客服记录:用户找客服的问题工单。
原理流程
- 每条回答后有点赞/点踩按钮。
- 定期收集用户留言和客服工单。
- 分类分析:哪些问题多,哪些场景差。
- 针对性优化。
代码 / 示例
用户反馈收集:
- 点赞/点踩: 每条回答后, 轻量
- 星级评价: 1~5 星
- 用户留言: "为什么回答不对..."
- 客服记录: 用户找客服的问题工单
分析:
- 点踩率高的场景 → 重点优化
- 常见问题 → 优化 prompt 或知识库
常见误区
- 误区:用户反馈很少;正解:大部分用户不反馈,要主动引导(点赞/点踩)。
- 误区:用户反馈就是全部;正解:反馈的用户是少数,要结合自动指标。
追问
- Q:怎么提高反馈率? A:轻量反馈(一键点赞/点踩),不要让用户填长表单。
- Q:用户反馈怎么分类? A:按问题类型(回答错误、格式不对、太慢、看不懂)分类,看哪类最多。
10.12.4-005 线上效果不好怎么排查?
频率 ★★★ | 难度 进阶
一句话结论
排查步骤:看监控指标(错误率?延迟?)→ 抽 bad case 看具体问题 → 定位是 Prompt 问题、模型问题、还是 RAG 问题 → 针对性修复。
概念解释
- 先看监控:错误率、延迟、用户满意度有没有异常。
- 抽 bad case:看具体出问题的请求。
- 定位:是 Prompt 不好、模型不行、还是 RAG 没召回。
- 修复:针对性修复,再回归测试。
原理流程
- 看监控指标,发现异常。
- 抽几个 bad case,看完整请求和响应。
- 定位问题在哪一层。
- 修复,回归测试。
代码 / 示例
线上问题排查:
1. 看监控: 错误率突增? 延迟突增?
2. 抽 bad case:
- 看用户问题
- 看完整 prompt
- 看模型输出
3. 定位:
- RAG 没召回? → 优化检索
- Prompt 不好? → 优化 prompt
- 模型不行? → 换模型
- 输出格式错? → 加格式校验
常见误区
- 误区:线上问题就是模型不行;正解:80% 的问题在 Prompt 和 RAG,不是模型本身。
- 误区:看几个 case 就下结论;正解:要统计分析,看是个别 case 还是普遍问题。
追问
- Q:怎么快速定位? A:打印完整请求和响应,包括 RAG 检索结果,一眼就能看出问题在哪。
- Q:线上问题怎么应急? A:先降级(切备用模型/小模型),再慢慢排查根因。
10.12.4-006 质量门禁怎么设?
频率 ★★★ | 难度 进阶
一句话结论
质量门禁:上线前必须通过的检查——评测集分数不下降、错误率不超阈值、延迟不超阈值、人工抽检通过;不达标不上线。
概念解释
- 评测集分数:回归测试不下降。
- 错误率:< 1%。
- 延迟:P99 < 阈值。
- 人工抽检:抽 10~20 道人工看,没问题。
原理流程
- 上线前跑评测集。
- 自动检查:错误率、延迟。
- 人工抽检:抽几道看效果。
- 全部通过 → 上线。
- 不通过 → 打回修改。
代码 / 示例
质量门禁:
- 评测集分数: 不低于基线 95%
- 错误率: < 1%
- P99 延迟: < 5s
- 人工抽检: 10 道, 8 道以上合格
常见误区
- 误区:质量门禁太严影响迭代速度;正解:质量门禁是保护,不让差版本上线,长期反而提效。
- 误区:自动检查就够了;正解:人工抽检还是要,自动评测有偏差。
追问
- Q:质量门禁设多严? A:按业务要求,生产环境严,测试环境松。
- Q:质量门禁不通过怎么办? A:打回修改,不要绕过门禁上线。
10.12.4-007 模型版本怎么管理?
频率 ★★★ | 难度 基础
一句话结论
版本管理:每次改动(模型、Prompt、RAG 配置)都记录版本号,可回滚;版本和配置对应,出问题能快速回滚到上一个稳定版本。
概念解释
- 版本号:每次改动递增版本号。
- 配置记录:版本号对应的模型、Prompt、RAG 配置。
- 回滚:出问题快速切回上一个版本。
- 版本对比:看不同版本的效果差异。
原理流程
- 每次改动生成新版本号。
- 记录版本对应的配置。
- 线上跑某个版本。
- 出问题 → 切回上一个稳定版本。
代码 / 示例
版本管理:
v1.0: GPT-4o + prompt_v1 + RAG_v1
v1.1: GPT-4o + prompt_v2 + RAG_v1 (改了 prompt)
v1.2: DeepSeek + prompt_v2 + RAG_v1 (换了模型)
线上跑 v1.1, 出问题 → 切回 v1.0
常见误区
- 误区:不用版本管理,改了直接上线;正解:没有版本管理,出问题没法回滚。
- 误区:版本管理就是 git;正解:Prompt、RAG 配置也要版本管理,不只是代码。
追问
- Q:怎么管理 Prompt 版本? A:Prompt 存在配置文件或数据库,版本号对应,和代码一起管理。
- Q:怎么快速回滚? A:配置化,切版本就是改配置,不用重新部署。
10.12.4-008 灰度发布怎么做?
频率 ★★★ | 难度 基础
一句话结论
灰度发布:新版本先切小流量(5%→20%→50%→100%),观察没问题再逐步放量;出问题随时切回,降低风险。
概念解释
- 灰度:先小流量试用新版本。
- 观察:监控错误率、用户满意度。
- 逐步放量:5% → 20% → 50% → 100%。
- 回滚:有问题立刻切回。
原理流程
- 新版本先接 5% 流量。
- 观察 1~2 天,没问题。
- 放到 20%,再观察。
- 逐步放到 100%。
代码 / 示例
灰度发布流程:
5% 流量 → 新版本 → 观察 1 天
20% 流量 → 新版本 → 观察 1 天
50% 流量 → 新版本 → 观察 1 天
100% 流量 → 新版本
每步监控:
- 错误率
- 用户满意度
- 成本
常见误区
- 误区:新版本直接全量;正解:灰度降低风险,新模型可能有未发现的问题。
- 误区:灰度就是 A/B 测试;正解:灰度是逐步放量,A/B 是两组对比,目的不同。
追问
- Q:灰度出问题怎么办? A:立刻切回旧版本,回滚很快。
- Q:灰度要观察什么? A:错误率、用户满意度、成本,和旧版本对比。
待整理清单
- [ ] LLM 应用的监控体系
- [ ] 线上 bad case 分析流程
- [ ] 模型效果与业务指标的关联
- [ ] 灰度发布的自动化
- [ ] 用户反馈的 NLP 分析