09.1.2.2 性能指标分布与长尾
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.1 高并发基础 / 09.1.2 容量评估与性能指标
09.1.2.2-001 平均 RT 为什么掩盖不了长尾问题?
一句话结论
平均值由多数快请求决定,少量极慢请求被稀释;用户感知、超时雪崩与容量拐点往往藏在 P99 等尾部,只看均值会误判系统健康。
概念解释
- 均值:总和 / 请求数,对极端值不敏感。
- 长尾:少量请求耗时远高于中位水平。
- 慢请求占用在途槽位更久,对并发容量影响更大。
原理流程
99% 请求 20ms,1% 请求 2s
均值被拉到约 40ms,但 1% 用户经历 2s
长尾仍会占满槽位、触发超时
常见误区
- 误区:平均 RT 达标就没有性能问题。尾部超时与排队可能已经在发生。
- 误区:长尾请求数量少可以忽略。少量慢请求占用的时间片与连接比例不可忽视。
追问
- 问:应该看哪些分位数?答:P50 看典型体验,P90/P99 看尾部,P99.9 排查极端抖动。
- 问:长尾如何影响容量?答:慢请求 W 长,L = λ × W 中尾部把峰值在途抬高。
09.1.2.2-002 P50、P90、P99、P99.9 怎么定义?
一句话结论
把样本 RT 从小到大排序,P99 表示 99% 的请求耗时不超过该值,剩余 1% 更慢;分位数是位置口径,不是平均值的换算。
概念解释
- P50:中位数,一半请求快于该值。
- P90/P99:尾部 10%/1% 的分界。
- P99.9:尾部 0.1%,用于定位极端抖动。
原理流程
样本排序:r(1) ≤ r(2) ≤ ... ≤ r(n)
P99 ≈ 第 ceil(0.99n) 个样本值
例:1000 个样本,P99 取第 990 个附近
常见误区
- 误区:P99 = 平均值 × 1.99。分位数与均值没有固定倍数关系,必须从分布计算。
- 误区:分位数越高越好理解。P99.9 样本极少,统计稳定性差,需结合样本量看。
追问
- 问:分位数用直方图还是原始样本?答:精确分位可用样本排序;海量样本用直方图估算,存在精度损失。
- 问:P99 达标能否说明尾部分布健康?答:还要看 P99.9 与错误率,防止更尾部的极端抖动。
09.1.2.2-003 为什么线上和面试更关注 P99?
一句话结论
在线服务的超时、用户流失与级联故障主要由慢尾部触发;P99 代表绝大多数用户的最差可接受体验,也是超时配置、容量水位与告警阈值的主要依据。
概念解释
- 超时设置常以 P99 + 余量为参考。
- 尾部慢请求占用资源最久,是雪崩起点。
- 业务 SLO 通常对延迟分位数承诺,而非均值。
原理流程
P50:日常体验参考
P99:SLO 与超时配置依据
P99.9:抖动与极端故障排查
常见误区
- 误区:P99 低就等于系统稳定。错误率、饱和度与队列等待仍需单独看。
- 误区:所有接口都用同一个 P99 目标。核心链路与普通接口延迟预算不同。
追问
- 问:超时时间一般怎么配?答:以下游 P99/P99.9 为参考加余量,整条链路超时预算逐层分配。
- 问:P99 突然升高先查什么?答:下游慢调用、GC、锁等待、队列排队、热点资源与近期变更。
09.1.2.2-004 长尾延迟通常由哪些因素造成?
一句话结论
常见来源:GC 停顿、锁竞争与等待、连接/线程池排队、下游抖动、缓存未命中、上下文切换与调度排队、网络重传、定时器与后台任务干扰;多数是排队与停顿,而非纯计算慢。
概念解释
- 停顿类:GC、安全点、锁阻塞。
- 排队类:池等待、队列积压、调度队列。
- 外部类:下游慢响应、网络抖动、缓存失效。
原理流程
请求进入 → 排队等待(池/队列/调度)
→ 执行中遇 GC/锁/缓存未命中
→ 下游抖动/网络重传
→ 尾部 RT 拉长
常见误区
- 误区:长尾都是代码算法慢。多数线上长尾是等待与停顿,需分段计时定位。
- 误区:GC 只影响堆内存回收。停顿直接暂停应用线程,是常见尾部来源之一。
追问
- 问:如何区分是排队还是执行慢?答:链路分段打时间戳,对比入队等待与方法执行耗时。
- 问:缓存未命中为什么进长尾?答:未命中转 DB 访问,RT 远高于命中路径,集中失效时成片变慢。
09.1.2.2-005 分布式链路中 P99 如何被逐层放大?
一句话结论
一个入口请求串行调用多个下游,各层 P99 叠加;每层排队与抖动沿链路传递,入口 P99 大于任一单层 P99;并行调用则取最慢分支,任一下游长尾拖累整体。
概念解释
- 串行:延迟逐层累加,尾部叠加更明显。
- 并行:整体等待 = 最慢分支 + 编排开销。
- 每层超时与重试还会进一步放大尾部。
原理流程
串行:入口 RT ≈ t1 + t2 + t3,尾部累加
并行:入口 RT ≈ max(t1, t2, t3)
重试:失败重试再叠一次下游延迟
常见误区
- 误区:每层 P99 达标,入口 P99 就一定达标。串行叠加后总 P99 仍可能越线。
- 误区:并行调用总延迟等于平均分支。实际由最慢分支决定。
追问
- 问:如何控制链路尾部放大?答:逐层超时预算、减少串行依赖、并行化、隔离慢依赖、避免无界重试。
- 问:链路追踪看什么定位放大点?答:各段 span 时长分布,找出 P99 贡献最大的下游或排队段。
09.1.2.2-006 错误率的口径:按请求还是按业务结果?
一句话结论
技术错误率按 HTTP/RPC 状态(5xx、超时、拒绝)统计;业务错误率按业务结果(下单失败、支付失败)统计;两者分开看,技术失败不等于业务失败,口径不一致会误导告警与容量判断。
概念解释
- 系统错误:超时、异常、熔断拒绝、限流拒绝。
- 业务错误:参数校验、余额不足、状态冲突等正常业务拒绝。
- 统计要区分可重试错误与不可重试错误。
原理流程
总请求 = 成功 + 业务拒绝 + 系统错误
系统错误率 = 系统错误 / 总请求
业务错误率 = 业务失败 / 总请求
常见误区
- 误区:把 4xx 业务校验失败计入系统故障。它不代表系统不可用,混入会低估真实错误率。
- 误区:限流拒绝不算错误。被限流是容量保护结果,应单独统计拒绝率并关联负载。
追问
- 问:熔断打开期间的快速失败算错误吗?答:应标记为熔断拒绝,独立统计,不计入下游真实错误率。
- 问:错误率告警怎么设?答:按错误类型分阈值,系统错误与业务拒绝分别告警。
09.1.2.2-007 饱和度(utilization / saturation)怎么看?
一句话结论
利用率看资源已用比例,饱和度看排队与等待程度(队列长度、等待时长、run queue);高利用率加上高饱和度才是瓶颈信号,只看使用率可能低估压力。
概念解释
- 利用率:CPU/内存/带宽已用占比。
- 饱和度:超出能力部分的排队堆积。
- 经典监控三支柱:延迟、流量、饱和度(USE 方法)。
原理流程
利用率 80% + 队列增长/等待变长 → 饱和
利用率不高但下游连接等待高 → 下游饱和
常见误区
- 误区:CPU 利用率低就不饱和。瓶颈可能在 DB 连接池、下游接口或网络,CPU 只是空闲等待。
- 误区:内存使用率高就是饱和。还要看回收压力、swap 与堆外占用。
追问
- 问:CPU 饱和度看什么指标?答:运行队列长度、等待 CPU 的线程数、上下文切换频率。
- 问:DB 饱和度怎么体现?答:连接占用率、慢查询、锁等待、队列排队与复制延迟。
09.1.2.2-008 吞吐(throughput)与延迟(latency)如何权衡?
一句话结论
吞吐是单位时间完成量,延迟是单请求耗时;压测中存在拐点:拐点前提升并发吞吐上升、延迟稳定;越过拐点后吞吐持平或下降、延迟急剧上升;容量应选在拐点之前。
概念解释
- 吞吐随并发增加先升后平。
- 延迟在饱和后非线性恶化。
- 批处理可换吞吐但增加单批延迟。
原理流程
并发 ↑ → 吞吐 ↑,RT 平稳(拐点前)
并发越过拐点 → 吞吐不再升,RT 暴涨
常见误区
- 误区:吞吐最高点就是最佳容量点。最高点附近延迟已恶化,应留延迟余量。
- 误区:提高批大小总能提升吞吐。批次过大增加等待与失败重批成本,延迟上升。
追问
- 问:延迟敏感与吞吐敏感场景怎么选点?答:在线延迟敏感选拐点前较低水位;批处理吞吐优先,可接近饱和。
- 问:压测曲线怎么读?答:同时画 QPS、RT、错误率与资源水位,找 RT 开始陡升的并发点。
09.1.2.2-009 如何区分 RT 中的排队时间与服务时间?
一句话结论
在任务入队、开始执行、离开各打点,排队时间 = 开始执行时间 − 入队时间,服务时间 = 结束 − 开始;分段后才能判断瓶颈是积压还是处理慢。
概念解释
- 排队:等待线程/连接/下游槽位。
- 服务:实际方法执行与下游调用。
- 池化层与链路各段都应可分段。
原理流程
t_enqueue → t_start(排队 Wq = t_start − t_enqueue)
t_start → t_end(服务 Ws = t_end − t_start)
常见误区
- 误区:接口 RT 慢就是代码慢。可能大部分时间在池排队,代码执行并不慢。
- 误区:只在入口和出口打点。缺少中间分段,无法定位排队层。
追问
- 问:排队时间占比高说明什么?答:池/队列容量不足或消费变慢,优先扩隔离池或治理下游。
- 问:服务时间占比高说明什么?答:方法、SQL 或下游调用本身慢,需优化逻辑与索引。
09.1.2.2-010 GC 停顿、锁等待、连接等待对长尾各有什么贡献?
一句话结论
GC 停顿使一批线程暂停固定时长;锁等待按竞争队列排队;连接等待在池耗尽时阻塞;三者都表现为尾部尖刺,可通过停顿频率、等待队列与获取耗时分别观测。
概念解释
- GC:停顿期间全部应用线程暂停。
- 锁等待:持锁时间内竞争者排队。
- 连接等待:池满后等待归还。
原理流程
GC 周期 → 所有线程暂停 → 一批请求同时进入尾部
锁竞争 → 后到请求排队等锁
连接池满 → 获取连接阻塞到超时
常见误区
- 误区:每次 GC 都会造成用户可见停顿。停顿时长取决于 GC 类型、堆大小与存活对象,需看停顿分布。
- 误区:连接等待时间计入下游 RT。它是应用池排队,应单独统计,避免误判下游慢。
追问
- 问:如何观测 GC 停顿贡献?答:GC 日志/监控看停顿频次与时长,与 RT 尖刺时间对齐。
- 问:锁等待高怎么排查?答:线程栈找持锁者、临界区长度与锁竞争次数。
09.1.2.2-011 抖动(jitter)与尾延迟是什么关系?
一句话结论
抖动是延迟在时间上的波动幅度;尾延迟是分布上的靠后位置。抖动大的系统分布分散,P99 相对 P50 差距大;稳定系统即使均值略高,尾部也可能更可控。
概念解释
- jitter:相邻请求/时间段 RT 的变化。
- 尾延迟:分布尾部分位数。
- 抖动来源:调度、GC、后台任务、下游波动。
原理流程
稳定:P50 ≈ P99,波动小
抖动:P50 正常,P99/P99.9 明显抬高
常见误区
- 误区:平均 RT 低就没有抖动。要看分位差与时间序列波动曲线。
- 误区:偶发尖刺不用管。尖刺可能正是超时与重试风暴的触发点。
追问
- 问:怎么量化抖动?答:P99/P50 比值、RT 标准差或时间序列上的尖刺频率。
- 问:后台任务如何减少抖动?答:错峰执行、限制并发、与在线资源隔离。
09.1.2.2-012 指标采集窗口与百分位计算有哪些坑?
一句话结论
窗口过短样本不足导致分位不可靠;跨窗口聚合平均值不能还原分位数;直方图桶设置不当会损失精度;限流/熔断拒绝的请求是否计入分母要口径一致。
概念解释
- 采样:全量还是抽样,影响尾部精度。
- 聚合:P99 不能由各窗口 P99 平均得到。
- 直方图:桶边界决定估算误差。
原理流程
分位数必须在同一批样本内计算
跨窗口只能汇总原始分布或直方图
常见误区
- 误区:把各分钟 P99 再平均当作整体 P99。整体尾部可能跨分钟出现,平均会低估。
- 误区:样本很少也报 P99.9。尾部样本不足时分位数噪声极大。
追问
- 问:海量数据怎么存分位?答:用固定直方图(hdr 类)保留分布,查询时估算分位。
- 问:拒绝请求计入 RT 吗?答:口径要明确;通常快速失败不计入服务 RT,但单独统计拒绝率。
09.1.2.2-013 全链路追踪里怎么定位慢调用?
一句话结论
按 traceId 串联各 span,对比同一请求各段耗时;聚合统计各下游/接口的分位耗时与错误率,找出对入口 P99 贡献最大的 span 再深入排查。
概念解释
- span:一段调用或执行单元,含起止时间。
- 聚合:按下游、接口、实例维度统计 RT 分布。
- 排序:贡献度 = 调用量 × 平均耗时 / 尾部占比。
原理流程
单请求:看 span 瀑布图找最长段
聚合:按下游统计 P99 与错误率
定位:慢 SQL/下游实例/池等待
常见误区
- 误区:只看单条慢请求样本。要聚合看是普遍慢还是个别实例/个别请求慢。
- 误区:trace 能自动区分排队与执行。需在关键节点埋点分段,否则 span 只显示整体段。
追问
- 问:追踪采样会不会漏掉长尾?答:尾部样本可优先保留采样;关键链路提高采样率。
- 问:trace 与指标如何配合?答:指标看趋势与分布,trace 下钻具体慢请求与代码位置。
09.1.2.2-014 成功请求 RT 与失败请求要分开统计吗?
一句话结论
要分开:失败请求(超时、异常、熔断)的耗时结构与成功请求不同,混在一起会扭曲 RT 分布;失败原因与耗时应单独归类,便于区分下游故障与客户端问题。
概念解释
- 成功路径:正常返回耗时。
- 失败路径:超时等待、异常抛出、快速拒绝。
- 分类统计:超时、业务拒绝、系统异常分别成组。
原理流程
RT 分布按结果分组:成功 / 超时 / 异常 / 拒绝
常见误区
- 误区:失败请求耗时短可以忽略。超时失败往往耗满整个超时预算,是尾部大头。
- 误区:所有异常都算下游故障。要区分应用内部异常与下游返回错误。
追问
- 问:重试请求怎么记 RT?答:每次尝试单独记,整体请求时间与单次尝试时间都要可追溯。
- 问:快速失败的 RT 计入容量评估吗?答:计入入口处理耗时,但不占用完整服务链路槽位。
09.1.2.2-015 TPS 与 QPS 在写场景下有什么区别?
一句话结论
QPS 统计请求次数,一次事务可能拆成多个请求;TPS 统计提交完成的事务数,写场景下一个事务含多次读写与一次提交;评估写能力以 TPS 与提交成功率为准。
概念解释
- 请求:接口调用次数。
- 事务:一组要么全成功要么全失败的写操作。
- 写瓶颈:提交、锁、持久化、复制,而不是请求计数。
原理流程
一次下单事务:校验请求 + 扣库存 + 建订单 + 支付回调
TPS = 完成提交的事务数/s
常见误区
- 误区:写接口 QPS 高就说明写能力强。请求多但事务回滚/重试多,有效 TPS 可能很低。
- 误区:TPS 与 QPS 直接互换。口径不同,报表需注明定义。
追问
- 问:批量写怎么算 TPS?答:按提交批次或业务事务定义,明确每条消息还是每批算一个事务。
- 问:写场景监控重点?答:提交成功率、回滚率、锁等待、binlog/复制延迟与批量提交大小。
09.1.2.2-016 容量 SLO 通常怎么定?
一句话结论
SLO 对可用性(几个 9)与延迟分位数设定量化目标,如 P99 RT ≤ 阈值、月错误率低于某比例;依据业务体验与成本权衡制定,再反推容量与冗余,而不是先定资源再凑目标。
概念解释
- 可用性:成功请求 / 总请求。
- 延迟 SLO:P99/P95 RT 上限。
- 错误预算:允许偏离 SLO 的额度。
原理流程
业务体验目标 → SLO(可用性 + 延迟分位)
→ 反推单机水位、冗余与限流阈值
常见误区
- 误区:SLO 写“尽量快”。必须是可度量的数字与统计窗口。
- 误区:可用性 99.99% 适合所有业务。越高成本越大,按业务重要性分级定目标。
追问
- 问:错误预算有什么用?答:控制发布与变更风险,预算耗尽时优先稳定而非上新功能。
- 问:延迟 SLO 选哪个分位?答:核心链路常用 P99,体验敏感场景可加 P99.9 目标。
09.1.2.2-017 监控告警阈值怎么基于分位数设定?
一句话结论
告警阈值设在 SLO 目标之内留提前量,按 P99 趋势与持续时间触发,避免单样本抖动误报;同时监控错误率、饱和度与拒绝率,多指标联动判断而非单点触发。
概念解释
- 阈值:低于 SLO 红线,预留发现与处置时间。
- 持续窗口:连续 N 个窗口越限才告警。
- 联动:RT 升高 + 队列增长 + 错误率上升构成故障证据。
原理流程
P99 > 阈值 且持续 M 个窗口 → 告警
配合饱和度/错误率/拒绝率交叉确认
常见误区
- 误区:用平均值设延迟告警。均值正常时长尾已经越 SLO。
- 误区:一有尖刺立即告警。缺少持续窗口与关联指标,误报多、疲劳快。
追问
- 问:告警分级怎么分?答:影响核心链路与 SLO 的紧急告警,非核心指标预警级。
- 问:阈值多久复核?答:业务流量与版本变化后复盘,避免阈值过时失效。
09.1.2.2-018 样本不足时分位数可信吗?
一句话结论
不可信:尾部分位依赖足够样本,样本量小时 P99/P99.9 受个别请求影响剧烈;应扩大时间窗口、提高采样率或改用趋势指标,避免把噪声当结论。
概念解释
- 小样本:单条慢请求就能决定 P99。
- 低流量接口:窗口拉长或与同类接口合并统计。
- 样本量与分位深度匹配:P99.9 需要比 P99 更多样本。
原理流程
n 个样本,P99 尾部约 1% × n
样本太少 → 尾部位置跳动大
常见误区
- 误区:低流量服务也报精确 P99.9。样本不足时结论不稳健。
- 误区:抽样后尾部仍按全量口径解读。抽样会进一步稀释尾部样本。
追问
- 问:低流量接口怎么看延迟?答:结合样本数看分位,必要时用最大值、耗时分布直方图辅助。
- 问:压测样本量怎么保证?答:每个加压阶段跑够足够请求数,避免短时间样本不足。
09.1.2.2-019 客户端视角 RT 与服务端视角 RT 有什么差异?
一句话结论
客户端 RT 含网络往返、客户端排队、连接建立与代理层耗时;服务端 RT 只统计应用处理段;两者差值可定位网络、接入层与客户端排队问题,不能混为一个口径。
概念解释
- 客户端:发起到收到完整响应。
- 服务端:请求进入到响应写出。
- 差值:DNS、连接、网络、网关、客户端自身排队。
原理流程
客户端 RT = 连接建立 + 网络往返 + 接入层 + 服务端处理 + 回传
常见误区
- 误区:用户感知慢就一定是服务端慢。可能是网络、客户端线程池或接入层。
- 误区:服务端 P99 达标用户就一定满意。客户端排队与弱网仍会拉长整体体验。
追问
- 问:如何拆分两侧耗时?答:客户端打点 + 服务端入口/出口打点,对比差值定位中间层。
- 问:移动端还要考虑什么?答:弱网、串行重试、本地队列与设备性能,不能只看服务端指标。
09.1.2.2-020 一次压测报告应包含哪些指标?
一句话结论
完整报告应含:场景与流量模型、并发/到达速率、吞吐(QPS/TPS)、RT 分位与分布、错误率分类、资源水位(CPU/内存/网络/IO)、池与队列指标、下游依赖表现,以及拐点与容量结论。
概念解释
- 流量模型:读写比例、峰值持续、数据分布。
- 结果指标:吞吐、延迟分布、错误率。
- 资源与瓶颈:逐层水位、排队、下游表现。
原理流程
报告结构:场景设置 → 施压过程 → 结果指标
→ 资源监控 → 瓶颈定位 → 容量建议与待确认项
常见误区
- 误区:报告只给最高 QPS。缺少 RT 分位、错误率与资源水位,无法判断该 QPS 是否可持续。
- 误区:不记录压测环境与数据版本。环境变更后结果不可复现,结论无法对比。
追问
- 问:哪些数字必须来自本次实测?答:单机拐点 QPS、各分位 RT、资源水位,不能引用历史或他人数据。
- 问:报告要写哪些待确认项?答:与生产环境差异、未覆盖的下游场景、需要第二轮压测验证的假设。