罗罗编程学习记录
本页内容 展开查看

09.1.2.1 并发量换算与 Little 定律

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.1 高并发基础 / 09.1.2 容量评估与性能指标

09.1.2.1-001 QPS、TPS、并发数分别指什么?

一句话结论

QPS 是每秒查询/请求数(读请求为主),TPS 是每秒事务数(一个事务可含多个请求/写操作),并发数是某一时刻正在处理中的请求或任务数量;三者分别描述速率、业务完成量与在途规模。

概念解释

  • QPS:每秒完成的请求数,接口维度常用。
  • TPS:每秒提交并完成的事务数,一条事务可能跨多个接口。
  • 并发数:系统内同时处于“已受理未完成”状态的请求数。

原理流程

到达速率 λ(QPS/TPS)
平均停留时间 W(RT)
在途并发 L = λ × W(Little 定律)

常见误区

  • 误区:QPS 和 TPS 完全等价。写链路一条事务可能对应多次读写,TPS 口径要按业务事务定义。
  • 误区:并发数等于在线用户数。在线用户大部分在浏览/等待操作,并发请求是其中正在发起调用的部分。

追问

  • 问:压测报告里该看哪个速率?答:接口能力看 QPS,下单/支付等核心链路看 TPS,并结合 RT 与错误率。
  • 问:并发数是瞬时值还是平均值?答:Little 定律给出平均在途数;峰值并发要按峰值到达率估算。

09.1.2.1-002 Little 定律的公式与适用条件是什么?

一句话结论

Little 定律:系统平均在途数量 L = 平均到达率 λ × 平均停留时间 W;适用于达到稳定状态、到达与离去速率长期平衡的排队系统,不描述瞬时峰值与冷启动阶段。

概念解释

  • L:平均在途请求/任务数。
  • λ:单位时间平均到达数(QPS)。
  • W:平均停留时长(从进入到离开)。
  • 前提:系统进入稳态,队列不无限增长;单位要一致(秒)。

原理流程

L = λ × W
例:λ = 20000/s,W = 0.05s
L = 20000 × 0.05 = 1000(平均在途请求)

常见误区

  • 误区:Little 定律可以算瞬时峰值。它给的是长期平均值;峰值要按峰值速率 × 峰值 RT 单独估算。
  • 误区:W 只算服务时间。W 包含排队等待 + 服务 + 下游等待,用纯处理时间算会低估并发。

追问

  • 问:系统未达稳态能用吗?答:冷启动、缓存预热、积压消化期不适用,需等到达与离去平衡后再用。
  • 问:单位不一致会怎样?答:RT 用毫秒、速率用秒,必须换算(ms ÷ 1000 = s)。

09.1.2.1-003 用 Little 定律推导:RT 50ms、2 万 QPS 需要多少在途并发?

一句话结论

RT 50ms = 0.05s,在途并发 L = 20000 × 0.05 = 1000;即平均同时约有 1000 个请求在系统内处理,线程/协程/连接槽位要按此规模并预留峰值余量。

概念解释

  • 计算前提:速率与时间单位统一为秒。
  • 1000 是平均值,峰值并发按高峰系数上浮。
  • 在途请求占用应用线程/协程、下游连接与内存上下文。

原理流程

λ = 20000 QPS
W = 50ms = 0.05s
L = 20000 × 0.05 = 1000
峰值并发 ≈ 1000 × 峰值系数(如 1.5~2)

常见误区

  • 误区:1000 并发就要开 1000 个线程。IO 等待型任务可用协程/事件循环复用;线程数按模型与下游连接另行评估。
  • 误区:RT 取平均值就够。长尾请求会把峰值在途数抬高,容量评估要结合 P99 RT。

追问

  • 问:若 RT 升到 500ms,并发变成多少?答:L = 20000 × 0.5 = 10000,是原来的 10 倍。
  • 问:这个并发数对应什么资源?答:应用在途槽位、下游连接、每请求内存与队列空间。

09.1.2.1-004 并发数 = QPS × RT 成立的前提是什么?

一句话结论

前提是请求以稳定速率到达、系统处于稳态、RT 代表请求在系统内的完整停留时间;异步化、排队限流、批次合并等改变了停留口径时,公式要按实际链路修正。

概念解释

  • 适用:同步请求链路,进入到返回都计入 W。
  • 异步:接口受理即返回,W 只是受理耗时,业务处理在另一条链路。
  • 排队:等待时间计入 W,不能只取服务时间。

原理流程

同步链路:W = 排队 + 处理 + 下游等待
异步链路:入口 W 仅受理耗时;处理链路另算 L' = λ' × W'

常见误区

  • 误区:所有链路都套同一个公式。异步解耦后入口并发与处理并发要分开算。
  • 误区:RT 用下游接口耗时代替端到端停留。缺少排队与应用处理时间,并发被低估。

追问

  • 问:限流拒绝的请求计入在途吗?答:被拒请求很快离开,W 极短;排队中等待的请求计入在途。
  • 问:批次合并怎么修正?答:批处理链路按批次到达率与批处理时长单独估算在途批次。

09.1.2.1-005 平均并发数与峰值并发数怎么区分?

一句话结论

平均并发用平均 QPS × 平均 RT;峰值并发用峰值 QPS × 峰值 RT(可结合高峰系数);容量与线程/连接上限必须按峰值配置,平均值只用于日常容量参考。

概念解释

  • 平均:长期稳态估算资源利用率。
  • 峰值:大促、整点、突发消息带来的瞬时高位。
  • 高峰系数:峰值 QPS / 平均 QPS,按业务历史曲线取。

原理流程

平均 L = 平均 QPS × 平均 RT
峰值 L = 峰值 QPS × P99 RT(或峰值 RT)
容量上限 ≥ 峰值 L × 冗余系数

常见误区

  • 误区:按平均并发配资源就够。突发高峰时排队与拒绝来自峰值并发,平均值掩盖不了。
  • 误区:峰值系数可以拍脑袋定。应从历史监控曲线取峰值/均值比,大促场景再按活动预估上浮。

追问

  • 问:RT 峰值比 QPS 峰值更容易出现吗?答:两者可能同时恶化(下游慢),估算峰值时要考虑 RT 长尾的叠加。
  • 问:峰值并发用 P99 RT 还是最大值?答:容量规划常用 P99 或按 SLO 目标 RT;极端最大值仅作压力验证参考。

09.1.2.1-006 RT 恶化时并发量与线程池如何连锁反应?

一句话结论

RT 上升使单请求占用槽位时间变长,同样到达率下在途并发 L = λ × W 增大,池槽位被占满,新请求排队,队列变长又进一步推高 RT,形成正反馈雪崩。

概念解释

  • 占用时长 W ↑ → L ↑ → 池耗尽。
  • 排队增加 W,W 再推高 L。
  • 触发点:池/队列达到水位线后应限流或熔断止损。

原理流程

下游变慢 → W 增大
  → L = λ × W 增大 → 池占满
    → 新请求排队 → W 进一步增大
      → 雪崩;需限流/熔断打断循环

常见误区

  • 误区:RT 升高只要加线程就能解决。若下游是瓶颈,加线程只是增加排队与上下文切换,不提升下游能力。
  • 误区:队列变长是缓冲能力强。它是恶化信号,排队等待已计入用户感知 RT。

追问

  • 问:打断正反馈的手段?答:超时快速失败、熔断隔离、入口限流、降级非核心请求。
  • 问:如何在监控上提前看到?答:在途请求、队列长度、获取池资源等待时长先于错误率上升。

09.1.2.1-007 到达率、服务率与利用率是什么关系?

一句话结论

到达率 λ 是单位时间进来的请求,服务率 μ 是单位时间能处理完的请求;利用率 ρ = λ/μ,稳定系统要求 ρ < 1;越接近 1,排队等待按排队论规律急剧拉长。

概念解释

  • μ:服务能力上限(压测得出的单机/单池吞吐)。
  • ρ:繁忙比例,0~1。
  • ρ ≥ 1:到达超过处理能力,队列无限增长。

原理流程

ρ = λ / μ
ρ < 1:可稳态运行,队列有界
ρ → 1:排队等待急剧上升
ρ ≥ 1:积压不可避免

常见误区

  • 误区:利用率 100% 是理想状态。饱和状态下排队延迟爆炸,容量规划要留余量(常见目标低于饱和点)。
  • 误区:服务率 μ 等于理论线程数。μ 来自压测实测,含下游与排队影响。

追问

  • 问:单机服务率怎么测?答:阶梯加压找吞吐拐点,拐点前稳定 QPS 作为 μ,再留容量余量。
  • 问:ρ 多少算安全?答:没有通用定值,按 SLO 与排队延迟曲线确定;CPU/依赖水位均需观察。

09.1.2.1-008 为什么利用率接近 100% 时排队延迟会急剧上升?

一句话结论

请求到达是波动的,服务能力也有抖动;利用率极高时任何瞬时到达高峰都无法被空闲能力吸收,请求只能排队,等待时间随 ρ 趋近 1 按排队论快速发散。

概念解释

  • 到达与服务都不是完全平滑的,存在随机波动。
  • 空闲能力是吸收波动的缓冲。
  • 高利用率 = 缓冲耗尽,小波动就造成排队。

原理流程

有空闲容量:突发到达被立即处理
ρ → 1:无空闲吸收波动 → 排队累积
ρ = 1:队列只增不减,等待发散

常见误区

  • 误区:资源利用率低就是浪费。适度空闲是延迟保障的代价,尤其对延迟敏感的在线服务。
  • 误区:把 CPU 打到 90%+ 仍能保持低延迟。延迟曲线在饱和拐点后通常非线性恶化。

追问

  • 问:延迟敏感系统利用率目标怎么定?答:依据压测中 RT-利用率曲线,在拐点前预留水位,而非按 CPU 最大值定。
  • 问:批处理系统可以更高利用率吗?答:可以,批处理对排队等待不敏感,吞吐优先;在线请求则要保延迟。

09.1.2.1-009 吞吐上限受哪些约束?

一句话结论

吞吐上限由最薄弱环节决定:CPU 算力、内存、网络带宽/包速率、锁竞争、下游 DB/缓存/外部接口、连接数与 fd;容量评估要逐层找瓶颈,而不是只看应用 CPU。

概念解释

  • 计算约束:CPU 核数、单请求 CPU 耗时。
  • IO 约束:网络、磁盘、下游响应。
  • 结构约束:锁、队列、连接池、fd。

原理流程

单机吞吐 = min(CPU 能力, 网络能力, 下游能力, 池/连接上限)
瓶颈环节先到达饱和,其余资源仍有空闲

常见误区

  • 误区:应用 CPU 不高就还有吞吐空间。瓶颈可能在 DB 锁等待、下游接口或连接池获取。
  • 误区:提升应用线程数能提高上限。受下游能力与资源约束限制,线程数不是吞吐决定因素。

追问

  • 问:如何确认瓶颈环节?答:压测时逐层监控 CPU、内存、网络、DB 等待、池队列,找最先饱和的一层。
  • 问:常见最先成为瓶颈的是哪一层?答:关系型数据库与下游外部接口,应用层通常不是第一瓶颈。

09.1.2.1-010 接口维度并发量与系统整体并发量怎么换算?

一句话结论

先按各接口 λ_i × W_i 算出单接口在途 L_i,再汇总 L = Σ L_i;整体并发受共同共享资源(DB 连接、线程池)约束,不能只加总接口并发而忽略共享池上限。

概念解释

  • 分接口估算:读接口、写接口 RT 与占比不同。
  • 汇总:在途请求叠加到系统池化资源上。
  • 共享池:所有接口竞争同一 DB 连接池,总占用 ≤ 池上限。

原理流程

L_i = QPS_i × RT_i
系统在途 L = Σ L_i
共享资源占用 = 各接口对该资源占用之和

常见误区

  • 误区:热门接口容量够了整体就够。冷门但慢的接口可能长期占连接池,拖垮共享资源。
  • 误区:接口并发简单相加即可。共同等待同一下游时,排队要按整体到达率评估。

追问

  • 问:接口占比怎么取?答:从生产流量日志统计各接口 QPS 占比与典型 RT。
  • 问:共享池上限怎么校验?答:Σ 各接口峰值连接占用 ≤ 池上限,并留余量。

09.1.2.1-011 读写混合场景如何分别估算?

一句话结论

读流量与写流量分开估算:读通常可缓存、RT 低、并发可复用连接;写受 DB 事务与锁约束、RT 高、容量更紧;分别估算 QPS、RT、在途与资源占用后叠加到共享约束。

概念解释

  • 读:优先缓存命中,DB 压力低。
  • 写:落库、事务、锁与持久化成本高。
  • 混合比例影响整体瓶颈位置。

原理流程

读:L_read = QPS_read × RT_read
写:L_write = QPS_write × RT_write
共享 DB 连接 = 读连接 + 写连接峰值

常见误区

  • 误区:按平均 RT 把读写混算。写 RT 长尾与锁等待被平均掩盖,写容量常先到瓶颈。
  • 误区:读扩容等于整体扩容。缓存提升读能力后,写链路瓶颈仍在。

追问

  • 问:大促时读写比例怎么影响预案?答:读可靠缓存/静态化扩展,写要靠削峰、异步化与 DB 容量规划。
  • 问:写并发估算要额外考虑什么?答:事务持锁时间、主键/索引竞争、批量提交与复制延迟。

09.1.2.1-012 定时任务和异步消费算不算在线并发量?

一句话结论

不算在线入口并发,但占用系统共享资源(线程、DB 连接、CPU);容量评估要把定时任务、异步消费的资源占用与在线请求合并计算,避免在线高峰被后台任务挤占。

概念解释

  • 在线并发:用户请求链路在途数。
  • 后台并发:定时批处理、消息消费者、补偿任务。
  • 共享约束:两者竞争同一 CPU、连接池与下游能力。

原理流程

在线 L_online + 后台 L_batch
共同占用 CPU/连接/下游
容量规划需错峰或预留后台配额

常见误区

  • 误区:后台任务不占在线资源。批处理抢占 DB 连接与 CPU,会直接拖慢在线 RT。
  • 误区:定时任务随便排在白天。应避开在线高峰,或为其限制并发与资源配额。

追问

  • 问:如何隔离后台任务资源?答:独立线程池/消费者组、限流配额、错峰执行,必要时独立部署实例。
  • 问:异步消费并发怎么估?答:消费速率 × 单条处理时长 = 在途消费协程/线程数。

09.1.2.1-013 一个请求跨多个下游,并发槽位怎么算?

一句话结论

端到端在途按入口请求算一份;每个下游调用各自占用下游连接/线程槽位,按并行还是串行决定下游并发占用:串行依次占用,并行同时占用多个下游槽位。

概念解释

  • 串行调用:单一下游占用时段依次切换。
  • 并行调用:一个入口请求同时持有多个下游连接。
  • 下游容量按并行展开后的调用并发估算。

原理流程

串行:请求依次占用 D1、D2
并行:请求同时占用 D1、D2
下游并发 = 入口并发 × 该下游并行调用数

常见误区

  • 误区:下游连接数按入口请求数 1:1 配。并行调用时单请求占多个连接,需乘并行度。
  • 误区:串行调用的下游 RT 可以忽略。各下游等待叠加进端到端 RT,影响入口并发。

追问

  • 问:并行调用如何控制下游并发?答:为每个下游设独立隔离池/信号量,限制并行展开后的连接数。
  • 问:端到端 RT 由什么构成?答:串行累加各段,并行取最慢分支再加编排开销。

09.1.2.1-014 按 8 核机器估算单机 QPS 上限的方法是什么?

一句话结论

先按 CPU 粗估:单机 CPU 可服务 QPS ≈ 核数 / 单请求 CPU 耗时(秒);再用压测实测含 IO 等待的真实吞吐,取两者下限;粗估只做初筛,容量结论必须以压测拐点为准。

概念解释

  • CPU 估算:核数 / 单请求 CPU 时间。
  • 例:单请求 CPU 10ms(0.01s),8 核粗估 8/0.01 = 800 QPS(纯 CPU 密集)。
  • IO 等待型请求可超此粗估,实际吞吐以压测为准。

原理流程

CPU 粗估 QPS ≈ 核数 / 单请求 CPU 耗时(s)
压测实测单机稳定 QPS(含下游、排队)
单机容量 = min(CPU 粗估, 压测实测, 下游/网络上限)

常见误区

  • 误区:粗估数字直接当生产容量。未含 GC、锁、下游等待与长尾,必须压测验证。
  • 误区:单请求 CPU 耗时可以猜。应从火焰图/CPU 采样实测,避免高估或低估。

追问

  • 问:IO 密集请求 CPU 粗估为什么偏保守?答:线程在等下游时 CPU 空闲,可复用给其他请求;但总能力仍受下游约束。
  • 问:8 核机器内存怎么纳入估算?答:单请求内存 × 在途并发 ≤ 可用堆/堆外,并预留 GC 与系统余量。

09.1.2.1-015 实例数推算:2 万 QPS、单机 3 千 QPS、RT 50ms 需要多少实例?

一句话结论

理论实例数 = 目标 QPS / 单机 QPS = 20000/3000 ≈ 6.67,向上取整 7 台;按冗余系数(如 1.5~2 倍)与峰值上浮,实际常配 10~14 台,最终以压测单机能力与故障冗余要求为准。

概念解释

  • 理论值:不含余量的最小数量。
  • 冗余:单台故障、峰值波动、发布滚动的兜底。
  • 单机能力 3000 QPS 必须是压测得出的稳定值,不是标称值。

原理流程

理论实例 = ceil(20000 / 3000) = 7
带冗余实例 ≈ 理论 × 冗余系数(1.5~2)
约束:单台故障后剩余实例仍能承载峰值

常见误区

  • 误区:20000/3000 = 6.67 就开 6 台。必须向上取整并留冗余,不能按小数裁机器。
  • 误区:单机 3000 QPS 能长期跑满。压测拐点留有余量,生产水位通常低于拐点。

追问

  • 问:RT 50ms 在实例推算里起什么作用?答:它决定在途并发(1000),用于校验线程/连接槽位,不直接决定实例数。
  • 问:单台故障如何校验容量?答:N-1 台承载峰值 QPS 时,单机水位仍低于饱和拐点。

09.1.2.1-016 峰值系数(午晚峰、大促)怎么取?

一句话结论

从历史监控取峰值 QPS / 平均 QPS 的比值作为日常峰值系数;大促按活动预案预估流量倍数,并参考同类活动历史峰值;系数随业务周期变化,不能长期沿用一个固定值。

概念解释

  • 日常峰:午间、晚间高峰曲线。
  • 活动峰:大促、直播、热点事件带来的突发。
  • 取值来源:监控历史、业务预估、同类活动复盘。

原理流程

日常峰值系数 = 历史峰值 QPS / 日均 QPS
大促目标 QPS = 日常峰值 × 活动倍数
容量按活动峰值 + 冗余规划

常见误区

  • 误区:用平均流量乘固定 2 倍当峰值。缺乏历史依据的倍数会导致容量虚高或不足。
  • 误区:峰值只看 QPS。活动期间写请求比例、热点集中程度也会改变瓶颈位置。

追问

  • 问:热点集中如何影响系数?答:少量 key/接口占大部分流量,单机热点不均,容量还要按热点分片评估。
  • 问:峰值系数多久复核一次?答:业务规模、用户结构变化后定期复盘,活动前单独评估。

09.1.2.1-017 排队论 M/M/1 公式的直觉是什么?对应到系统哪里?

一句话结论

M/M/1 模型中平均排队等待 Wq 与利用率 ρ 强相关:ρ 越高、到达波动越大,等待越长;直觉上“越忙越排队”,对应到线程池/连接池就是队列长度与等待时长随水位线快速上升。

概念解释

  • M/M/1:泊松到达、指数服务时间、单队列单服务台的理想模型。
  • 公式用于直觉与趋势判断,真实系统到达/服务分布更复杂。
  • 工程上用压测水位曲线替代精确排队论计算。

原理流程

ρ = λ/μ
ρ 低:等待短,波动被空闲能力吸收
ρ → 1:排队等待显著拉长

常见误区

  • 误区:把 M/M/1 公式直接套到多线程池。多服务台、一般分布下模型不同,公式只提供趋势直觉。
  • 误区:算出等待时间就当承诺 SLA。实际波动、下游抖动使长尾远大于理论均值。

追问

  • 问:多个服务台(线程池)对应什么模型?答:近似 M/M/c,多台并行使排队能力增强,但仍受总服务率约束。
  • 问:工程上替代精确计算的手段?答:阶梯压测得到 QPS-RT-水位曲线,按拐点定容量。

09.1.2.1-018 容量评估要留多少冗余?

一句话结论

冗余用于覆盖峰值波动、单台故障、发布滚动与未知增长;比例按业务 SLA 与压测拐点确定,常见做法是生产运行水位低于饱和拐点,并保证 N-1 台可承载峰值;没有通用固定倍数。

概念解释

  • 冗余来源:峰值缓冲、故障兜底、发布余量。
  • 水位目标:压测拐点下留安全余量。
  • 不同业务:核心交易冗余高,可降级任务冗余低。

原理流程

生产目标水位 < 压测饱和拐点
故障校验:N-1 台承载峰值不越拐点
发布校验:滚动期间剩余实例承接流量

常见误区

  • 误区:固定留 2 倍就万能。冗余过高浪费成本,过低保不住 SLA,必须按压测与可用性目标算。
  • 误区:冗余只多开应用实例。下游 DB、缓存、MQ 的容量同样要留冗余。

追问

  • 问:如何判断冗余是否足够?答:演练单台故障与发布滚动,观察剩余实例 RT 与错误率是否仍在 SLO 内。
  • 问:成本敏感业务怎么平衡?答:非核心链路降级、弹性伸缩覆盖突发,核心链路保留保底冗余。

09.1.2.1-019 异步化后在线并发量为什么下降?

一句话结论

异步化把耗时处理从入口线程链路剥离,入口受理后即返回,W 缩短,L = λ × W 下降;被剥离的处理在消费链路形成新的在途并发,需要按消费速率与处理时长单独估算。

概念解释

  • 入口链路:只做校验、入队,RT 短。
  • 消费链路:任务按队列速率处理,占用消费者资源。
  • 两条链路分别估算并发与容量。

原理流程

同步:入口 W 长,L 高
异步:入口 W 短,L 低;消费 L' = 消费速率 × 处理时长

常见误区

  • 误区:异步化后总并发消失。只是并发从入口转移到队列与消费者,下游总负载没有减少。
  • 误区:入口 RT 短就说明容量充足。消费积压会通过超时、通知失败反过来影响用户体验。

追问

  • 问:异步化省下来的是什么资源?答:入口线程/连接与在途槽位;消费者侧可按削峰后的匀速能力规划。
  • 问:异步容量要承诺什么?答:消费时延 SLA、队列积压上限与失败补偿,而不仅是入口 QPS。

09.1.2.1-020 换算题:RT 从 50ms 升到 500ms,并发要扩多少?

一句话结论

到达率不变时,在途并发与 RT 成正比:RT 升到 10 倍,并发槽位扩到约 10 倍;若不扩槽位,排队与拒绝随之而来;根本解法是定位并消除 RT 恶化原因,而不是线性堆资源。

概念解释

  • 比例关系:L ∝ W(λ 不变)。
  • 50ms → 500ms:L 从 1000 升到 10000(2 万 QPS 口径)。
  • 槽位、连接、内存都按新并发复核。

原理流程

L1 = λ × 0.05
L2 = λ × 0.5
L2/L1 = 0.5/0.05 = 10
槽位/连接/内存需按 10 倍复核

常见误区

  • 误区:RT 升高只加线程。下游瓶颈未消除时,加线程只是延长排队,且放大下游压力。
  • 误区:按 RT 峰值线性扩容量后长期保留。RT 恢复后应回收冗余,避免常态浪费。

追问

  • 问:RT 恶化优先查什么?答:下游依赖、GC 停顿、锁等待、连接池获取排队、网络与热点数据。
  • 问:并发扩 10 倍受什么硬约束?答:线程栈内存、fd、下游连接数与 DB 能力,往往先于应用成为限制。