10.11.2 流式、超时、重试与并发控制
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程
覆盖范围
- 流式输出(SSE)的工程实现
- 超时设置与处理
- 重试策略与指数退避
- 并发控制与限流
- 错误分类与处理
- 连接池与资源管理
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.11.2-001 | 流式输出怎么实现? | 进阶 | ★★★★ |
| 10.11.2-002 | 超时怎么设置? | 基础 | ★★★★ |
| 10.11.2-003 | 重试策略怎么设计? | 进阶 | ★★★★ |
| 10.11.2-004 | 并发控制怎么做? | 进阶 | ★★★ |
| 10.11.2-005 | 错误怎么分类处理? | 基础 | ★★★ |
| 10.11.2-006 | 流式输出中途断了怎么办? | 进阶 | ★★★ |
| 10.11.2-007 | 限流怎么设计? | 进阶 | ★★★ |
| 10.11.2-008 | 连接池怎么管理? | 基础 | ★★★ |
10.11.2-001 流式输出怎么实现?
频率 ★★★★ | 难度 进阶
一句话结论
流式输出用 SSE(Server-Sent Events):服务端逐 token 推送,客户端边收边显示;工程上要处理连接保持、断连重连、背压(客户端处理慢)。
概念解释
- SSE:HTTP 长连接,服务端单向推送。
- 逐 token:每生成一个 token 就推一次。
- 客户端:边收边显示,体验好。
- 断连:客户端关闭或网络断开,要清理资源。
原理流程
- 客户端请求时带
stream: true。 - 服务端用 SSE 格式逐 token 推送。
- 客户端逐块解析,追加显示。
- 结束时推送 done 事件。
- 客户端断开时,服务端检测并取消生成。
代码 / 示例
# OpenAI 流式调用
stream = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "你好"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
常见误区
- 误区:流式就是逐字打印;正解:流式是传输协议层面的,要处理 SSE 格式、断连、错误。
- 误区:流式输出就没有延迟;正解:首 token 延迟仍然存在,只是后续 token 边生成边推。
追问
- Q:SSE 和 WebSocket 区别? A:SSE 是单向(服务端推),WebSocket 双向;LLM 流式用 SSE 就够了。
- Q:怎么检测客户端断连? A:服务端推送时捕获异常(BrokenPipe),取消生成任务。
10.11.2-002 超时怎么设置?
频率 ★★★★ | 难度 基础
一句话结论
超时分层:连接超时(建连时间,5~10s)、首 token 超时(TTFT,10~30s)、整体超时(max_tokens × TPOT + 余量);流式输出首 token 超时比整体超时更重要。
概念解释
- 连接超时:建立 TCP/HTTP 连接的时间,5~10s。
- 首 token 超时:从发请求到第一个 token 返回,10~30s。
- 整体超时:整个请求完成的时间,按 max_tokens 估算。
- 流式:首 token 超时重要,后续 token 之间有间隔正常。
原理流程
- 建连超时:5~10s,连不上就重试。
- 首 token 超时:10~30s,超时就重试或降级。
- 流式输出:两个 token 之间超过 30s 没数据,判断断连。
- 整体超时:max_tokens × 0.1s + 余量。
代码 / 示例
# 超时设置示例
timeout = {
"connect": 10, # 建连 10s
"first_token": 30, # 首 token 30s
"overall": 120 # 整体 120s (2000 token × 0.05s + 余量)
}
常见误区
- 误区:只设一个整体超时;正解:流式输出要分层超时,首 token 超时和整体超时不同。
- 误区:超时越长越好;正解:超时太长用户体验差,超时太短容易误判,按实际调。
追问
- Q:怎么估算合理超时? A:压测得出 P99 TTFT 和 P99 TPOT,按 P99 × 2 设超时。
- Q:超时后怎么办? A:重试一次,还超时就降级或报错。
10.11.2-003 重试策略怎么设计?
频率 ★★★★ | 难度 进阶
一句话结论
重试策略:只对可重试错误(超时、5xx、限流)重试,不对不可重试错误(4xx、参数错误)重试;指数退避(1s → 2s → 4s),最多 2~3 次;加抖动避免雪崩。
概念解释
- 可重试错误:超时、500、502、503、429 限流。
- 不可重试错误:400、401、403、404,参数或权限问题。
- 指数退避:等待时间指数增长,1s → 2s → 4s。
- 抖动:随机加一点,避免所有请求同时重试。
原理流程
- 请求失败,判断错误类型。
- 可重试错误 → 指数退避等待。
- 重试最多 2~3 次。
- 还失败 → 降级或报错。
代码 / 示例
import time, random
def call_with_retry(func, max_retries=3):
for i in range(max_retries):
try:
return func()
except (TimeoutError, RateLimitError) as e:
if i == max_retries - 1:
raise
# 指数退避 + 抖动
wait = (2 ** i) + random.uniform(0, 1)
time.sleep(wait)
except BadRequestError:
# 不可重试, 直接抛
raise
常见误区
- 误区:所有错误都重试;正解:4xx 错误重试也没用,浪费时间和钱。
- 误区:重试次数越多越好;正解:重试太多浪费资源,2~3 次够了,还失败就降级。
追问
- Q:限流(429)怎么处理? A:429 是可重试,但要按 Retry-After 头等待,不要自己瞎等。
- Q:流式输出中途断了能重试吗? A:能,但要从头开始,不能续传,要记录已生成的 token 避免重复。
10.11.2-004 并发控制怎么做?
频率 ★★★ | 难度 进阶
一句话结论
并发控制:限制同时发的请求数,避免触发供应商限流或自己服务过载;用信号量(semaphore)控制并发数,超过就排队等待。
概念解释
- 信号量:限制同时进行的请求数。
- 排队:超过并发数的请求排队等待。
- 供应商限流:API 有 RPM(每分钟请求数)限制。
- 自己服务过载:并发太高自己服务也扛不住。
原理流程
- 设最大并发数(按供应商限流和自己服务能力)。
- 请求进来,先获取信号量。
- 获取不到就排队。
- 请求完成,释放信号量。
代码 / 示例
import asyncio
semaphore = asyncio.Semaphore(10) # 最大并发 10
async def call_llm(prompt):
async with semaphore:
# 最多 10 个请求同时进行
return await client.chat.completions.create(...)
常见误区
- 误区:并发越高越好;正解:并发太高触发限流或服务过载,反而更慢。
- 误区:不用管并发;正解:批量任务时并发控制很重要,不然一上来发 100 个请求直接被限流。
追问
- Q:最大并发数设多少? A:看供应商 RPM 限制和自己服务能力,压测得出最优值。
- Q:动态调整并发? A:可以根据限流情况动态调整,被限流了就降并发。
10.11.2-005 错误怎么分类处理?
频率 ★★★ | 难度 基础
一句话结论
错误分三类:客户端错误(4xx,参数/权限,不可重试)、服务端错误(5xx,临时故障,可重试)、限流错误(429,可重试但要等);不同错误不同处理策略。
概念解释
- 客户端错误:400 参数错误、401 未授权、403 禁止、404 模型不存在,不可重试。
- 服务端错误:500 内部错误、502 网关错误、503 服务不可用,可重试。
- 限流错误:429 请求过多,可重试但要按 Retry-After 等待。
原理流程
- 捕获错误,看状态码。
- 4xx:不可重试,直接报错给用户。
- 5xx:可重试,指数退避。
- 429:按 Retry-After 等待后重试。
代码 / 示例
错误分类:
400 Bad Request: 参数错误, 不可重试
401 Unauthorized: API key 错, 不可重试
403 Forbidden: 权限不足, 不可重试
404 Not Found: 模型不存在, 不可重试
429 Rate Limit: 限流, 可重试 (按 Retry-After)
500 Internal Error: 服务端错误, 可重试
502 Bad Gateway: 网关错误, 可重试
503 Service Unavailable: 服务不可用, 可重试
常见误区
- 误区:所有错误都重试;正解:4xx 重试也没用,浪费时间。
- 误区:错误处理就是 try-catch;正解:要分类处理,不同错误不同策略。
追问
- Q:怎么记录错误? A:记录错误类型、状态码、请求参数、响应内容,方便排查。
- Q:怎么监控错误率? A:按错误类型统计错误率,告警异常波动。
10.11.2-006 流式输出中途断了怎么办?
频率 ★★★ | 难度 进阶
一句话结论
流式断连:检测到连接断开,清理资源,记录已生成内容;如果是客户端断开,服务端取消生成;如果是服务端问题,重试时从头开始。
概念解释
- 客户端断开:用户关闭页面,服务端检测到 BrokenPipe,取消生成任务。
- 服务端断连:生成中途出错,记录已生成内容,报错给客户端。
- 重试:从头开始,不能续传。
- 清理:取消生成任务,释放资源。
原理流程
- 流式生成中,检测异常。
- 客户端断开:取消生成,释放资源。
- 服务端错误:记录已生成 token,报错。
- 重试:从头开始,不续传。
代码 / 示例
# 流式输出错误处理
try:
stream = client.chat.completions.create(..., stream=True)
for chunk in stream:
if chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
except BrokenPipeError:
# 客户端断开, 取消生成
cancel_generation()
except Exception as e:
# 服务端错误, 记录已生成内容
log_error(e, partial_content=buffer)
yield "\n\n[生成中断, 请重试]"
常见误区
- 误区:流式断了能续传;正解:API 通常不支持续传,重试只能从头开始。
- 误区:客户端断开服务端不用管;正解:客户端断开要及时取消生成,浪费 token 和钱。
追问
- Q:怎么取消生成? A:关闭 HTTP 连接,供应商检测到连接关闭就停止生成。
- Q:已生成的内容怎么保存? A:流式输出时边收边存,断了就保存到目前为止的内容。
10.11.2-007 限流怎么设计?
频率 ★★★ | 难度 进阶
一句话结论
限流分两层:供应商限流(API RPM/TPM 限制)和自己服务限流(保护自己服务);两层都要做,避免触发供应商限流或自己服务过载。
概念解释
- 供应商限流:API 有 RPM(每分钟请求数)和 TPM(每分钟 token 数)限制。
- 自己服务限流:保护自己服务不被打垮。
- 两层限流:先过自己的限流,再发请求,不超供应商限制。
原理流程
- 自己服务限流:按用户/按接口限流。
- 请求转发到供应商前,检查供应商 RPM 限制。
- 超过供应商限制就排队等待。
- 被供应商限流(429)时,退避重试。
代码 / 示例
限流两层:
第一层: 自己服务限流
- 按用户: 每用户每分钟 10 个请求
- 按接口: 总 QPS 限制
第二层: 供应商限流
- RPM: 每分钟请求数上限
- TPM: 每分钟 token 数上限
- 超过就排队, 不硬打
常见误区
- 误区:只要供应商不限流就行;正解:自己服务也要限流,不然用户把自己服务打垮了。
- 误区:限流就是拒绝请求;正解:限流要有排队和降级,不要直接拒绝。
追问
- Q:怎么知道供应商 RPM 限制? A:看 API 文档,或从 429 错误响应里看。
- Q:限流被触发怎么办? A:排队等待,按 Retry-After 重试,或降级到更小模型。
10.11.2-008 连接池怎么管理?
频率 ★★★ | 难度 基础
一句话结论
HTTP 连接复用:用连接池(keep-alive)复用 TCP 连接,减少建连开销;Python 用 httpx 的连接池,配置最大连接数和空闲超时。
概念解释
- 连接池:复用 TCP 连接,不用每次新建连接。
- keep-alive:HTTP 长连接,多次请求复用。
- 最大连接数:同时保持的连接数。
- 空闲超时:空闲多久后关闭连接。
原理流程
- 第一次请求,建立 TCP 连接。
- 请求完成,连接放回连接池。
- 下次请求,复用已有连接。
- 空闲超时后关闭连接。
代码 / 示例
import httpx
# 用 httpx 连接池
client = httpx.Client(
limits=httpx.Limits(
max_connections=100, # 最大连接数
max_keepalive_connections=20, # 空闲保持数
keepalive_expiry=30 # 空闲超时 30s
)
)
常见误区
- 误区:每次新建连接就行;正解:建连开销不小,高并发下连接池能提升性能。
- 误区:连接池越大越好;正解:连接太多占资源,按并发数配。
追问
- Q:OpenAI SDK 有连接池吗? A:有,底层用 httpx,自动管理连接池。
- Q:怎么看连接池状态? A:监控 active_connections、idle_connections 指标。
待整理清单
- [ ] 流式输出的背压处理
- [ ] 分布式限流方案
- [ ] 熔断降级策略
- [ ] 请求日志与 tracing
- [ ] 异步并发控制最佳实践