罗罗编程学习记录
本页内容 展开查看

10.11.2 流式、超时、重试与并发控制

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程

覆盖范围

  • 流式输出(SSE)的工程实现
  • 超时设置与处理
  • 重试策略与指数退避
  • 并发控制与限流
  • 错误分类与处理
  • 连接池与资源管理

高频题速览

编号 题目 难度 频率
10.11.2-001 流式输出怎么实现? 进阶 ★★★★
10.11.2-002 超时怎么设置? 基础 ★★★★
10.11.2-003 重试策略怎么设计? 进阶 ★★★★
10.11.2-004 并发控制怎么做? 进阶 ★★★
10.11.2-005 错误怎么分类处理? 基础 ★★★
10.11.2-006 流式输出中途断了怎么办? 进阶 ★★★
10.11.2-007 限流怎么设计? 进阶 ★★★
10.11.2-008 连接池怎么管理? 基础 ★★★

10.11.2-001 流式输出怎么实现?

频率 ★★★★ | 难度 进阶

一句话结论

流式输出用 SSE(Server-Sent Events):服务端逐 token 推送,客户端边收边显示;工程上要处理连接保持、断连重连、背压(客户端处理慢)。

概念解释

  • SSE:HTTP 长连接,服务端单向推送。
  • 逐 token:每生成一个 token 就推一次。
  • 客户端:边收边显示,体验好。
  • 断连:客户端关闭或网络断开,要清理资源。

原理流程

  1. 客户端请求时带 stream: true。
  2. 服务端用 SSE 格式逐 token 推送。
  3. 客户端逐块解析,追加显示。
  4. 结束时推送 done 事件。
  5. 客户端断开时,服务端检测并取消生成。

代码 / 示例

# OpenAI 流式调用
stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "你好"}],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

常见误区

  • 误区:流式就是逐字打印;正解:流式是传输协议层面的,要处理 SSE 格式、断连、错误。
  • 误区:流式输出就没有延迟;正解:首 token 延迟仍然存在,只是后续 token 边生成边推。

追问

  • Q:SSE 和 WebSocket 区别? A:SSE 是单向(服务端推),WebSocket 双向;LLM 流式用 SSE 就够了。
  • Q:怎么检测客户端断连? A:服务端推送时捕获异常(BrokenPipe),取消生成任务。

10.11.2-002 超时怎么设置?

频率 ★★★★ | 难度 基础

一句话结论

超时分层:连接超时(建连时间,5~10s)、首 token 超时(TTFT,10~30s)、整体超时(max_tokens × TPOT + 余量);流式输出首 token 超时比整体超时更重要。

概念解释

  • 连接超时:建立 TCP/HTTP 连接的时间,5~10s。
  • 首 token 超时:从发请求到第一个 token 返回,10~30s。
  • 整体超时:整个请求完成的时间,按 max_tokens 估算。
  • 流式:首 token 超时重要,后续 token 之间有间隔正常。

原理流程

  1. 建连超时:5~10s,连不上就重试。
  2. 首 token 超时:10~30s,超时就重试或降级。
  3. 流式输出:两个 token 之间超过 30s 没数据,判断断连。
  4. 整体超时:max_tokens × 0.1s + 余量。

代码 / 示例

# 超时设置示例
timeout = {
    "connect": 10,      # 建连 10s
    "first_token": 30,  # 首 token 30s
    "overall": 120      # 整体 120s (2000 token × 0.05s + 余量)
}

常见误区

  • 误区:只设一个整体超时;正解:流式输出要分层超时,首 token 超时和整体超时不同。
  • 误区:超时越长越好;正解:超时太长用户体验差,超时太短容易误判,按实际调。

追问

  • Q:怎么估算合理超时? A:压测得出 P99 TTFT 和 P99 TPOT,按 P99 × 2 设超时。
  • Q:超时后怎么办? A:重试一次,还超时就降级或报错。

10.11.2-003 重试策略怎么设计?

频率 ★★★★ | 难度 进阶

一句话结论

重试策略:只对可重试错误(超时、5xx、限流)重试,不对不可重试错误(4xx、参数错误)重试;指数退避(1s → 2s → 4s),最多 2~3 次;加抖动避免雪崩。

概念解释

  • 可重试错误:超时、500、502、503、429 限流。
  • 不可重试错误:400、401、403、404,参数或权限问题。
  • 指数退避:等待时间指数增长,1s → 2s → 4s。
  • 抖动:随机加一点,避免所有请求同时重试。

原理流程

  1. 请求失败,判断错误类型。
  2. 可重试错误 → 指数退避等待。
  3. 重试最多 2~3 次。
  4. 还失败 → 降级或报错。

代码 / 示例

import time, random

def call_with_retry(func, max_retries=3):
    for i in range(max_retries):
        try:
            return func()
        except (TimeoutError, RateLimitError) as e:
            if i == max_retries - 1:
                raise
            # 指数退避 + 抖动
            wait = (2 ** i) + random.uniform(0, 1)
            time.sleep(wait)
        except BadRequestError:
            # 不可重试, 直接抛
            raise

常见误区

  • 误区:所有错误都重试;正解:4xx 错误重试也没用,浪费时间和钱。
  • 误区:重试次数越多越好;正解:重试太多浪费资源,2~3 次够了,还失败就降级。

追问

  • Q:限流(429)怎么处理? A:429 是可重试,但要按 Retry-After 头等待,不要自己瞎等。
  • Q:流式输出中途断了能重试吗? A:能,但要从头开始,不能续传,要记录已生成的 token 避免重复。

10.11.2-004 并发控制怎么做?

频率 ★★★ | 难度 进阶

一句话结论

并发控制:限制同时发的请求数,避免触发供应商限流或自己服务过载;用信号量(semaphore)控制并发数,超过就排队等待。

概念解释

  • 信号量:限制同时进行的请求数。
  • 排队:超过并发数的请求排队等待。
  • 供应商限流:API 有 RPM(每分钟请求数)限制。
  • 自己服务过载:并发太高自己服务也扛不住。

原理流程

  1. 设最大并发数(按供应商限流和自己服务能力)。
  2. 请求进来,先获取信号量。
  3. 获取不到就排队。
  4. 请求完成,释放信号量。

代码 / 示例

import asyncio

semaphore = asyncio.Semaphore(10)  # 最大并发 10

async def call_llm(prompt):
    async with semaphore:
        # 最多 10 个请求同时进行
        return await client.chat.completions.create(...)

常见误区

  • 误区:并发越高越好;正解:并发太高触发限流或服务过载,反而更慢。
  • 误区:不用管并发;正解:批量任务时并发控制很重要,不然一上来发 100 个请求直接被限流。

追问

  • Q:最大并发数设多少? A:看供应商 RPM 限制和自己服务能力,压测得出最优值。
  • Q:动态调整并发? A:可以根据限流情况动态调整,被限流了就降并发。

10.11.2-005 错误怎么分类处理?

频率 ★★★ | 难度 基础

一句话结论

错误分三类:客户端错误(4xx,参数/权限,不可重试)、服务端错误(5xx,临时故障,可重试)、限流错误(429,可重试但要等);不同错误不同处理策略。

概念解释

  • 客户端错误:400 参数错误、401 未授权、403 禁止、404 模型不存在,不可重试。
  • 服务端错误:500 内部错误、502 网关错误、503 服务不可用,可重试。
  • 限流错误:429 请求过多,可重试但要按 Retry-After 等待。

原理流程

  1. 捕获错误,看状态码。
  2. 4xx:不可重试,直接报错给用户。
  3. 5xx:可重试,指数退避。
  4. 429:按 Retry-After 等待后重试。

代码 / 示例

错误分类:
  400 Bad Request:     参数错误, 不可重试
  401 Unauthorized:    API key 错, 不可重试
  403 Forbidden:        权限不足, 不可重试
  404 Not Found:        模型不存在, 不可重试
  429 Rate Limit:      限流, 可重试 (按 Retry-After)
  500 Internal Error:  服务端错误, 可重试
  502 Bad Gateway:      网关错误, 可重试
  503 Service Unavailable: 服务不可用, 可重试

常见误区

  • 误区:所有错误都重试;正解:4xx 重试也没用,浪费时间。
  • 误区:错误处理就是 try-catch;正解:要分类处理,不同错误不同策略。

追问

  • Q:怎么记录错误? A:记录错误类型、状态码、请求参数、响应内容,方便排查。
  • Q:怎么监控错误率? A:按错误类型统计错误率,告警异常波动。

10.11.2-006 流式输出中途断了怎么办?

频率 ★★★ | 难度 进阶

一句话结论

流式断连:检测到连接断开,清理资源,记录已生成内容;如果是客户端断开,服务端取消生成;如果是服务端问题,重试时从头开始。

概念解释

  • 客户端断开:用户关闭页面,服务端检测到 BrokenPipe,取消生成任务。
  • 服务端断连:生成中途出错,记录已生成内容,报错给客户端。
  • 重试:从头开始,不能续传。
  • 清理:取消生成任务,释放资源。

原理流程

  1. 流式生成中,检测异常。
  2. 客户端断开:取消生成,释放资源。
  3. 服务端错误:记录已生成 token,报错。
  4. 重试:从头开始,不续传。

代码 / 示例

# 流式输出错误处理
try:
    stream = client.chat.completions.create(..., stream=True)
    for chunk in stream:
        if chunk.choices[0].delta.content:
            yield chunk.choices[0].delta.content
except BrokenPipeError:
    # 客户端断开, 取消生成
    cancel_generation()
except Exception as e:
    # 服务端错误, 记录已生成内容
    log_error(e, partial_content=buffer)
    yield "\n\n[生成中断, 请重试]"

常见误区

  • 误区:流式断了能续传;正解:API 通常不支持续传,重试只能从头开始。
  • 误区:客户端断开服务端不用管;正解:客户端断开要及时取消生成,浪费 token 和钱。

追问

  • Q:怎么取消生成? A:关闭 HTTP 连接,供应商检测到连接关闭就停止生成。
  • Q:已生成的内容怎么保存? A:流式输出时边收边存,断了就保存到目前为止的内容。

10.11.2-007 限流怎么设计?

频率 ★★★ | 难度 进阶

一句话结论

限流分两层:供应商限流(API RPM/TPM 限制)和自己服务限流(保护自己服务);两层都要做,避免触发供应商限流或自己服务过载。

概念解释

  • 供应商限流:API 有 RPM(每分钟请求数)和 TPM(每分钟 token 数)限制。
  • 自己服务限流:保护自己服务不被打垮。
  • 两层限流:先过自己的限流,再发请求,不超供应商限制。

原理流程

  1. 自己服务限流:按用户/按接口限流。
  2. 请求转发到供应商前,检查供应商 RPM 限制。
  3. 超过供应商限制就排队等待。
  4. 被供应商限流(429)时,退避重试。

代码 / 示例

限流两层:
  第一层: 自己服务限流
    - 按用户: 每用户每分钟 10 个请求
    - 按接口: 总 QPS 限制

  第二层: 供应商限流
    - RPM: 每分钟请求数上限
    - TPM: 每分钟 token 数上限
    - 超过就排队, 不硬打

常见误区

  • 误区:只要供应商不限流就行;正解:自己服务也要限流,不然用户把自己服务打垮了。
  • 误区:限流就是拒绝请求;正解:限流要有排队和降级,不要直接拒绝。

追问

  • Q:怎么知道供应商 RPM 限制? A:看 API 文档,或从 429 错误响应里看。
  • Q:限流被触发怎么办? A:排队等待,按 Retry-After 重试,或降级到更小模型。

10.11.2-008 连接池怎么管理?

频率 ★★★ | 难度 基础

一句话结论

HTTP 连接复用:用连接池(keep-alive)复用 TCP 连接,减少建连开销;Python 用 httpx 的连接池,配置最大连接数和空闲超时。

概念解释

  • 连接池:复用 TCP 连接,不用每次新建连接。
  • keep-alive:HTTP 长连接,多次请求复用。
  • 最大连接数:同时保持的连接数。
  • 空闲超时:空闲多久后关闭连接。

原理流程

  1. 第一次请求,建立 TCP 连接。
  2. 请求完成,连接放回连接池。
  3. 下次请求,复用已有连接。
  4. 空闲超时后关闭连接。

代码 / 示例

import httpx

# 用 httpx 连接池
client = httpx.Client(
    limits=httpx.Limits(
        max_connections=100,      # 最大连接数
        max_keepalive_connections=20,  # 空闲保持数
        keepalive_expiry=30       # 空闲超时 30s
    )
)

常见误区

  • 误区:每次新建连接就行;正解:建连开销不小,高并发下连接池能提升性能。
  • 误区:连接池越大越好;正解:连接太多占资源,按并发数配。

追问

  • Q:OpenAI SDK 有连接池吗? A:有,底层用 httpx,自动管理连接池。
  • Q:怎么看连接池状态? A:监控 active_connections、idle_connections 指标。

待整理清单

  • [ ] 流式输出的背压处理
  • [ ] 分布式限流方案
  • [ ] 熔断降级策略
  • [ ] 请求日志与 tracing
  • [ ] 异步并发控制最佳实践