10.1.2.4 流式输出工程代价
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础 / 10.1.2 上下文与输出控制
10.1.2.4-001 什么是流式输出(SSE),与一次性返回有什么区别?
一句话结论
流式输出让模型生成的片段边产生边推送给调用方,常见实现是 SSE(Server-Sent Events)长连接;一次性返回要等全部生成结束再响应。流式改善首字等待体验,但链路更复杂,失败处理、校验与日志都要按流重新设计。
概念解释
- 流式:逐片段推送,前端可边收边渲染。
- 非流式:完整结果一次返回,便于整体校验。
- 协议:SSE 是 HTTP 上的文本事件流,WebSocket 等其他双向通道不在本题范围。
原理流程
- 请求建立长连接。
- 模型每产出片段,服务端封装事件推送。
- 结束事件标记完成;异常事件标记失败。
代码 / 图示
非流式: 模型生成完整答案 → 一次 HTTP 响应
流式: 片段1 → 片段2 → ... → 结束事件 (SSE)
常见误区
- 误区:流式就没有等待;正解:首 token 前的 prefill 等待仍然存在,流式只改善生成阶段的感知。
- 误区:流式可以跳过后置校验;正解:完整结果仍需校验,只是校验时机要适配流式链路。
追问
- Q:SSE 与 WebSocket 区别? A:SSE 是服务端单向推送、基于 HTTP;WebSocket 是双向全双工。LLM 片段推送常用 SSE,具体选型以基础设施为准。
- Q:什么场景适合非流式? A:结构化抽取、需要整体解析后再处理的链路,非流式更简单可靠。
10.1.2.4-002 流式输出改善的是哪个指标?
一句话结论
流式主要改善首 token 之后的感知体验与 TTFT 后的进度感,不缩短 prefill 阶段的等待;端到端总时长由 TTFT 加生成步数决定,流式不降低模型本身的生成耗时。
概念解释
- TTFT:首 token 延迟,流式同样要等。
- 感知:用户看到逐步输出,等待焦虑下降。
- 总时长:与非流式基本一致,甚至多了转发开销。
原理流程
- prefill 完成,首 token 到达。
- 后续片段逐步推送,界面同步渲染。
- 生成结束后做整体处理。
代码 / 图示
TTFT 等待(不变) → 流式逐步渲染(体验改善) → 结束
总时长 ≈ TTFT + 输出长度 × 每步延迟
常见误区
- 误区:流式让回答生成变快;正解:生成速度由模型 decode 决定,流式只是改变返回方式。
- 误区:流式能降低服务端负载;正解:长连接与持续转发反而占用连接与带宽资源。
追问
- Q:首字慢怎么优化? A:缩短输入、前缀缓存、更快推理规格,这些作用于 prefill,不是换流式。
- Q:用户仍觉得慢怎么办? A:优化 TTFT 与输出长度,流式只解决"干等"的体验问题。
10.1.2.4-003 SSE 的基本协议格式是什么?
一句话结论
SSE 以事件流文本逐条推送,每条事件由 data: 行组成,可用 event: 自定义事件类型、id: 标记事件号,空行分隔事件;服务端通过约定的结束事件与错误事件标记状态。
概念解释
- 数据行:
data: 内容,多行数据可分多行。 - 事件类型:默认 message,可自定义如
delta、done、error。 - 心跳:周期性注释行或事件保活连接。
原理流程
- 响应头声明事件流类型。
- 模型片段映射为事件推送。
- 结束/错误事件收尾,关闭连接。
代码 / 示例
event: delta
data: {"text": "片段一"}
event: done
data: {"finish_reason": "stop"}
常见误区
- 误区:SSE 消息可以随便换行不带格式;正解:必须遵循事件行格式,否则客户端解析失败。
- 误区:连接断开能自动续上就不用处理;正解:重连需要事件 id 与服务端支持,业务侧仍要处理断连状态。
追问
- Q:事件体为什么常用 JSON? A:便于区分文本片段、工具调用、状态标记;纯文本片段也可直接放 data。
- Q:响应头要注意什么? A:正确的事件流内容类型,并避免代理缓冲;具体头字段以框架实现为准。
10.1.2.4-004 后端如何把模型流转发给前端?
一句话结论
后端从模型 SDK 接收流式片段,逐条写入 SSE 响应流并保持连接存活;注意异步背压、异常透传与连接生命周期管理,不要在中间层把流缓冲成完整字符串再返回。
概念解释
- 转发链路:模型流 → 后端事件处理 → 前端响应流。
- 缓冲陷阱:中间层收集全量会失去流式意义。
- 生命周期:请求结束、客户端断开、模型错误都要正确收尾。
原理流程
- 建立模型流式请求。
- 逐片段读出并写入响应流。
- 完成/错误事件收尾,释放资源。
代码 / 图示
模型流 chunk → 后端转换事件 → SSE 推给前端
不做: 收集全部 chunk 后一次性写响应
常见误区
- 误区:后端加一层缓冲更稳;正解:缓冲会退化成非流式,TTFT 后仍然干等。
- 误区:前端断开后后端自动停止模型调用;正解:需要监听断连并通知上游释放,详见取消条目。
追问
- Q:多步 Agent 流程怎么流式? A:各阶段状态(检索、工具、生成)分别发事件,前端按阶段渲染;不把中间过程和最终答案混在一起。
- Q:跨服务转发要注意什么? A:链路各层都不能缓冲超时,超时与保活配置逐层对齐。
10.1.2.4-005 流式下如何做结构化输出(JSON 边流边拼)?
一句话结论
JSON 在流式下是分段到达的,先按片段增量拼接成完整字符串,流结束后再解析校验;不能在半截 JSON 上直接解析。工具调用参数同样分块到达,需累积完整参数对象后再执行。
概念解释
- 增量拼接:文本片段追加到缓冲区。
- 解析时机:结束事件后再 parse。
- 部分可用:展示层可渲染文本,结构校验等完整结果。
原理流程
- 累积 delta 到 JSON 字符串缓冲区。
- 流结束后解析为对象。
- schema 校验,失败走重试。
代码 / 示例
chunk: {"name": "退 → chunk: "款"} → 累积完整字符串
结束后: JSON.parse(完整字符串) → schema 校验
常见误区
- 误区:每来一段就 parse 一次;正解:半截 JSON 必然解析失败,必须累积到完整对象。
- 误区:流式 JSON 不校验结构;正解:结束后仍要走字段与枚举校验,流式只改变传输方式。
追问
- Q:模型边流边输出解释文本和 JSON 怎么办? A:按约定分隔标记提取 JSON 段,解析失败计入格式错误并重试。
- Q:工具参数不完整能执行吗? A:不能,参数对象完整且校验通过后再调用工具。
10.1.2.4-006 流中途失败或断连怎么处理?
一句话结论
区分模型错误、网络断连与客户端断开:记录失败阶段与已收片段,前端给出可重试状态,后端清理本次资源;已推送的不完整内容标记为不可用,重试从干净状态重新发起。
概念解释
- 失败类型:上游错误、超时、连接中断、客户端取消。
- 状态:进行中、成功、失败、中断。
- 处置:保留日志,友好提示,重试或兜底。
原理流程
- 监听上游错误事件与连接状态。
- 失败时标记本次结果不完整。
- 释放资源,引导用户重试或兜底。
代码 / 图示
流中断 → 标记 incomplete → 清理资源
前端: 提示"生成中断, 可重试"
重试: 全新请求, 不依赖半截内容续写
常见误区
- 误区:断连后拿半截结果继续用;正解:不完整输出未经校验,不能作为业务结果落库。
- 误区:失败只显示网络错误;正解:应区分上游限流、超时、内容拦截等原因,便于排查与用户提示。
追问
- Q:部分片段已落库怎么办? A:流式链路应在结束校验通过后再持久化;半截结果标记为草稿或丢弃。
- Q:重试要不要带上中断片段? A:一般重新发起干净请求;续写场景需明确上下文与截断位置,避免重复与矛盾。
10.1.2.4-007 流式输出能否重试?与非流式有什么区别?
一句话结论
可以重试,但重试是重新发起一次完整请求;流式的失败可能发生在任意片段位置,已消耗的 token 可能已计费,且重试前要清理上一次的缓冲与状态,不能在半截流上续跑。
概念解释
- 重试对象:全新请求,不是续接旧流。
- 成本:前次已生成 token 通常计费。
- 状态隔离:旧缓冲区、连接、工具调用回滚。
原理流程
- 判定失败可重试(非内容拒绝类)。
- 清理旧流状态与缓冲。
- 重新发起请求,设重试次数与退避。
代码 / 图示
失败 → 清理缓冲/连接 → 新请求重试
重试上限: 次数与退避预算, 超出走兜底
常见误区
- 误区:流式失败可以从断的那个 token 接着生成;正解:接续需要明确的上下文与截断点,多数实现直接重跑更稳妥。
- 误区:重试不花钱;正解:已产生的输入与输出 token 按供应商口径计费,重试策略要控成本。
追问
- Q:哪些失败不该自动重试? A:内容安全拒绝、参数错误、schema 不支持等,重试无意义,应修正配置或转人工。
- Q:重试体验怎么处理? A:静默有限重试对用户透明,多次失败后提示稍后再试,避免反复转圈。
10.1.2.4-008 反向代理与网关对 SSE 的缓冲问题是什么?
一句话结论
部分代理、网关、CDN 默认缓冲响应体,片段攒够一批才转发,导致 SSE 失去实时性;需要在链路上关闭或调小缓冲、设置正确的流式响应头,并逐层确认超时配置。
概念解释
- 缓冲层:代理按自身阈值聚合响应再下发。
- 症状:片段卡顿、批量到达、首字延迟变长。
- 排查:从模型到前端逐层定位缓冲点。
原理流程
- 响应头声明事件流类型。
- 各层关闭响应缓冲或调小阈值。
- 端到端验证片段是否实时到达。
代码 / 图示
模型 → 应用 → 网关/代理 → CDN → 前端
任一层缓冲 → 片段被攒批 → 流式退化为伪流式
常见误区
- 误区:应用层不缓冲就够了;正解:网关、Nginx 类代理、负载均衡都可能有缓冲配置,需要逐层检查。
- 误区:SSE 头设了就一定实时;正解:头声明与缓冲配置要同时到位。
追问
- Q:怎么验证缓冲在哪一层? A:逐层抓包看片段到达节奏,对比直连应用与经过网关的延迟差异。
- Q:代理不支持关闭缓冲怎么办? A:评估换链路、改用其他推送通道,或接受攒批延迟并在设计上说明。
10.1.2.4-009 超时与心跳保活怎么设置?
一句话结论
流式连接可能长时间没有新片段(长 prefill、模型排队),需要心跳事件保持连接不被中间层断开;超时按"首字等待 + 生成间歇"分别设定,避免空闲超时误杀仍在工作的连接。
概念解释
- 空闲超时:两次片段之间的最大间隔。
- 心跳:周期性保活事件/注释,证明链路存活。
- 总超时:整次请求的上限,兜底防挂死。
原理流程
- 设定首字超时与片段间隔超时。
- 空闲期发送心跳保活。
- 超过总上限主动断开并清理。
代码 / 图示
模型忙碌(无片段) → 心跳事件周期推送
片段间隔超时 / 总超时 → 断开 + 错误处理
常见误区
- 误区:沿用普通 API 的短超时;正解:流式生成可能持续较久,空闲超时与总超时要分别配置。
- 误区:心跳会干扰正文渲染;正解:心跳用独立事件类型或注释行,前端不按正文渲染。
追问
- Q:心跳间隔怎么定? A:取中间层空闲超时下限以下,保证不被代理先断开;具体值按基础设施配置实测。
- Q:长时间无片段说明什么? A:可能排队、prefill 过长或上游卡住,超时后应记录阶段并可重试。
10.1.2.4-010 前端如何渲染流(逐字/分段)?
一句话结论
前端按事件类型区分正文片段、状态与错误,增量追加渲染;注意 Markdown/代码块的分段不完整状态,避免半截语法闪烁,结束后做最终样式渲染与完整性检查。
概念解释
- 渲染单元:delta 文本片段。
- 状态事件:思考中、检索中、工具调用、完成/失败。
- 不完整态:代码块、列表在流式中途的渲染处理。
原理流程
- 建立事件监听与缓冲区。
- 正文片段追加并更新界面。
- 结束事件后统一格式化与校验展示。
代码 / 图示
delta 事件 → 追加到当前消息气泡
done 事件 → 最终 Markdown 渲染 / 校验
error 事件 → 展示失败状态
常见误区
- 误区:每段都完整解析 Markdown;正解:中途半截语法会闪烁,可先纯文本追加,结束后再格式化。
- 误区:状态事件和正文混在一起渲染;正解:分开事件类型,思考/工具过程不混入最终答案气泡。
追问
- Q:代码块流式怎么显示? A:未闭合代码块先按普通文本展示,闭合后再切代码样式;中断时提示代码不完整。
- Q:快速到达的片段怎么避免渲染抖动? A:按帧节流更新界面,数据仍完整累积,不丢片段。
10.1.2.4-011 流式下 token 计数与计费何时确定?
一句话结论
输入 token 在请求时即可统计,输出 token 要等生成结束才能确定完整数量;计费以最终 usage 为准,流过程中只能累计已生成片段做预估,不能按中途片段结算。
概念解释
- 输入:发送时计数确定。
- 输出:随生成增长,结束后出完整用量。
- 预估:中途计数用于进度与成本监控,非最终账单。
原理流程
- 请求时记录输入 token。
- 流过程累计输出片段计数。
- 结束事件读取最终 usage 对账。
代码 / 图示
输入 token: 请求时确定
输出 token: 生成中累计 → 结束后最终 usage 对账
常见误区
- 误区:流到一半就能算最终费用;正解:输出长度未定,中途数字只是预估。
- 误区:断连不计输出 token;正解:已生成部分通常按口径计费,中断也要记录实际用量。
追问
- Q:怎么预估成本? A:按平均输出长度与输入构成估算预算,实际以结束 usage 为准对账。
- Q:usage 字段什么时候返回? A:通常在结束事件或响应元数据中,字段名随供应商不同。
10.1.2.4-012 工具调用在流式模式下如何接收参数?
一句话结论
工具调用的名称与参数对象同样分块到达,需按调用标识累积参数片段,参数完整并通过 schema 校验后再执行工具;执行结果回传后继续生成,不能在参数半截时调用。
概念解释
- 调用标识:区分多个并行/连续工具调用。
- 参数累积:分块拼完整 JSON 参数。
- 校验:参数类型、必填、枚举通过后执行。
原理流程
- 接收工具调用起始事件(工具名)。
- 累积参数 delta 到对应调用缓冲。
- 参数完整校验 → 执行 → 结果回传继续生成。
代码 / 图示
tool_call: name=search, args_delta={"q": "退" → "款政策"}
累积完整 args → 校验 → 执行 → 结果回传
常见误区
- 误区:看到工具名就执行;正解:参数未完整不能调用,避免残缺参数发往系统。
- 误区:多个工具调用共用一个缓冲;正解:按调用 id 分开累积,避免参数串扰。
追问
- Q:流式工具调用失败怎么办? A:把错误结果回传让模型修正,或按策略终止本次流程;不直接执行残缺参数。
- Q:参数 schema 在哪校验? A:执行前在代码侧按工具定义校验,模型输出只作为参数来源。
10.1.2.4-013 流式聚合后再校验的流程是什么?
一句话结论
流结束后先聚合完整文本/对象,再依次做结构解析、字段枚举校验、关键断言核验;通过才落库或展示最终答案,未通过进入重试或兜底,流式渲染阶段不等同于校验通过。
概念解释
- 聚合:缓冲合并为完整结果。
- 分层校验:格式 → 字段 → 事实/引用。
- 放行条件:全部校验通过。
原理流程
- 结束事件触发聚合。
- 解析与规则校验。
- 关键断言核验。
- 放行 / 重试 / 拦截。
代码 / 图示
流结束 → 聚合 → parse → schema 校验 → 断言核验 → 放行
任一步失败 → 重试/兜底
常见误区
- 误区:用户看到流式输出就算完成;正解:落库与业务生效必须等聚合校验通过。
- 误区:校验在渲染时顺便做;正解:半截内容无法完整校验,聚合后统一处理更可靠。
追问
- Q:校验不通过前端怎么表现? A:先撤下或标记不完整内容,重试成功后再替换,避免错误结果留在界面。
- Q:聚合结果与展示内容不一致? A:以聚合校验通过的版本为准,展示层从同一缓冲区取值,避免两份状态。
10.1.2.4-014 背压与慢客户端怎么处理?
一句话结论
客户端消费慢会导致发送方阻塞与连接堆积;后端要控制写入节奏、设置连接与队列上限,慢客户端及时断开并清理,避免占用上游模型调用与服务资源。
概念解释
- 背压:下游消费慢向上游传导的压力。
- 资源占用:挂起连接、模型生成、内存缓冲。
- 策略:超时断开、限制并发、缓冲上限。
原理流程
- 写入响应流时感知客户端状态。
- 消费过慢达到阈值则断开。
- 释放模型调用与缓冲资源。
代码 / 图示
客户端慢 → 写入阻塞 → 连接/内存堆积
策略: 背压上限 + 超时断开 + 并发限制
常见误区
- 误区:一直等客户端总会读完;正解:无限挂起会占用模型生成配额与连接,需要上限保护。
- 误区:缓冲越多越能扛慢客户端;正解:无界缓冲把压力转移成内存风险,应设上限并断开。
追问
- Q:服务端怎么感知客户端断开? A:监听连接关闭/写失败事件,不同框架接口名不同,按实现接入。
- Q:断开后模型侧还要继续生成吗? A:应通知上游取消或在结束后丢弃结果,避免空转消耗。
10.1.2.4-015 日志与追踪在流式下如何落盘?
一句话结论
流式链路要记录请求元信息、各阶段时间戳、片段数量、最终聚合结果与失败原因;边收边落盘关键状态,完整结果在结束后归档,便于回放排查,但注意不要把敏感内容明文留存。
概念解释
- 追踪字段:模型版本、参数、输入摘要、阶段耗时、停止原因。
- 内容归档:完整 prompt 与输出按合规要求存储。
- 分段记录:prefill、首字、各片段、结束时间点。
原理流程
- 请求开始生成追踪记录。
- 阶段事件与时间戳逐步落盘。
- 结束后归档完整结果与 usage。
代码 / 图示
记录: request_id, 模型版本, TTFT, 片段数,
停止原因, 聚合结果, 错误阶段
常见误区
- 误区:流式只记最终结果;正解:中途失败排查需要阶段时间点与已收片段状态。
- 误区:日志全量留存 prompt;正解:敏感信息按合规脱敏,留存范围与期限遵循数据处理约定。
追问
- Q:怎么关联一次对话的多条流? A:用会话 id 与请求 id 串联各轮事件,工具调用与生成片段归属到同一请求。
- Q:日志要记录采样参数吗? A:需要,便于复现问题与版本对比,但不记录密钥等敏感凭据。
10.1.2.4-016 流式与非流式的成本差异是什么?
一句话结论
模型生成的 token 成本基本一致,流式额外占用长连接、转发带宽与服务内存缓冲;流式不降低生成成本,却增加连接管理与失败处理的工程开销,选型按体验需求权衡。
概念解释
- 相同部分:输入/输出 token 计费。
- 额外部分:长连接占用、转发资源、状态维护。
- 工程成本:失败重试、断连、监控链路更复杂。
原理流程
- 对比任务对实时体验的要求。
- 评估连接与转发资源占用。
- 决定哪些链路用流式、哪些用非流式。
代码 / 图示
token 成本: 流式 ≈ 非流式
额外成本: 长连接/带宽/缓冲/失败处理
常见误区
- 误区:流式更省钱;正解:token 用量不因传输方式改变,长连接反而占资源。
- 误区:所有接口都该开流式;正解:结构化、后台任务用非流式更简单,体验收益有限时不必上流式。
追问
- Q:哪些接口适合非流式? A:抽取、分类、后台批处理、需要整体校验后再落库的任务。
- Q:流式资源占用体现在哪? A:并发连接数、每连接缓冲内存、网关长连接配置与心跳维护。
10.1.2.4-017 多轮对话中流式结果如何落库?
一句话结论
只有聚合校验通过的结果才作为正式消息落库;流过程中的草稿状态单独标记,失败或中断的内容不进入历史记录,避免半截文本污染后续轮次的上下文。
概念解释
- 正式消息:校验通过、可回溯的完整回答。
- 草稿:流式中途状态,不参与历史组装。
- 历史干净:后续轮次只引用已确认内容。
原理流程
- 流式过程维护临时缓冲。
- 结束校验通过后写入消息历史。
- 失败内容标记草稿或丢弃,不进历史。
代码 / 图示
流中: 草稿缓冲(不落历史)
校验通过 → 写入正式消息 → 下一轮可引用
中断/失败 → 草稿丢弃或标记
常见误区
- 误区:边流边把片段写进历史;正解:半截内容进历史会让下一轮看到残缺表述。
- 误区:失败重试后旧草稿还在历史里;正解:重试前清除关联草稿记录。
追问
- Q:用户看到半截但后端没落库可以吗? A:可以,界面草稿与持久化历史分离,正式历史只存通过校验的版本。
- Q:长回答怎么存档? A:存聚合后的完整文本与元信息(模型版本、时间、usage),片段流不必逐条持久化。
10.1.2.4-018 取消请求时如何通知模型端释放资源?
一句话结论
客户端取消后,后端应向上游传递取消信号,终止生成并释放 KV Cache 与连接;否则模型侧可能继续空转生成,占用并发与计费资源,取消链路要贯通到推理服务。
概念解释
- 取消传播:前端断开 → 后端 → 上游推理。
- 资源释放:生成中断、Cache 回收、连接关闭。
- 兜底:超时仍未终止时按资源清理流程处理。
原理流程
- 监听客户端断开/取消事件。
- 调用上游取消接口或中断流读取。
- 释放本次 Cache、缓冲与连接。
代码 / 图示
前端取消 → 后端收到断开 → 通知上游停止生成 → 释放 KV/连接
常见误区
- 误区:前端关页面后端自然就停了;正解:取消信号需要逐层传递,上游可能继续跑到结束。
- 误区:取消不计成本;正解:已生成 token 通常计费,及时取消可减少后续输出消耗。
追问
- Q:上游不支持取消怎么办? A:至少在后端丢弃结果、释放本侧资源;上游空转部分无法控制时记录成本与并发影响。
- Q:取消后能复用已有 Cache 吗? A:通常随请求结束回收;是否支持前缀复用取决于推理框架实现。
10.1.2.4-019 流式输出的安全过滤在哪一层做?
一句话结论
安全过滤分多层:输入侧隔离不可信内容,生成侧约束边界,输出侧对片段与聚合结果分别做内容检查;流式下已推送片段无法撤回,高风险场景应优先非流式校验通过后再输出。
概念解释
- 输入防护:提示注入与不可信内容标注。
- 输出过滤:违规、敏感内容检查。
- 流式局限:片段已发出不可撤回。
原理流程
- 输入组装时隔离外部内容。
- 流过程对片段做初步检查。
- 聚合结果做完整安全复核。
- 高风险场景改为先校验后输出。
代码 / 图示
输入隔离 → 生成约束 → 片段检查 → 聚合复核
高风险: 非流式生成 → 校验通过 → 再展示
常见误区
- 误区:流式边推边过滤就安全;正解:违规片段一旦推送无法收回,过滤只能拦截后续生成与事后标记。
- 误区:输出过滤能替代输入防护;正解:注入与越权要在输入和工具层控制,输出过滤是最后一道防线。
追问
- Q:发现违规片段怎么办? A:立即停止后续生成,标记本次输出不可用,按安全流程记录与处置。
- Q:哪些场景不建议流式? A:涉及敏感审查、合规发布、对外承诺的内容,先完整校验再交付更稳妥。
10.1.2.4-020 流式链路常见故障清单有哪些?
一句话结论
常见故障包括:代理缓冲导致伪流式、首字超时、心跳缺失被中间层断开、半截 JSON 解析失败、断连后资源未释放、取消未传上游、校验通过前落库、敏感片段已推送;逐项在链路压测与监控中覆盖。
概念解释
- 传输层:缓冲、超时、心跳、断连。
- 内容层:半截结构、工具参数不完整。
- 资源层:连接堆积、Cache 未释放、空转计费。
原理流程
- 列链路各层故障点。
- 压测慢客户端、断连、超长输出、限流场景。
- 配置超时、重试、清理与监控告警。
代码 / 图示
传输: 缓冲/超时/心跳/断连
内容: JSON 半截/参数残缺/格式截断
资源: 连接堆积/Cache 泄漏/空转消耗
常见误区
- 误区:本地联调通过就上线;正解:长连接、慢网络、并发断连必须压测,问题多在边界场景暴露。
- 误区:故障只看前端报错;正解:后端连接、上游取消、资源释放都要纳入排查清单。
追问
- Q:上线前验证哪些用例? A:正常流式、中途断网、客户端提前关闭、超长输出、上游限流、工具调用中断、失败重试。
- Q:监控哪些指标? A:TTFT、片段间隔、中断率、重试次数、连接时长、上游取消成功率、聚合校验失败率。