10.6.1.5 业务场景设计与容量估算
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.6 AI 全栈场景题 / 10.6.1 AI 全栈场景
10.6.1.5-001 场景设计题的标准分析链路是什么?
一句话结论
固定六要素:需求边界 → 方案选型 → 数据流与组件 → 容量/成本估算口径 → 失败兜底 → 验证指标;先明确任务、用户与风险边界,再选模型、检索、工具与编排方式,然后按 QPS 与 token 口径估算资源,最后设计兜底与验收指标;方案取舍都要能回到需求风险与成本约束。
概念解释
- 需求边界:能做与不做。
- 选型对照:模型/检索/编排。
- 估算口径:容量与成本推算。
原理流程
- 需求拆解与风险分级。
- 组件选型与数据流设计。
- 估算容量成本,设计兜底与指标。
代码 / 图示
需求 → 选型 → 数据流组件 → 容量/成本估算 → 失败兜底 → 验证指标
常见误区
- 误区:上来就画模型调用图;正解:边界与验收口径不清,组件选型缺乏依据。
- 误区:方案只讲理想路径;正解:必须覆盖异常兜底与量化验收指标。
追问
- Q:选型先比什么? 答:任务风险、质量要求、延迟与成本约束,见 10.6.1.5-007。
- Q:估算数字从哪来? 答:按日请求量、token 均值与峰值系数推算,不编造固定单价。
10.6.1.5-002 如何从业务量推算请求 QPS?
一句话结论
口径:平均 QPS = 日请求量 / 秒数(按有效时段折算);峰值 QPS = 平均 QPS × 峰值系数;峰值系数按业务时段波动与活动预估;Agent 类任务还要按平均轮次放大请求调用量;容量按峰值预留并留余量,不按平均值规划;历史不足时按保守估计并灰度校准。
概念解释
- 平均 QPS:日间均值折算。
- 峰值系数:时段波动放大。
- 轮次放大:Agent 多轮调用。
原理流程
- 统计日请求量与有效时段。
- 算平均 QPS 与峰值 QPS。
- 按轮次与余量放大容量。
代码 / 图示
平均QPS = 日请求量 / 有效时段秒数
峰值QPS = 平均QPS × 峰值系数
并发调用 = 峰值QPS × 平均轮次(Agent) × 余量系数
常见误区
- 误区:用日总量除以 86400 当峰值;正解:业务请求集中在有效时段,峰值需单独估算。
- 误区:Agent 按一次调用估算;正解:每轮工具与模型调用都计入并发占用。
追问
- Q:峰值系数取多少? 答:按同类业务历史波动估计,无数据时保守取值并灰度观察修正。
- Q:突发活动怎么办? 答:预留弹性容量与限流降级通道,见 10.6.1.5-011。
10.6.1.5-003 单次任务的 token 用量如何估算?
一句话结论
输入 = 系统提示 + 会话历史 + 检索片段 + 任务指令;输出按回答长度估算;Agent 按轮次累加每轮输入(含工具返回回灌);用历史样本长度分布校正均值与高分位;实际用量以接口 usage 回报为准;估算用于预算与限流,不把字符数当 token 数。
概念解释
- 输入构成:各部分分别计数。
- 轮次累加:Agent 多轮回灌。
- 分布校正:均值与高分位。
原理流程
- 拆解单次输入各部分长度。
- 按轮次估算输出与回灌。
- 用真实 usage 校正分布。
代码 / 图示
输入token ≈ system + 历史 + 片段 + 指令
输出token ≈ 回答长度
Agent 总量 ≈ 各轮(输入+工具回灌+输出) 累加
常见误区
- 误区:只估算首轮输入;正解:Agent 后续轮次回灌工具结果,输入逐轮增长。
- 误区:输出长度按固定值拍脑袋;正解:按任务类型的历史长度分布估算高分位。
追问
- Q:中文 token 折算? 答:取决于 tokenizer 分词,用计数工具与真实 usage 校准。
- Q:上下文预留多少? 答:窗口扣除预留输出长度与安全余量,见 10.5.1.2。
10.6.1.5-004 成本模型如何搭建?
一句话结论
月度成本 = 请求量 × 单次输入 token × 输入单价 + 请求量 × 单次输出 token × 输出单价 + 检索/存储/工具通道成本 + 自托管算力摊销;单价与额度以供应商官方文档为准,估算时保留区间;缓存命中与路由降级冲抵部分调用成本;成本按任务/租户归集,便于核算与异常排查。
概念解释
- 调用成本:输入输出分别计价。
- 附属成本:检索存储工具。
- 冲抵项:缓存与路由节省。
原理流程
- 归集各环节用量口径。
- 按单价区间计算成本。
- 计入缓存冲抵与摊销。
代码 / 图示
成本 = 请求量×输入token×输入价 + 请求量×输出token×输出价
+ 检索/存储/工具 + 算力摊销 − 缓存/降级冲抵
常见误区
- 误区:成本只算模型调用费;正解:向量存储、rerank、工具接口与自托管算力都要计入。
- 误区:用固定单价长期引用;正解:价格与额度以官方文档/当前版本为准,估算用区间。
追问
- Q:单次任务成本怎么算? 答:单次 token 量 × 对应单价 + 附属通道费用。
- Q:缓存如何冲抵? 答:命中部分免生成调用,按命中率折算节省量。
10.6.1.5-005 并发副本与资源容量如何估算?
一句话结论
并发占用 = 峰值 QPS × 单请求平均耗时;所需副本数 = 并发占用 / 单副本并发能力 × 余量系数;单副本能力来自压测,不凭经验值;自托管还需核算显存/内存与 KV Cache 空间;API 通道受供应商限额约束,按配额预留;容量规划保留弹性伸缩空间。
概念解释
- 并发占用:QPS × 耗时。
- 副本能力:压测得出。
- 资源核算:显存内存与限额。
原理流程
- 压测得到单副本并发能力。
- 按峰值并发算副本数。
- 核算资源与外部限额余量。
代码 / 图示
并发占用 = 峰值QPS × 平均耗时
副本数 = 并发占用 / 单副本并发能力 × 余量系数
常见误区
- 误区:按 QPS 直接配副本不看耗时;正解:长耗时任务并发占用高,副本数取决于并发而非请求率。
- 误区:自托管不算显存;正解:模型权重与 KV Cache 占用需单独核算,见 10.5.1.2。
追问
- Q:外部 API 限额不够怎么办? 答:多供应商分流或申请提额,配合限流排队。
- Q:余量系数留多少? 答:按故障冗余与增长预期设定,压测后修正。
10.6.1.5-006 端到端延迟预算如何分解?
一句话结论
总延迟 = 队列等待 + 检索 + 工具调用 + 模型排队 + prefill + decode + 网络传输;各阶段设定时限上限;高实时场景拆分段限时并在超时后兜底;TTFT 与端到端耗时分别度量;延迟预算对照压测基线,瓶颈阶段优先优化;流式体验改善首字感知但不减少总耗时。
概念解释
- 分段时限:各阶段预算。
- 双指标:TTFT 与整体。
- 瓶颈优先:长尾阶段优化。
原理流程
- 拆解链路各阶段耗时。
- 设定分段上限与兜底。
- 压测定位瓶颈阶段。
代码 / 图示
等待 + 检索 + 工具 + 模型排队 + prefill + decode + 网络 = 端到端
超时 → 兜底响应 / 异步补全
常见误区
- 误区:延迟只由模型生成决定;正解:检索、工具与排队等待常是主要耗时。
- 误区:流式等于降低总延迟;正解:总耗时不变,首字体验改善。
追问
- Q:哪段最容易成瓶颈? 答:按压测耗时分布定位,常见在检索/工具串行等待。
- Q:超时阈值怎么设? 答:按 SLA 与用户可接受等待设定,分段预留缓冲。
10.6.1.5-007 成本、延迟、质量三角如何取舍?
一句话结论
三角约束:强模型质量高但成本延迟高;小模型/缓存便宜快但质量兜底弱;方案按任务风险分级取平衡点:低风险高频走便宜快路径,高风险走强模型;每条路径必须有质量验证与升级通道;取舍决策记录依据,不单方面压成本或追质量;三角指标在灰度中对照实测。
概念解释
- 三角权衡:成本/延迟/质量。
- 风险分级:不同任务不同档位。
- 升级通道:误判回退强模型。
原理流程
- 任务按风险与频率分级。
- 各级选模型与路径档位。
- 灰度对照三角指标调整。
代码 / 图示
低风险高频: 缓存/小模型(快省, 质量兜底)
高风险低频: 大模型(稳, 成本延迟高)
对照指标: 完成率/单请求成本/P95延迟
常见误区
- 误区:追求全链路最强模型;正解:低风险场景强模型的边际收益不值成本。
- 误区:省钱后不验证质量;正解:降级路径必须抽样校验,错误动作风险高于节省。
追问
- Q:质量兜底看什么指标? 答:完成率、正确率、升级率与用户反馈,见 10.6.1.4。
- Q:三角失衡如何识别? 答:任一指标偏离基线即回查路径选型。
10.6.1.5-008 企业知识库问答场景如何做方案与估算?
一句话结论
需求:内部文档问答、带引用与权限隔离;选型:混合检索 + rerank + 中档模型生成,权限标签前置过滤;数据流:文档离线建库,在线检索拼装生成;估算:按日提问量 × 平均输入(片段条数 × 块长)+ 输出长度算 token,检索存储按文档量与片段数估算;兜底:证据不足拒答、检索失败走人工;指标:Recall@k、引用正确率、答案可用率、越权拦截率。
概念解释
- 场景链路:检索增强闭环。
- 权限口径:文档可见范围。
- 估算口径:片段数与文档量。
原理流程
- 明确可答范围与角色权限。
- 建设检索与引用校验链路。
- 按文档量与提问量估算容量成本。
代码 / 图示
需求: 内部问答+引用+权限
数据流: 文档→切分入库; 提问→混合检索→rerank→权限过滤→生成带引用
估算: 提问量×(片段token+输出token) + 存储×片段数
兜底: 拒答/人工; 指标: Recall/引用正确/可用率/越权拦截
常见误区
- 误区:知识库问答只配向量库;正解:权限过滤、引用校验与增量更新是生产必备。
- 误区:片段条数越多越好;正解:按上下文预算与评测标定,过多片段增成本稀释注意力。
追问
- Q:文档量增长怎么扩存储? 答:按片段数 × 单片段向量维度与存储口径估算,向量库规格以官方文档为准。
- Q:高频问题如何省成本? 答:稳定知识类走语义/精确缓存,动态状态问题不缓存。
10.6.1.5-009 AI 客服与工单闭环场景如何设计?
一句话结论
需求:咨询解答、工单创建与状态查询;选型:意图分类 + 知识检索 + 工具调用(工单系统);数据流:消息 → 意图识别 → 检索/工具 → 答复或建单,高危转人工;估算:会话按多轮估算 token,工具调用计入接口成本;兜底:意图歧义转人工、工具失败走备用通道;指标:解决率、转人工率、工单参数正确率、首次响应延迟与差评率。
概念解释
- 闭环链路:咨询到工单。
- 多轮估算:会话累加 token。
- 转人工条件:歧义/高危/失败。
原理流程
- 梳理客服意图与工单动作清单。
- 配置检索与工单工具及权限分级。
- 按会话量估算多轮用量并设计兜底。
代码 / 图示
用户消息 → 意图识别 → 知识检索 / 工单工具(查询/建单)
→ 答复; 歧义/高危/失败 → 转人工
估算: 会话量 × 平均轮次 × 单轮token + 工具接口成本
指标: 解决率/转人工率/参数正确/首响延迟/差评
常见误区
- 误区:客服机器人只做问答不接工单动作;正解:建单、改单属于写入动作,需权限校验与确认。
- 误区:转人工率不统计;正解:转人工率是路径效率指标,过高说明意图或检索能力不足。
追问
- Q:工单参数如何保证正确? 答:schema 校验 + 关键字段回显确认,见 10.6.1.2-003。
- Q:多轮会话成本怎么控? 答:历史摘要压缩,避免逐轮全量回灌。
10.6.1.5-010 内容生成与审核流水线场景如何设计?
一句话结论
需求:批量生成文案/摘要/标题并合规审核;选型:生成模型 + 独立审核环节(规则/分类模型);数据流:素材输入 → 生成 → 格式校验 → 内容审核 → 发布/返工;估算:批量任务走异步通道,按条目数 × 输入输出 token 估算;兜底:审核不通过返工或拦截,生成失败条目重试隔离;指标:格式通过率、审核拦截率、返工率、人工抽检合格率与单条成本。
概念解释
- 流水线:生成与审核分离。
- 异步批量:非实时通道。
- 返工闭环:不通过条目回流。
原理流程
- 定义生成模板与审核标准。
- 批量异步执行生成与审核。
- 按条目量估算用量并隔离失败批次。
代码 / 图示
素材 → 生成 → 格式校验 → 内容审核 → 发布 / 返工
估算: 条目数 × (输入token+输出token), 异步批量通道
兜底: 失败条目重试隔离; 指标: 格式通过/拦截/返工/抽检合格/单条成本
常见误区
- 误区:生成模型自己判断内容合规;正解:审核环节独立于生成,避免自评自审。
- 误区:批量任务与在线争抢通道;正解:异步批量隔离配额,保证在线 SLA。
追问
- Q:审核标准如何落地? 答:规则处理明确模式,分类模型处理语义风险,样本持续更新。
- Q:批量失败如何处理? 答:按条目粒度重试,失败批次记录不影响其他条目。
10.6.1.5-011 高峰容量与限流降级如何配合?
一句话结论
容量按峰值 QPS 预留;超出容量时按优先级限流(关键任务优先),排队等待或降级到便宜路径/模板兜底;降级预案预先演练;限流阈值来自压测水位;高峰后恢复正常路径;限流与降级动作记录并纳入容量复盘;避免无保护直接打满模型额度导致大面积失败。
概念解释
- 峰值预留:容量按高峰。
- 优先级限流:关键任务优先。
- 降级兜底:便宜路径/模板。
原理流程
- 压测确定安全水位。
- 超限按优先级排队或降级。
- 高峰后恢复并复盘容量。
代码 / 图示
峰值QPS → 容量预留
超限 → 优先级排队 / 降级路径 / 模板兜底
限流阈值 = 压测水位 × 余量系数
常见误区
- 误区:容量只按平均值规划;正解:高峰无余量会触发供应商限流连锁失败。
- 误区:降级临时现编;正解:兜底路径需预先验证可用,见 10.5.1.4-005。
追问
- Q:任务优先级怎么定? 答:按业务风险与 SLA 等级划分,关键咨询优先保障。
- Q:限流响应怎么写? 答:明确提示稍后重试或切换兜底,不静默丢弃。
10.6.1.5-012 缓存命中率如何影响容量与成本?
一句话结论
缓存命中直接减少模型调用并发与 token 成本;命中率越高,峰值并发与生成容量需求越低;但缓存占用存储与检索开销,且动态内容不适用;估算净收益时计入缓存资源与误命中风险;命中率按线上统计持续观测,提示前缀变动会影响前缀缓存命中。
概念解释
- 命中冲抵:减少调用与并发。
- 缓存开销:存储与检索。
- 风险核算:误命中损失。
原理流程
- 估算可缓存内容比例。
- 按命中率折算节省并发与成本。
- 计入缓存资源与误命中风险。
代码 / 图示
有效并发 = 峰值QPS × (1 − 命中率)
净收益 = 节省调用/并发/成本 − 缓存存储检索 − 误命中损失
常见误区
- 误区:缓存只省钱不省容量;正解:命中请求不占用生成并发,峰值容量可相应下调。
- 误区:动态问题也进缓存;正解:实时数据复用旧答案会造成事实错误。
追问
- Q:命中率下降查什么? 答:前缀变动、知识更新失效与缓存淘汰策略。
- Q:语义缓存阈值? 答:按误命中评测标定,高风险事实任务不使用语义复用。
10.6.1.5-013 模型档位选型如何对照能力、延迟与成本?
一句话结论
对照维度:任务质量要求、可接受延迟、单价与限额、上下文长度、合规区域;按场景分级选档,强模型只用于高风险或复杂任务;档位能力与价格以官方文档/当前版本为准,选型用离线评测样本实测对照;路由保留升级通道;不凭宣传描述选模型。
概念解释
- 对照维度:质量/延迟/成本/合规。
- 分级选档:风险匹配。
- 实测对照:离线样本验证。
原理流程
- 列出场景质量与延迟要求。
- 候选模型跑评测对照指标。
- 分级路由并保留升级通道。
代码 / 图示
候选档位: 能力 · TTFT/吞吐 · 单价 · 上下文 · 合规区域
对照评测样本 → 选档 → 路由 + 升级回退
常见误区
- 误区:选最大模型统一处理所有请求;正解:档位与任务风险匹配,避免成本浪费。
- 误区:能力只看官方宣传;正解:用自有评测集实测,指标才可信。
追问
- Q:上下文长度怎么选? 答:按片段与历史预算核算,留输出余量,长度增加也推高成本。
- Q:多档位如何切换? 答:路由规则 + 灰度对照,见 10.5.1.4-004。
10.6.1.5-014 数据存储与向量库容量如何估算?
一句话结论
向量存储 = 片段数 × 单条向量维度 × 单精度字节数 + 元数据与索引开销;关系元数据按文档与片段行数估算;增长按文档更新节奏预留;向量库规格、索引类型与内存占用以官方文档为准;存储容量与检索性能分开评估;删除与失效片段及时清理避免空间膨胀。
概念解释
- 向量容量:片段数 × 维度 × 字节。
- 元数据:文档片段行数。
- 索引开销:额外内存与磁盘。
原理流程
- 统计片段数与向量维度。
- 估算向量与元数据容量。
- 按增长节奏预留并定期清理。
代码 / 图示
向量容量 ≈ 片段数 × 维度 × 单精度字节 + 索引开销
元数据容量 ≈ 文档/片段行数 × 单行大小
常见误区
- 误区:只算原始文本大小;正解:向量与索引的内存/磁盘开销常大于文本本身。
- 误区:旧片段不清理;正解:失效片段占用空间并可能被误召回。
追问
- Q:维度怎么定? 答:按所选 embedding 模型输出维度,以官方文档为准。
- Q:容量增长怎么监控? 答:定期统计片段数与存储占用,对照增长曲线预留。
10.6.1.5-015 降级方案在容量与体验上如何取舍?
一句话结论
降级形态按场景可选:备用模型、检索直出、模板回答、转人工;降级牺牲部分质量或个性化,但保住可用性与响应时间;取舍依据任务风险:高风险场景宁转人工不强行生成;降级标记在结果与指标中可识别;降级占比纳入容量复盘,长期高比例说明主路径容量或质量不足。
概念解释
- 降级形态:分级兜底。
- 质量让位:保住可用性。
- 可识别:来源标记与统计。
原理流程
- 按场景定义可接受兜底形态。
- 超时/故障触发对应降级。
- 统计降级占比并复盘主路径。
代码 / 图示
备用模型 → 检索直出 → 模板回答 → 转人工
高风险: 转人工优先; 低风险: 模板/直出兜底
降级占比 → 容量/质量复盘
常见误区
- 误区:所有场景都用模板兜底;正解:复杂任务模板无法满足,转人工或异步补全更合适。
- 误区:降级结果与正常结果同口径统计;正解:需标记来源,避免质量指标被美化。
追问
- Q:降级路径需要压测吗? 答:需要,兜底通道在高峰时同样承受流量。
- Q:降级占比高怎么处理? 答:回查主路径容量、限流阈值与质量短板。
10.6.1.5-016 估算中有哪些不确定项,如何预留风险?
一句话结论
不确定项:业务量增长、峰值波动、token 长度分布、供应商限额与单价、模型版本变化;处理:估算保留区间与余量系数,关键容量压测验证,价格定期复核;需求明确前不固化精确数值;灰度期用真实用量校正估算模型;风险预留体现在冗余副本、弹性伸缩与限流降级通道。
概念解释
- 不确定来源:业务/用量/外部依赖。
- 区间预留:余量与弹性。
- 实测校正:灰度数据回修。
原理流程
- 列出估算假设与不确定项。
- 按区间与余量系数规划容量。
- 灰度真实数据校正模型。
代码 / 图示
假设: 日请求量/峰值系数/token分布/限额/单价
预留: 余量系数 + 弹性伸缩 + 兜底通道
校正: 灰度实测用量回修估算
常见误区
- 误区:把估算值当承诺数字;正解:估算基于口径与假设,需随实测修正。
- 误区:不留冗余按理论最小值配容量;正解:故障与增长无余量会直接导致不可用。
追问
- Q:哪些假设最容易偏差? 答:峰值系数与输出长度分布,优先用历史数据校准。
- Q:供应商限额变化怎么办? 答:多通道预留,额度变更前评估容量影响。
10.6.1.5-017 方案上线前如何用压测与灰度验证估算?
一句话结论
压测:构造峰值并发与典型长任务,验证副本能力、延迟分布与限流阈值;灰度:小范围真实流量对照估算的 QPS、token 与成本;对比实测与估算偏差,修正容量模型;压测覆盖正常与降级路径;验证指标:成功率、P95/P99 延迟、单请求成本、缓存命中率与降级率;估算偏差记录归档。
概念解释
- 压测校验:容量与水位。
- 灰度校正:真实用量对照。
- 偏差修正:容量模型回修。
原理流程
- 压测得到单副本能力与水位。
- 灰度采集真实用量指标。
- 对照估算偏差并修正。
代码 / 图示
压测: 峰值并发/长任务/延迟分布/限流/降级路径
灰度: 真实QPS/token/成本/命中率/降级率
实测 vs 估算 → 偏差修正归档
常见误区
- 误区:只压正常短任务;正解:长输出与多轮 Agent 任务更消耗并发与显存,必须覆盖。
- 误区:压测一次长期有效;正解:模型版本与依赖变更后需重新压测校准。
追问
- Q:压测水位怎么定? 答:成功率与尾延迟满足 SLA 的最高并发,留余量后作为限流阈值。
- Q:灰度看哪些对照? 答:估算 QPS、token 均值、成本与实测分组对照。
10.6.1.5-018 业务场景设计落地清单是什么?
一句话结论
清单:需求边界与风险分级、组件选型与数据流、QPS/并发/token/成本容量口径估算、延迟预算分解、三角权衡决策、场景专项链路(知识库/客服/生成流水线/Agent)、高峰限流降级配合、缓存收益评估、档位选型实测对照、存储容量估算、降级取舍、不确定项风险预留、压测灰度验证、验证指标与验收口径、估算偏差回修与复盘归档。
概念解释
- 设计链路:需求到指标。
- 估算口径:容量与成本。
- 验证闭环:压测灰度回修。
原理流程
- 按六要素完成方案设计。
- 容量成本按口径估算并预留余量。
- 压测灰度验证并持续修正。
代码 / 图示
□ 需求边界 □ 选型数据流 □ QPS并发估算 □ token成本模型
□ 延迟预算 □ 三角权衡 □ 场景专项链路 □ 限流降级
□ 缓存评估 □ 档位对照 □ 存储估算 □ 风险预留
□ 压测灰度 □ 验收指标 □ 偏差回修
常见误区
- 误区:场景题只画理想架构;正解:估算口径、兜底与验收指标才是工程落地关键。
- 误区:估算数字编造精确单价;正解:给推算公式与口径,价格能力以官方文档为准。
追问
- Q:各场景链路细节? 答:RAG 见 10.6.1.1,Agent 见 10.6.1.2,可观测见 10.6.1.4。
- Q:成本工程手段? 答:见 10.5.1.4 成本、限流与多模型路由。