10.5.1.4 成本、限流与多模型路由
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化
10.5.1.4-001 LLM 应用的成本由哪些部分构成?
一句话结论
成本主要来自输入 token、输出 token、检索/向量库存储与调用、工具与外部接口、托管算力或实例占用;不同模型单价与额度差异大,具体价格以供应商官方文档为准;工程上按 token 量、缓存命中率与任务路由共同控制总成本。
概念解释
- token 计费:输入与输出分别计量。
- 附属成本:存储、检索、工具调用。
- 实例成本:自托管算力折旧。
原理流程
- 按链路拆解各计费环节。
- 统计各环节用量分布。
- 针对占比最大的环节优化。
代码 / 图示
成本 = 输入token + 输出token + 检索/存储 + 工具调用 + 算力实例
常见误区
- 误区:只看模型单价;正解:检索、工具与长上下文附加成本常被忽略。
- 误区:输出与输入同价;正解:多数供应商输出单价高于输入,以官方文档为准。
追问
- Q:哪部分通常占比高? 答:长上下文输入与长输出,具体按业务用量统计。
- Q:成本如何按任务归集? 答:按任务/租户记录 token 量与附属调用,便于核算。
10.5.1.4-002 什么是前缀缓存,为什么能省成本?
一句话结论
前缀缓存复用相同 system prompt、固定模板与历史会话前缀的 KV Cache,避免重复 prefill 计算;多个请求共享同一段前缀时显著降低输入处理开销;缓存命中率与前缀稳定度决定收益,实现以推理框架支持为准。
概念解释
- 前缀共享:固定开头重复出现。
- KV 复用:跳过重复 prefill。
- 命中率:可复用比例。
原理流程
- 抽取稳定前缀置于提示前部。
- 框架缓存前缀 K/V。
- 后续请求直接复用。
代码 / 图示
[system 固定前缀] + [用户可变内容]
相同前缀 → 命中缓存, 只处理可变部分
常见误区
- 误区:任意后缀都能缓存;正解:前缀一致才可复用,中间插入变动会失效。
- 误区:缓存永久保留;正解:缓存有容量与淘汰策略,命中率需观测。
追问
- Q:前缀为什么要放最前? 答:KV 按序列位置复用,前缀一致才能命中。
- Q:命中率怎么衡量? 答:统计命中请求占比与节省的 prefill token 量。
10.5.1.4-003 语义缓存与精确缓存有什么区别?
一句话结论
精确缓存按请求文本匹配复用历史回答;语义缓存按向量相似度判定相似问题复用答案,覆盖面更广但有误命中风险,需要相似度阈值与适用场景限制;高风险事实任务不建议直接复用语义缓存答案。
概念解释
- 精确匹配:文本完全一致。
- 语义相似:向量近邻判定。
- 阈值风险:相似不等于等价。
原理流程
- 缓存历史问答向量与答案。
- 新请求算向量检索相似项。
- 超阈值且场景允许才复用。
代码 / 图示
精确: hash(question) 命中
语义: emb(q) 近邻 + 相似度阈值 → 复用答案
常见误区
- 误区:语义缓存可用于所有回答;正解:涉及实时数据、个性化结论的问题不能复用旧答案。
- 误区:阈值越低越好命中;正解:低阈值误命中会把旧结论当成新答案。
追问
- Q:缓存答案保留什么? 答:问题向量、回答、来源时间与适用范围,过期失效。
- Q:哪些问题适合语义缓存? 答:高频标准问答、固定知识类,且答案不随时间变化。
10.5.1.4-004 模型路由(model routing)如何设计?
一句话结论
按问题难度、任务类型与风险等级分配大小模型:简单/高频问题走小模型或缓存,复杂/高风险走大模型;路由可由规则、分类模型或置信度判断实现;路由后保留升级通道,误判可回退强模型;模型能力与价格以官方文档为准。
概念解释
- 分级分配:小模型低成本。
- 路由判断:规则/分类/置信度。
- 升级通道:误判回退强模型。
原理流程
- 定义任务等级与模型档位。
- 路由判断选择档位。
- 低置信或失败升级重跑。
代码 / 图示
请求 → 路由分类 → 小模型 / 大模型
小模型低置信/失败 → 升级大模型
常见误区
- 误区:路由只看问题长度;正解:难度、风险与任务类型才是分级依据。
- 误区:路由分流后不再校验;正解:小模型输出仍需格式与质量兜底。
追问
- Q:路由误判怎么发现? 答:抽样对比大小模型结果,统计误分流比例。
- Q:多模型能力怎么记录? 答:各档能力边界、价格与限额以官方文档为准并定期更新。
10.5.1.4-005 什么是降级策略,LLM 链路如何降级?
一句话结论
降级在主模型超时、过载或不可用时切换备用链路:小模型/模板回答/检索直出/转人工;降级按场景选择可接受的兜底形式;降级路径要预先演练并记录触发原因,不能静默返回错误内容。
概念解释
- 触发条件:超时/过载/故障。
- 兜底形态:备用模型/模板/人工。
- 可追溯:降级事件记录。
原理流程
- 定义各场景兜底方案。
- 超时或异常触发降级。
- 记录降级原因与结果供复盘。
代码 / 图示
主模型超时/故障 → 备用模型 → 模板兜底 → 转人工
常见误区
- 误区:降级就是返回报错;正解:多数场景有可接受的兜底回答或人工通道。
- 误区:降级链路不测试;正解:故障时兜底若不可用等于无降级。
追问
- Q:哪些场景必须转人工? 答:投诉、资金、高风险承诺等主链路不可用时。
- Q:降级如何感知质量? 答:兜底回答标记来源,统计降级占比与用户反馈。
10.5.1.4-006 限流在 LLM 服务中如何配置?
一句话结论
按租户/接口/模型档位设置并发与 token 速率上限,保护后端与成本;超限走排队、降级或明确拒绝;限流阈值来自压测容量基线,而不是拍脑袋;区分请求数限流与 token 量限流,长输出请求按 token 占用估算。
概念解释
- 配额维度:并发/请求速率/token 速率。
- 容量基线:压测得出的安全水位。
- 超限处理:排队/降级/拒绝。
原理流程
- 压测得到安全并发与 token 上限。
- 按租户与档位配置限流。
- 超限执行兜底并记录。
代码 / 图示
容量水位 → 限流阈值
超限: 排队等待 / 降级 / 限流拒绝(带提示)
常见误区
- 误区:只限制请求数;正解:单请求长上下文与长输出占用大量 token,需按 token 维度控制。
- 误区:限流阈值固定不变;正解:版本与容量变化后需重新压测校准。
追问
- Q:突发流量怎么处理? 答:预留排队缓冲与峰值容量,关键任务优先级更高。
- Q:限流响应怎么写? 答:明确提示稍后重试或切换兜底,不静默丢弃。
10.5.1.4-007 如何控制长上下文带来的成本?
一句话结论
按任务压缩输入:精简系统提示、控制检索片段数量与长度、会话历史按需摘要、去除冗余附件;输入 token 直接计入成本;上线前统计提示构成,识别可裁剪的重复片段;输出长度同样按 max_tokens 控制。
概念解释
- 输入裁剪:提示与片段预算。
- 历史摘要:压缩早期对话。
- 成本统计:按构成拆解。
原理流程
- 拆解提示各部分 token 占比。
- 裁剪冗余与压缩历史。
- 统计裁剪前后成本变化。
代码 / 图示
system + 历史 + 检索片段 + 任务指令
压缩: 摘要历史 / 片段条数上限 / 模板精简
常见误区
- 误区:上下文越全效果越好;正解:冗余片段稀释注意力并增加成本,需取舍。
- 误区:历史全部塞入;正解:早期无关信息应摘要或淘汰。
追问
- Q:片段数量怎么定? 答:按检索评测表现与成本预算标定,不盲目堆条数。
- Q:哪些信息不能压? 答:用户身份、当前任务约束与关键槽位需保留。
10.5.1.4-008 成本与延迟之间如何权衡?
一句话结论
缓存与小模型路由压低单次成本,但可能牺牲质量或增加升级重跑;大模型直接回答质量稳但成本与延迟高;权衡以任务风险分级:低风险高频走便宜路径,高风险走强模型;每条路径都要测质量兜底,不能只省不验。
概念解释
- 成本路径:便宜但可能重跑。
- 质量路径:强模型高成本。
- 风险分级:按场景取舍。
原理流程
- 任务按风险分级。
- 各级选对应模型与缓存策略。
- 抽样验证质量与升级率。
代码 / 图示
高频低风险: 缓存/小模型
低频高风险: 大模型
升级重跑成本计入整体口径
常见误区
- 误区:平均成本低就是优化成功;正解:质量下降导致返工与投诉,隐性成本更高。
- 误区:降级路径不记录;正解:升级率与兜底占比必须纳入成本核算。
追问
- Q:权衡指标有哪些? 答:单请求成本、P95 延迟、任务完成率、升级率与用户反馈。
- Q:如何避免双重计费? 答:升级重跑只计最终成功路径,失败重跑成本单独归集。
10.5.1.4-009 线上需要监控哪些成本与延迟指标?
一句话结论
监控:请求量、输入/输出 token 量、单请求成本、缓存命中率、各模型档位调用占比、TTFT 与端到端延迟、降级与升级率、失败率;按任务/租户分组;指标用于发现异常波动与容量成本优化点,阈值对照压测基线设定。
概念解释
- 成本指标:token 与费用归集。
- 延迟指标:首字与整体时延。
- 路由指标:命中/升级/降级占比。
原理流程
- 链路埋点记录各环节用量。
- 分组聚合指标看板。
- 异常波动告警并归因。
代码 / 图示
token 量 · 单请求成本 · 命中率 · 档位占比
TTFT · 端到端时延 · 升级/降级率 · 失败率
常见误区
- 误区:只看总账费用;正解:不分组定位不到是哪个任务或租户推高成本。
- 误区:延迟只记平均值;正解:尾延迟与排队时长才反映高峰体验。
追问
- Q:成本异常先查什么? 答:输入片段膨胀、输出失控、缓存失效与路由降级。
- Q:告警阈值怎么设? 答:对照历史基线与压测水位,按偏离幅度触发。
10.5.1.4-010 缓存答案如何处理时效性?
一句话结论
缓存条目记录生成时间、来源版本与适用范围;有时效性的问题(库存、价格、状态)不进语义缓存或设短 TTL;知识更新后相关缓存主动失效;复用前校验来源版本未过期,避免旧事实被重复回答。
概念解释
- 时效标记:时间与来源版本。
- TTL 策略:按内容时效设定。
- 主动失效:知识更新触发清理。
原理流程
- 区分稳定知识与动态信息。
- 设定 TTL 或禁用缓存。
- 资料更新时批量失效相关条目。
代码 / 图示
稳定知识: 可长 TTL 缓存
动态状态: 不缓存 / 短 TTL
知识更新 → 失效旧条目
常见误区
- 误区:所有问答都缓存;正解:实时数据复用旧答案会造成事实错误。
- 误区:缓存只进不出;正解:需要版本与 TTL 淘汰机制。
追问
- Q:如何判断条目可缓存? 答:内容不随时间、用户状态与库存变化。
- Q:失效粒度怎么选? 答:按文档版本或主题分组失效,避免整库清理。
10.5.1.4-011 批量请求(离线任务)如何平衡成本与吞吐?
一句话结论
离线任务可利用异步批处理与更低优先级通道降低单价或提高吞吐,但要接受更长等待;适合文档总结、离线标注等非实时任务;实时在线链路不混入离线排队;批量任务同样控制输出长度并按任务归集成本;批量价格与额度以供应商文档为准。
概念解释
- 异步批量:非实时、优先级低。
- 通道隔离:在线离线分开。
- 成本归集:按离线任务核算。
原理流程
- 区分实时与离线任务。
- 离线走批量通道排队执行。
- 完成后归集用量与结果。
代码 / 图示
在线: 低延迟通道
离线: 异步批量队列, 吞吐优先
常见误区
- 误区:离线任务挤占在线资源;正解:通道与配额隔离,保证在线 SLA。
- 误区:批量结果无需校验;正解:离线产物同样进入评测与抽检流程。
追问
- Q:批量任务失败怎么办? 答:按任务粒度重试,记录失败批次不影响其他条目。
- Q:批量收益怎么评估? 答:对比单条调用成本与吞吐,纳入整体成本口径。
10.5.1.4-012 如何估算一次 LLM 请求的 token 用量?
一句话结论
输入 token 由系统提示、历史、检索片段与指令组成;输出 token 由回答长度决定;可用 token 计数工具估算,中文与多语言分词效率因 tokenizer 而异;估算用于预算与限流,实际用量以接口返回的 usage 字段为准。
概念解释
- 输入构成:各部分分别计数。
- 输出估算:按回答长度。
- 实际口径:接口 usage 回报。
原理流程
- 拆解提示各部分长度。
- 估算输入与输出 token。
- 上线后用真实 usage 校准。
代码 / 图示
输入 = system + 历史 + 片段 + 指令
输出 ≈ 回答长度; usage 字段记录真实值
常见误区
- 误区:字符数等于 token 数;正解:token 取决于分词,语言与术语影响比例。
- 误区:只估算输入;正解:输出 token 单价通常更高,必须纳入估算。
追问
- Q:估算偏差大怎么办? 答:用真实 usage 回归各任务长度分布,修正预算。
- Q:上下文预留多少? 答:按窗口减去预留输出长度与安全余量配置。
10.5.1.4-013 多模型组合时如何避免重复计费?
一句话结论
链路中各次调用记录输入输出 token 与状态;升级重跑、重试与缓存命中分别归集;避免同一上下文反复全量发送;公共前缀与历史复用缓存;成本报表区分成功路径与重试浪费,定位重复调用环节。
概念解释
- 调用留痕:每步用量记录。
- 重试归集:失败重跑单独统计。
- 复用避免:前缀与缓存共享。
原理流程
- 链路每步上报 usage。
- 标记重试/升级/命中来源。
- 报表分析重复调用浪费。
代码 / 图示
首次调用 / 重试 / 升级 / 缓存命中 → 分别记账
常见误区
- 误区:重试成本忽略不计;正解:不稳定链路的重试浪费可能占比很高。
- 误区:每次调用全量拼历史;正解:可复用前缀与压缩历史减少重复输入。
追问
- Q:如何发现循环重试? 答:监控单任务调用次数分布,异常多次调用告警。
- Q:工具调用轮次成本? 答:每轮工具结果回灌都计入输入,需控制轮次。
10.5.1.4-014 模型版本切换对成本与缓存有什么影响?
一句话结论
换模型版本会使旧缓存前缀与适配器失效,重跑 prefill;版本切换需评估缓存重建成本;适配器/基座变更记录版本对应关系;灰度期间新旧版本并存,缓存分别隔离;切回旧版本时缓存可能已被淘汰。
概念解释
- 缓存绑定:前缀与模型版本相关。
- 并存隔离:灰度期两套缓存。
- 重建成本:失效后重新计算。
原理流程
- 版本变更前评估缓存影响。
- 灰度期缓存按版本隔离。
- 稳定后清理旧版本缓存。
代码 / 图示
模型版本 v1 缓存 / v2 缓存 隔离
切换 → 旧缓存失效 → 新前缀重建
常见误区
- 误区:换版本缓存自动通用;正解:KV 与版本绑定,跨版本不能直接复用。
- 误区:灰度不隔离缓存;正解:混用会导致前缀错配。
追问
- Q:版本回退缓存怎么办? 答:回退前确认旧缓存仍在,否则接受重建开销。
- Q:缓存容量规划? 答:按并存版本与活跃前缀数量估算缓存空间。
10.5.1.4-015 实时性要求高的场景如何选路径?
一句话结论
按首字延迟优先选小模型、短输出与缓存命中路径;复杂任务异步先给占位响应再补结果;超时阈值贴近 SLA 设置;延迟预算拆分到检索、工具与生成各环节,避免单一阶段拖垮整体;模型速度与能力以官方基准和实测为准。
概念解释
- 延迟预算:分段时限。
- 快路径:小模型/缓存/短输出。
- 异步占位:先响应后补全。
原理流程
- 设定整体与分段延迟上限。
- 快路径优先处理。
- 复杂任务异步补全。
代码 / 图示
检索时限 + 工具时限 + 生成时限 = 延迟预算
超时 → 兜底响应 / 异步补全
常见误区
- 误区:所有请求都等大模型完整回答;正解:高实时场景需要快路径与异步机制。
- 误区:只控制生成阶段;正解:检索与工具超时同样计入整体延迟。
追问
- Q:首字延迟怎么优化? 答:缓存命中、短前缀、流式输出与小模型快路径。
- Q:异步补全怎么告知用户? 答:明确状态提示,结果到达后推送或刷新。
10.5.1.4-016 线上成本异常上涨如何排查?
一句话结论
按链路分段拆解:输入膨胀(片段/历史/前缀)、输出失控(未限长)、重试与循环调用、缓存命中率下降、路由降级到贵模型、新增任务接入;对照历史基线定位异常环节;先止血(限长/限流/回滚配置)再归因修复。
概念解释
- 分段归因:输入/输出/重试/路由。
- 基线对照:历史用量曲线。
- 止血优先:先控后查。
原理流程
- 看总量与分组分布变化。
- 拆解各环节用量占比。
- 异常环节止血并修复。
代码 / 图示
输入↑? 输出↑? 重试↑? 命中↓? 路由升级↑?
止血: 限长/限流/回滚 → 归因修复
常见误区
- 误区:涨价归因于模型单价;正解:用量结构变化通常是主因。
- 误区:只看总费用;正解:不拆分组与环节无法定位。
追问
- Q:缓存命中率突降查什么? 答:提示前缀变动、知识更新失效与缓存淘汰策略。
- Q:输出失控怎么发现? 答:监控输出长度分布,超长比例异常告警。
10.5.1.4-017 如何评估缓存策略的净收益?
一句话结论
净收益 = 节省的生成成本/延迟 − 缓存存储与检索开销 − 误命中风险成本;统计命中率、命中节省 token 量与误命中案例;语义缓存需设抽检机制;稳定知识命中率高收益确定,动态内容缓存收益低且风险高。
概念解释
- 收益:节省调用与等待。
- 成本:存储/检索/误命中。
- 风险核算:错误复用代价。
原理流程
- 统计命中率与节省量。
- 计入缓存存储检索开销。
- 抽检误命中并评估风险。
代码 / 图示
净收益 = 节省token/延迟 − 缓存开销 − 误命中损失
常见误区
- 误区:命中率高就一定划算;正解:缓存存储与误命中风险也要计入。
- 误区:误命中无法发现;正解:抽检与反馈回路可以捕获错误复用案例。
追问
- Q:缓存检索开销大吗? 答:取决于规模,向量检索成本需单独核算。
- Q:什么时候关缓存? 答:命中率低、误命中风险高或内容强时效时。
10.5.1.4-018 成本限流与路由落地清单是什么?
一句话结论
清单:成本链路拆解与用量归集、前缀/语义缓存设计与时效策略、模型分级路由与升级通道、降级兜底预案、限流阈值基于压测、上下文与输出长度控制、成本延迟监控看板、异常上涨排查止血、版本缓存隔离、缓存净收益评估。
概念解释
- 成本治理:拆解、归集、优化。
- 流量治理:路由、限流、降级。
- 观测复盘:指标、告警、复盘。
原理流程
- 建立用量与延迟观测口径。
- 配置缓存、路由、限流与降级。
- 持续复盘异常并优化路径。
代码 / 图示
□ 成本拆解 □ 缓存策略与时效 □ 路由分级 □ 降级预案
□ 限流基线 □ 长度控制 □ 监控看板 □ 异常排查
□ 版本隔离 □ 缓存收益评估
常见误区
- 误区:成本优化就是换便宜模型;正解:缓存、裁剪、路由与重试治理的综合空间更大。
- 误区:降级策略上线前不演练;正解:未演练的兜底在真实故障时不可靠。
追问
- Q:部署基础优化手段? 答:见 10.5.1.2 推理优化与部署。
- Q:线上效果如何度量? 答:结合 10.5.1.3 离线评测与在线监控指标。