罗罗编程学习记录
本页内容 展开查看

10.5.1.4 成本、限流与多模型路由

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化

10.5.1.4-001 LLM 应用的成本由哪些部分构成?

一句话结论

成本主要来自输入 token、输出 token、检索/向量库存储与调用、工具与外部接口、托管算力或实例占用;不同模型单价与额度差异大,具体价格以供应商官方文档为准;工程上按 token 量、缓存命中率与任务路由共同控制总成本。

概念解释

  • token 计费:输入与输出分别计量。
  • 附属成本:存储、检索、工具调用。
  • 实例成本:自托管算力折旧。

原理流程

  1. 按链路拆解各计费环节。
  2. 统计各环节用量分布。
  3. 针对占比最大的环节优化。

代码 / 图示

成本 = 输入token + 输出token + 检索/存储 + 工具调用 + 算力实例

常见误区

  • 误区:只看模型单价;正解:检索、工具与长上下文附加成本常被忽略。
  • 误区:输出与输入同价;正解:多数供应商输出单价高于输入,以官方文档为准。

追问

  • Q:哪部分通常占比高? 答:长上下文输入与长输出,具体按业务用量统计。
  • Q:成本如何按任务归集? 答:按任务/租户记录 token 量与附属调用,便于核算。

10.5.1.4-002 什么是前缀缓存,为什么能省成本?

一句话结论

前缀缓存复用相同 system prompt、固定模板与历史会话前缀的 KV Cache,避免重复 prefill 计算;多个请求共享同一段前缀时显著降低输入处理开销;缓存命中率与前缀稳定度决定收益,实现以推理框架支持为准。

概念解释

  • 前缀共享:固定开头重复出现。
  • KV 复用:跳过重复 prefill。
  • 命中率:可复用比例。

原理流程

  1. 抽取稳定前缀置于提示前部。
  2. 框架缓存前缀 K/V。
  3. 后续请求直接复用。

代码 / 图示

[system 固定前缀] + [用户可变内容]
相同前缀 → 命中缓存, 只处理可变部分

常见误区

  • 误区:任意后缀都能缓存;正解:前缀一致才可复用,中间插入变动会失效。
  • 误区:缓存永久保留;正解:缓存有容量与淘汰策略,命中率需观测。

追问

  • Q:前缀为什么要放最前? 答:KV 按序列位置复用,前缀一致才能命中。
  • Q:命中率怎么衡量? 答:统计命中请求占比与节省的 prefill token 量。

10.5.1.4-003 语义缓存与精确缓存有什么区别?

一句话结论

精确缓存按请求文本匹配复用历史回答;语义缓存按向量相似度判定相似问题复用答案,覆盖面更广但有误命中风险,需要相似度阈值与适用场景限制;高风险事实任务不建议直接复用语义缓存答案。

概念解释

  • 精确匹配:文本完全一致。
  • 语义相似:向量近邻判定。
  • 阈值风险:相似不等于等价。

原理流程

  1. 缓存历史问答向量与答案。
  2. 新请求算向量检索相似项。
  3. 超阈值且场景允许才复用。

代码 / 图示

精确: hash(question) 命中
语义: emb(q) 近邻 + 相似度阈值 → 复用答案

常见误区

  • 误区:语义缓存可用于所有回答;正解:涉及实时数据、个性化结论的问题不能复用旧答案。
  • 误区:阈值越低越好命中;正解:低阈值误命中会把旧结论当成新答案。

追问

  • Q:缓存答案保留什么? 答:问题向量、回答、来源时间与适用范围,过期失效。
  • Q:哪些问题适合语义缓存? 答:高频标准问答、固定知识类,且答案不随时间变化。

10.5.1.4-004 模型路由(model routing)如何设计?

一句话结论

按问题难度、任务类型与风险等级分配大小模型:简单/高频问题走小模型或缓存,复杂/高风险走大模型;路由可由规则、分类模型或置信度判断实现;路由后保留升级通道,误判可回退强模型;模型能力与价格以官方文档为准。

概念解释

  • 分级分配:小模型低成本。
  • 路由判断:规则/分类/置信度。
  • 升级通道:误判回退强模型。

原理流程

  1. 定义任务等级与模型档位。
  2. 路由判断选择档位。
  3. 低置信或失败升级重跑。

代码 / 图示

请求 → 路由分类 → 小模型 / 大模型
小模型低置信/失败 → 升级大模型

常见误区

  • 误区:路由只看问题长度;正解:难度、风险与任务类型才是分级依据。
  • 误区:路由分流后不再校验;正解:小模型输出仍需格式与质量兜底。

追问

  • Q:路由误判怎么发现? 答:抽样对比大小模型结果,统计误分流比例。
  • Q:多模型能力怎么记录? 答:各档能力边界、价格与限额以官方文档为准并定期更新。

10.5.1.4-005 什么是降级策略,LLM 链路如何降级?

一句话结论

降级在主模型超时、过载或不可用时切换备用链路:小模型/模板回答/检索直出/转人工;降级按场景选择可接受的兜底形式;降级路径要预先演练并记录触发原因,不能静默返回错误内容。

概念解释

  • 触发条件:超时/过载/故障。
  • 兜底形态:备用模型/模板/人工。
  • 可追溯:降级事件记录。

原理流程

  1. 定义各场景兜底方案。
  2. 超时或异常触发降级。
  3. 记录降级原因与结果供复盘。

代码 / 图示

主模型超时/故障 → 备用模型 → 模板兜底 → 转人工

常见误区

  • 误区:降级就是返回报错;正解:多数场景有可接受的兜底回答或人工通道。
  • 误区:降级链路不测试;正解:故障时兜底若不可用等于无降级。

追问

  • Q:哪些场景必须转人工? 答:投诉、资金、高风险承诺等主链路不可用时。
  • Q:降级如何感知质量? 答:兜底回答标记来源,统计降级占比与用户反馈。

10.5.1.4-006 限流在 LLM 服务中如何配置?

一句话结论

按租户/接口/模型档位设置并发与 token 速率上限,保护后端与成本;超限走排队、降级或明确拒绝;限流阈值来自压测容量基线,而不是拍脑袋;区分请求数限流与 token 量限流,长输出请求按 token 占用估算。

概念解释

  • 配额维度:并发/请求速率/token 速率。
  • 容量基线:压测得出的安全水位。
  • 超限处理:排队/降级/拒绝。

原理流程

  1. 压测得到安全并发与 token 上限。
  2. 按租户与档位配置限流。
  3. 超限执行兜底并记录。

代码 / 图示

容量水位 → 限流阈值
超限: 排队等待 / 降级 / 限流拒绝(带提示)

常见误区

  • 误区:只限制请求数;正解:单请求长上下文与长输出占用大量 token,需按 token 维度控制。
  • 误区:限流阈值固定不变;正解:版本与容量变化后需重新压测校准。

追问

  • Q:突发流量怎么处理? 答:预留排队缓冲与峰值容量,关键任务优先级更高。
  • Q:限流响应怎么写? 答:明确提示稍后重试或切换兜底,不静默丢弃。

10.5.1.4-007 如何控制长上下文带来的成本?

一句话结论

按任务压缩输入:精简系统提示、控制检索片段数量与长度、会话历史按需摘要、去除冗余附件;输入 token 直接计入成本;上线前统计提示构成,识别可裁剪的重复片段;输出长度同样按 max_tokens 控制。

概念解释

  • 输入裁剪:提示与片段预算。
  • 历史摘要:压缩早期对话。
  • 成本统计:按构成拆解。

原理流程

  1. 拆解提示各部分 token 占比。
  2. 裁剪冗余与压缩历史。
  3. 统计裁剪前后成本变化。

代码 / 图示

system + 历史 + 检索片段 + 任务指令
压缩: 摘要历史 / 片段条数上限 / 模板精简

常见误区

  • 误区:上下文越全效果越好;正解:冗余片段稀释注意力并增加成本,需取舍。
  • 误区:历史全部塞入;正解:早期无关信息应摘要或淘汰。

追问

  • Q:片段数量怎么定? 答:按检索评测表现与成本预算标定,不盲目堆条数。
  • Q:哪些信息不能压? 答:用户身份、当前任务约束与关键槽位需保留。

10.5.1.4-008 成本与延迟之间如何权衡?

一句话结论

缓存与小模型路由压低单次成本,但可能牺牲质量或增加升级重跑;大模型直接回答质量稳但成本与延迟高;权衡以任务风险分级:低风险高频走便宜路径,高风险走强模型;每条路径都要测质量兜底,不能只省不验。

概念解释

  • 成本路径:便宜但可能重跑。
  • 质量路径:强模型高成本。
  • 风险分级:按场景取舍。

原理流程

  1. 任务按风险分级。
  2. 各级选对应模型与缓存策略。
  3. 抽样验证质量与升级率。

代码 / 图示

高频低风险: 缓存/小模型
低频高风险: 大模型
升级重跑成本计入整体口径

常见误区

  • 误区:平均成本低就是优化成功;正解:质量下降导致返工与投诉,隐性成本更高。
  • 误区:降级路径不记录;正解:升级率与兜底占比必须纳入成本核算。

追问

  • Q:权衡指标有哪些? 答:单请求成本、P95 延迟、任务完成率、升级率与用户反馈。
  • Q:如何避免双重计费? 答:升级重跑只计最终成功路径,失败重跑成本单独归集。

10.5.1.4-009 线上需要监控哪些成本与延迟指标?

一句话结论

监控:请求量、输入/输出 token 量、单请求成本、缓存命中率、各模型档位调用占比、TTFT 与端到端延迟、降级与升级率、失败率;按任务/租户分组;指标用于发现异常波动与容量成本优化点,阈值对照压测基线设定。

概念解释

  • 成本指标:token 与费用归集。
  • 延迟指标:首字与整体时延。
  • 路由指标:命中/升级/降级占比。

原理流程

  1. 链路埋点记录各环节用量。
  2. 分组聚合指标看板。
  3. 异常波动告警并归因。

代码 / 图示

token 量 · 单请求成本 · 命中率 · 档位占比
TTFT · 端到端时延 · 升级/降级率 · 失败率

常见误区

  • 误区:只看总账费用;正解:不分组定位不到是哪个任务或租户推高成本。
  • 误区:延迟只记平均值;正解:尾延迟与排队时长才反映高峰体验。

追问

  • Q:成本异常先查什么? 答:输入片段膨胀、输出失控、缓存失效与路由降级。
  • Q:告警阈值怎么设? 答:对照历史基线与压测水位,按偏离幅度触发。

10.5.1.4-010 缓存答案如何处理时效性?

一句话结论

缓存条目记录生成时间、来源版本与适用范围;有时效性的问题(库存、价格、状态)不进语义缓存或设短 TTL;知识更新后相关缓存主动失效;复用前校验来源版本未过期,避免旧事实被重复回答。

概念解释

  • 时效标记:时间与来源版本。
  • TTL 策略:按内容时效设定。
  • 主动失效:知识更新触发清理。

原理流程

  1. 区分稳定知识与动态信息。
  2. 设定 TTL 或禁用缓存。
  3. 资料更新时批量失效相关条目。

代码 / 图示

稳定知识: 可长 TTL 缓存
动态状态: 不缓存 / 短 TTL
知识更新 → 失效旧条目

常见误区

  • 误区:所有问答都缓存;正解:实时数据复用旧答案会造成事实错误。
  • 误区:缓存只进不出;正解:需要版本与 TTL 淘汰机制。

追问

  • Q:如何判断条目可缓存? 答:内容不随时间、用户状态与库存变化。
  • Q:失效粒度怎么选? 答:按文档版本或主题分组失效,避免整库清理。

10.5.1.4-011 批量请求(离线任务)如何平衡成本与吞吐?

一句话结论

离线任务可利用异步批处理与更低优先级通道降低单价或提高吞吐,但要接受更长等待;适合文档总结、离线标注等非实时任务;实时在线链路不混入离线排队;批量任务同样控制输出长度并按任务归集成本;批量价格与额度以供应商文档为准。

概念解释

  • 异步批量:非实时、优先级低。
  • 通道隔离:在线离线分开。
  • 成本归集:按离线任务核算。

原理流程

  1. 区分实时与离线任务。
  2. 离线走批量通道排队执行。
  3. 完成后归集用量与结果。

代码 / 图示

在线: 低延迟通道
离线: 异步批量队列, 吞吐优先

常见误区

  • 误区:离线任务挤占在线资源;正解:通道与配额隔离,保证在线 SLA。
  • 误区:批量结果无需校验;正解:离线产物同样进入评测与抽检流程。

追问

  • Q:批量任务失败怎么办? 答:按任务粒度重试,记录失败批次不影响其他条目。
  • Q:批量收益怎么评估? 答:对比单条调用成本与吞吐,纳入整体成本口径。

10.5.1.4-012 如何估算一次 LLM 请求的 token 用量?

一句话结论

输入 token 由系统提示、历史、检索片段与指令组成;输出 token 由回答长度决定;可用 token 计数工具估算,中文与多语言分词效率因 tokenizer 而异;估算用于预算与限流,实际用量以接口返回的 usage 字段为准。

概念解释

  • 输入构成:各部分分别计数。
  • 输出估算:按回答长度。
  • 实际口径:接口 usage 回报。

原理流程

  1. 拆解提示各部分长度。
  2. 估算输入与输出 token。
  3. 上线后用真实 usage 校准。

代码 / 图示

输入 = system + 历史 + 片段 + 指令
输出 ≈ 回答长度; usage 字段记录真实值

常见误区

  • 误区:字符数等于 token 数;正解:token 取决于分词,语言与术语影响比例。
  • 误区:只估算输入;正解:输出 token 单价通常更高,必须纳入估算。

追问

  • Q:估算偏差大怎么办? 答:用真实 usage 回归各任务长度分布,修正预算。
  • Q:上下文预留多少? 答:按窗口减去预留输出长度与安全余量配置。

10.5.1.4-013 多模型组合时如何避免重复计费?

一句话结论

链路中各次调用记录输入输出 token 与状态;升级重跑、重试与缓存命中分别归集;避免同一上下文反复全量发送;公共前缀与历史复用缓存;成本报表区分成功路径与重试浪费,定位重复调用环节。

概念解释

  • 调用留痕:每步用量记录。
  • 重试归集:失败重跑单独统计。
  • 复用避免:前缀与缓存共享。

原理流程

  1. 链路每步上报 usage。
  2. 标记重试/升级/命中来源。
  3. 报表分析重复调用浪费。

代码 / 图示

首次调用 / 重试 / 升级 / 缓存命中 → 分别记账

常见误区

  • 误区:重试成本忽略不计;正解:不稳定链路的重试浪费可能占比很高。
  • 误区:每次调用全量拼历史;正解:可复用前缀与压缩历史减少重复输入。

追问

  • Q:如何发现循环重试? 答:监控单任务调用次数分布,异常多次调用告警。
  • Q:工具调用轮次成本? 答:每轮工具结果回灌都计入输入,需控制轮次。

10.5.1.4-014 模型版本切换对成本与缓存有什么影响?

一句话结论

换模型版本会使旧缓存前缀与适配器失效,重跑 prefill;版本切换需评估缓存重建成本;适配器/基座变更记录版本对应关系;灰度期间新旧版本并存,缓存分别隔离;切回旧版本时缓存可能已被淘汰。

概念解释

  • 缓存绑定:前缀与模型版本相关。
  • 并存隔离:灰度期两套缓存。
  • 重建成本:失效后重新计算。

原理流程

  1. 版本变更前评估缓存影响。
  2. 灰度期缓存按版本隔离。
  3. 稳定后清理旧版本缓存。

代码 / 图示

模型版本 v1 缓存 / v2 缓存 隔离
切换 → 旧缓存失效 → 新前缀重建

常见误区

  • 误区:换版本缓存自动通用;正解:KV 与版本绑定,跨版本不能直接复用。
  • 误区:灰度不隔离缓存;正解:混用会导致前缀错配。

追问

  • Q:版本回退缓存怎么办? 答:回退前确认旧缓存仍在,否则接受重建开销。
  • Q:缓存容量规划? 答:按并存版本与活跃前缀数量估算缓存空间。

10.5.1.4-015 实时性要求高的场景如何选路径?

一句话结论

按首字延迟优先选小模型、短输出与缓存命中路径;复杂任务异步先给占位响应再补结果;超时阈值贴近 SLA 设置;延迟预算拆分到检索、工具与生成各环节,避免单一阶段拖垮整体;模型速度与能力以官方基准和实测为准。

概念解释

  • 延迟预算:分段时限。
  • 快路径:小模型/缓存/短输出。
  • 异步占位:先响应后补全。

原理流程

  1. 设定整体与分段延迟上限。
  2. 快路径优先处理。
  3. 复杂任务异步补全。

代码 / 图示

检索时限 + 工具时限 + 生成时限 = 延迟预算
超时 → 兜底响应 / 异步补全

常见误区

  • 误区:所有请求都等大模型完整回答;正解:高实时场景需要快路径与异步机制。
  • 误区:只控制生成阶段;正解:检索与工具超时同样计入整体延迟。

追问

  • Q:首字延迟怎么优化? 答:缓存命中、短前缀、流式输出与小模型快路径。
  • Q:异步补全怎么告知用户? 答:明确状态提示,结果到达后推送或刷新。

10.5.1.4-016 线上成本异常上涨如何排查?

一句话结论

按链路分段拆解:输入膨胀(片段/历史/前缀)、输出失控(未限长)、重试与循环调用、缓存命中率下降、路由降级到贵模型、新增任务接入;对照历史基线定位异常环节;先止血(限长/限流/回滚配置)再归因修复。

概念解释

  • 分段归因:输入/输出/重试/路由。
  • 基线对照:历史用量曲线。
  • 止血优先:先控后查。

原理流程

  1. 看总量与分组分布变化。
  2. 拆解各环节用量占比。
  3. 异常环节止血并修复。

代码 / 图示

输入↑? 输出↑? 重试↑? 命中↓? 路由升级↑?
止血: 限长/限流/回滚 → 归因修复

常见误区

  • 误区:涨价归因于模型单价;正解:用量结构变化通常是主因。
  • 误区:只看总费用;正解:不拆分组与环节无法定位。

追问

  • Q:缓存命中率突降查什么? 答:提示前缀变动、知识更新失效与缓存淘汰策略。
  • Q:输出失控怎么发现? 答:监控输出长度分布,超长比例异常告警。

10.5.1.4-017 如何评估缓存策略的净收益?

一句话结论

净收益 = 节省的生成成本/延迟 − 缓存存储与检索开销 − 误命中风险成本;统计命中率、命中节省 token 量与误命中案例;语义缓存需设抽检机制;稳定知识命中率高收益确定,动态内容缓存收益低且风险高。

概念解释

  • 收益:节省调用与等待。
  • 成本:存储/检索/误命中。
  • 风险核算:错误复用代价。

原理流程

  1. 统计命中率与节省量。
  2. 计入缓存存储检索开销。
  3. 抽检误命中并评估风险。

代码 / 图示

净收益 = 节省token/延迟 − 缓存开销 − 误命中损失

常见误区

  • 误区:命中率高就一定划算;正解:缓存存储与误命中风险也要计入。
  • 误区:误命中无法发现;正解:抽检与反馈回路可以捕获错误复用案例。

追问

  • Q:缓存检索开销大吗? 答:取决于规模,向量检索成本需单独核算。
  • Q:什么时候关缓存? 答:命中率低、误命中风险高或内容强时效时。

10.5.1.4-018 成本限流与路由落地清单是什么?

一句话结论

清单:成本链路拆解与用量归集、前缀/语义缓存设计与时效策略、模型分级路由与升级通道、降级兜底预案、限流阈值基于压测、上下文与输出长度控制、成本延迟监控看板、异常上涨排查止血、版本缓存隔离、缓存净收益评估。

概念解释

  • 成本治理:拆解、归集、优化。
  • 流量治理:路由、限流、降级。
  • 观测复盘:指标、告警、复盘。

原理流程

  1. 建立用量与延迟观测口径。
  2. 配置缓存、路由、限流与降级。
  3. 持续复盘异常并优化路径。

代码 / 图示

□ 成本拆解  □ 缓存策略与时效  □ 路由分级  □ 降级预案
□ 限流基线  □ 长度控制  □ 监控看板  □ 异常排查
□ 版本隔离  □ 缓存收益评估

常见误区

  • 误区:成本优化就是换便宜模型;正解:缓存、裁剪、路由与重试治理的综合空间更大。
  • 误区:降级策略上线前不演练;正解:未演练的兜底在真实故障时不可靠。

追问

  • Q:部署基础优化手段? 答:见 10.5.1.2 推理优化与部署。
  • Q:线上效果如何度量? 答:结合 10.5.1.3 离线评测与在线监控指标。