10.11.3 Token 计费与成本预算
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程
覆盖范围
- Token 计费模型(输入/输出分别计价)
- Token 计数方法
- 成本估算公式
- 成本优化手段
- 预算与配额管理
- 成本监控与告警
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.11.3-001 | Token 怎么计费? | 基础 | ★★★★ |
| 10.11.3-002 | Token 怎么计数? | 基础 | ★★★ |
| 10.11.3-003 | 怎么估算 API 成本? | 进阶 | ★★★★ |
| 10.11.3-004 | 怎么降低 API 成本? | 进阶 | ★★★★ |
| 10.11.3-005 | 预算和配额怎么管? | 基础 | ★★★ |
| 10.11.3-006 | 缓存怎么省钱? | 进阶 | ★★★ |
| 10.11.3-007 | 成本怎么监控? | 基础 | ★★★ |
| 10.11.3-008 | 输入输出 token 成本差异? | 基础 | ★★★ |
10.11.3-001 Token 怎么计费?
频率 ★★★★ | 难度 基础
一句话结论
LLM API 按 token 计费:输入 token(prompt)和输出 token(生成内容)分别计价,输出通常比输入贵 3~5 倍;计费单位是每百万 token($/M token 或 ¥/M token)。
概念解释
- 输入 token:prompt 里的 token,价格低。
- 输出 token:模型生成的 token,价格高(通常是输入的 3~5 倍)。
- 计费单位:每百万 token(M token)。
- 例子:GPT-4o 输入 $2/M,输出 $8/M。
原理流程
- 每次请求,供应商统计输入和输出 token。
- 费用 = 输入 token × 输入单价 + 输出 token × 输出单价。
- 按账单周期累计。
代码 / 示例
Token 计费示例 (GPT-4o):
输入: $2 / 百万 token
输出: $8 / 百万 token
一次请求: 输入 1000 token, 输出 500 token
费用 = 1000/1M × $2 + 500/1M × $8
= $0.002 + $0.004
= $0.006
常见误区
- 误区:按字数计费;正解:按 token 计费,不是按字数,中文一个字可能是 1~2 个 token。
- 误区:输入输出同价;正解:输出比输入贵 3~5 倍,因为生成是自回归逐 token 的,成本高。
追问
- Q:怎么知道每次用了多少 token? A:API 响应里有 usage 字段,包含 prompt_tokens 和 completion_tokens。
- Q:function calling 算 token 吗? A:算,工具定义和工具调用的参数都算 token。
10.11.3-002 Token 怎么计数?
频率 ★★★ | 难度 基础
一句话结论
Token 计数用 tokenizer:OpenAI 用 tiktoken,Anthropic 用自己的 tokenizer,国内模型各有自己的 tokenizer;中文约 1 字 = 1~2 token,英文约 1 词 = 1~2 token。
概念解释
- tokenizer:把文本切成 token 的工具。
- 不同模型 tokenizer 不同:GPT、Claude、Qwen 各有各的 tokenizer。
- 中文:约 1 字 = 1~2 token。
- 英文:约 1 词 = 1~1.5 token。
原理流程
- 用对应模型的 tokenizer。
- 文本输入,输出 token 列表和数量。
- 估算成本时用 tokenizer 计数。
代码 / 示例
import tiktoken
# OpenAI tokenizer
enc = tiktoken.encoding_for_model("gpt-4o")
text = "你好, 这是一个测试"
tokens = enc.encode(text)
print(f"token 数: {len(tokens)}")
# 中文约 1 字 = 1~2 token
常见误区
- 误区:所有模型 token 计数一样;正解:不同模型 tokenizer 不同,同样的文本 token 数不同。
- 误区:按字符数估算 token 就行;正解:要精确用 tokenizer 数,中文和英文差异大。
追问
- Q:怎么提前估算 token? A:用对应模型的 tokenizer 离线数,不用真的发请求。
- Q:system prompt 算 token 吗? A:算,所有输入都算 token。
10.11.3-003 怎么估算 API 成本?
频率 ★★★★ | 难度 进阶
一句话结论
成本估算公式:月成本 = 日均请求数 × 平均输入 token × 输入单价 + 平均输出 token × 输出单价 × 30;按业务量估算,留 20% 余量。
概念解释
- 日均请求数:业务量。
- 平均输入 token:每次请求的 prompt 长度。
- 平均输出 token:每次生成的内容长度。
- 月成本 = 日成本 × 30。
原理流程
- 估算日均请求数。
- 估算平均输入和输出 token。
- 算单次成本。
- 乘 30 天,加余量。
代码 / 示例
成本估算:
日均请求: 1000 次
平均输入: 500 token
平均输出: 300 token
模型: DeepSeek-V3 (输入 ¥1/M, 输出 ¥2/M)
单次成本: 500/1M × ¥1 + 300/1M × ¥2 = ¥0.0005 + ¥0.0006 = ¥0.0011
日成本: 1000 × ¥0.0011 = ¥1.1
月成本: ¥1.1 × 30 = ¥33
加 20% 余量: ¥40/月
常见误区
- 误区:只算模型成本;正解:还有向量库、服务器、存储等成本,模型成本只是一部分。
- 误区:成本估算一次就够了;正解:业务增长后要重新估算,监控实际成本。
追问
- Q:怎么准确估算? A:先小规模跑,记录真实 token 消耗,再按业务量推算。
- Q:Agent 任务成本怎么估? A:Agent 可能多次调用 LLM,成本是单次的数倍,要按最大轮次估算。
10.11.3-004 怎么降低 API 成本?
频率 ★★★★ | 难度 进阶
一句话结论
成本优化:用小模型做简单任务、精简 prompt(减少输入 token)、限制输出长度、缓存重复请求、批量处理、用更便宜的模型;核心是"够⽤就好",不要都用顶级模型。
概念解释
- 模型分级:简单任务用小模型,复杂任务用大模型。
- 精简 prompt:减少 system prompt 和 few-shot 示例。
- 限制输出:max_tokens 设上限,不要生成太长。
- 缓存:相同请求直接返回缓存结果。
- 批量:有些 API 批量调用有折扣。
原理流程
- 按任务复杂度选模型:简单用小模型,复杂用大模型。
- 精简 prompt:去掉不必要的上下文。
- 限制输出长度:max_tokens 设合理值。
- 缓存:相同 prompt 直接返回缓存。
- 监控成本,持续优化。
代码 / 示例
成本优化手段:
1. 模型分级: 简单任务用 gpt-4o-mini, 复杂用 gpt-4o
2. 精简 prompt: 去掉冗余的 system prompt 和 few-shot
3. 限制输出: max_tokens 设上限
4. 缓存: 相同问题缓存结果
5. 批量: 批量调用有折扣
6. 开源模型: 量大自部署更便宜
常见误区
- 误区:都用最好的模型效果最好;正解:简单任务用小模型效果一样,成本差 10 倍。
- 误区:prompt 越长越好;正解:prompt 越长输入 token 越多,成本越高,要精简。
追问
- Q:怎么知道哪些任务用小模型就行? A:在小模型上测,效果够就用小模型,不够再升大模型。
- Q:缓存怎么设计? A:按 prompt hash 缓存,设置过期时间,敏感数据不缓存。
10.11.3-005 预算和配额怎么管?
频率 ★★★ | 难度 基础
一句话结论
预算管理:设月度预算上限,超过就告警或限流;按用户/按团队分配配额,避免单个用户烧光预算;定期审计成本。
概念解释
- 月度预算:整个项目每月最多花多少。
- 配额:按用户/团队分配额度。
- 告警:快到预算时告警。
- 限流:超预算时限流或降级。
原理流程
- 设月度预算。
- 按用户/团队分配配额。
- 实时统计消耗。
- 快到预算时告警。
- 超预算时限流或降级。
代码 / 示例
预算管理:
月度总预算: ¥1000
按团队分配: 团队A ¥400, 团队B ¥600
告警: 消耗 80% 时告警
限流: 消耗 100% 时停止新请求
常见误区
- 误区:预算设了就不用管;正解:要实时监控,超预算及时告警和限流。
- 误区:配额越细越好;正解:太细增加管理成本,按团队或项目分配即可。
追问
- Q:怎么实时统计成本? A:API 响应里有 usage,累计统计,按项目/用户分组。
- Q:超预算了怎么办? A:先告警,还超就限流到小模型或暂停服务。
10.11.3-006 缓存怎么省钱?
频率 ★★★ | 难度 进阶
一句话结论
缓存:相同或相似的请求直接返回缓存结果,不调用 LLM;适合常见问题、固定回答、FAQ;缓存命中率越高,省的钱越多。
概念解释
- 精确缓存:完全相同的 prompt 命中缓存。
- 语义缓存:相似的 prompt 命中(用 Embedding 相似度)。
- 缓存键:prompt hash 或 Embedding。
- 过期:缓存设 TTL,避免旧结果。
原理流程
- 请求进来,先查缓存。
- 精确命中:直接返回缓存结果。
- 语义命中:相似 prompt 也返回。
- 未命中:调用 LLM,结果存入缓存。
代码 / 示例
# 精确缓存
import hashlib, json
def get_cached(prompt):
key = hashlib.md5(prompt.encode()).hexdigest()
if redis.exists(key):
return redis.get(key)
result = call_llm(prompt)
redis.setex(key, 3600, result) # 缓存 1 小时
return result
常见误区
- 误区:缓存越多越好;正解:缓存占存储,且敏感数据不能缓存,要权衡。
- 误区:语义缓存很准;正解:语义缓存有误判,适合对答案要求不严格的场景。
追问
- Q:哪些场景适合缓存? A:FAQ、常见问题、固定回答,答案相对固定的场景。
- Q:缓存怎么更新? A:设 TTL 过期,或模型更新时清空缓存。
10.11.3-007 成本怎么监控?
频率 ★★★ | 难度 基础
一句话结论
成本监控:实时统计每日/每月 token 消耗和费用,按项目/用户/模型分组;异常波动告警,成本趋势可视化;是成本控制的基础。
概念解释
- 实时统计:每次请求记录 token 和费用。
- 分组:按项目、用户、模型分组统计。
- 趋势:日/周/月成本趋势。
- 告警:异常波动(突增)告警。
原理流程
- 每次请求记录 usage 和费用。
- 存到数据库或日志。
- 可视化看板(Grafana)展示趋势。
- 异常波动告警。
代码 / 示例
成本监控指标:
- 日 token 消耗 (输入/输出)
- 日费用
- 按项目/用户/模型分组
- 成本趋势 (7天/30天)
- 异常波动告警
常见误区
- 误区:月底看账单就行;正解:要实时监控,异常波动及时发现,不然月底一看账单吓一跳。
- 误区:只看总成本;正解:要按项目/用户分组,看哪里烧钱最多。
追问
- Q:怎么统计成本? A:每次 API 调用记录 usage,累计到数据库,按维度分组。
- Q:成本突增怎么排查? A:看哪个项目/用户突增,看是不是有 bug 导致死循环。
10.11.3-008 输入输出 token 成本差异?
频率 ★★★ | 难度 基础
一句话结论
输出 token 比输入贵 3~5 倍,因为生成是自回归逐 token 的,每步都要做一次前向计算,成本远高于一次 prefill;优化成本时,控制输出长度比减少输入更有效。
概念解释
- 输入:一次 prefill,并行计算,成本低。
- 输出:自回归逐 token,每步一次前向,成本高。
- 价差:输出通常是输入的 3~5 倍。
- 优化:控制输出长度比减少输入更省钱。
原理流程
- 输入:一次 prefill,成本低。
- 输出:每个 token 一次前向,成本高。
- 输出越长,成本越高。
- 控制 max_tokens 比精简 prompt 更省钱。
代码 / 示例
输入 vs 输出成本 (GPT-4o):
输入: $2/M token
输出: $8/M token (4 倍)
输入 1000 token: $0.002
输出 1000 token: $0.008
→ 控制输出长度更重要
常见误区
- 误区:精简 prompt 最省钱;正解:输出比输入贵,控制输出长度更有效。
- 误区:输出长一点没关系;正解:输出越长成本越高,设合理的 max_tokens。
追问
- Q:怎么控制输出长度? A:设 max_tokens 上限,在 prompt 里要求简洁回答。
- Q:为什么输出贵? A:生成是自回归,每步都要读全部权重做前向,计算量是 prefill 的 N 倍。
待整理清单
- [ ] 多模型成本对比
- [ ] 成本优化的 ROI 分析
- [ ] 内部成本分摊
- [ ] 批量 API 折扣利用
- [ ] 开源模型 vs API 成本对比