罗罗编程学习记录
本页内容 展开查看

10.11.3 Token 计费与成本预算

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程

覆盖范围

  • Token 计费模型(输入/输出分别计价)
  • Token 计数方法
  • 成本估算公式
  • 成本优化手段
  • 预算与配额管理
  • 成本监控与告警

高频题速览

编号 题目 难度 频率
10.11.3-001 Token 怎么计费? 基础 ★★★★
10.11.3-002 Token 怎么计数? 基础 ★★★
10.11.3-003 怎么估算 API 成本? 进阶 ★★★★
10.11.3-004 怎么降低 API 成本? 进阶 ★★★★
10.11.3-005 预算和配额怎么管? 基础 ★★★
10.11.3-006 缓存怎么省钱? 进阶 ★★★
10.11.3-007 成本怎么监控? 基础 ★★★
10.11.3-008 输入输出 token 成本差异? 基础 ★★★

10.11.3-001 Token 怎么计费?

频率 ★★★★ | 难度 基础

一句话结论

LLM API 按 token 计费:输入 token(prompt)和输出 token(生成内容)分别计价,输出通常比输入贵 3~5 倍;计费单位是每百万 token($/M token 或 ¥/M token)。

概念解释

  • 输入 token:prompt 里的 token,价格低。
  • 输出 token:模型生成的 token,价格高(通常是输入的 3~5 倍)。
  • 计费单位:每百万 token(M token)。
  • 例子:GPT-4o 输入 $2/M,输出 $8/M。

原理流程

  1. 每次请求,供应商统计输入和输出 token。
  2. 费用 = 输入 token × 输入单价 + 输出 token × 输出单价。
  3. 按账单周期累计。

代码 / 示例

Token 计费示例 (GPT-4o):
  输入: $2 / 百万 token
  输出: $8 / 百万 token

  一次请求: 输入 1000 token, 输出 500 token
  费用 = 1000/1M × $2 + 500/1M × $8
       = $0.002 + $0.004
       = $0.006

常见误区

  • 误区:按字数计费;正解:按 token 计费,不是按字数,中文一个字可能是 1~2 个 token。
  • 误区:输入输出同价;正解:输出比输入贵 3~5 倍,因为生成是自回归逐 token 的,成本高。

追问

  • Q:怎么知道每次用了多少 token? A:API 响应里有 usage 字段,包含 prompt_tokens 和 completion_tokens。
  • Q:function calling 算 token 吗? A:算,工具定义和工具调用的参数都算 token。

10.11.3-002 Token 怎么计数?

频率 ★★★ | 难度 基础

一句话结论

Token 计数用 tokenizer:OpenAI 用 tiktoken,Anthropic 用自己的 tokenizer,国内模型各有自己的 tokenizer;中文约 1 字 = 1~2 token,英文约 1 词 = 1~2 token。

概念解释

  • tokenizer:把文本切成 token 的工具。
  • 不同模型 tokenizer 不同:GPT、Claude、Qwen 各有各的 tokenizer。
  • 中文:约 1 字 = 1~2 token。
  • 英文:约 1 词 = 1~1.5 token。

原理流程

  1. 用对应模型的 tokenizer。
  2. 文本输入,输出 token 列表和数量。
  3. 估算成本时用 tokenizer 计数。

代码 / 示例

import tiktoken

# OpenAI tokenizer
enc = tiktoken.encoding_for_model("gpt-4o")

text = "你好, 这是一个测试"
tokens = enc.encode(text)
print(f"token 数: {len(tokens)}")
# 中文约 1 字 = 1~2 token

常见误区

  • 误区:所有模型 token 计数一样;正解:不同模型 tokenizer 不同,同样的文本 token 数不同。
  • 误区:按字符数估算 token 就行;正解:要精确用 tokenizer 数,中文和英文差异大。

追问

  • Q:怎么提前估算 token? A:用对应模型的 tokenizer 离线数,不用真的发请求。
  • Q:system prompt 算 token 吗? A:算,所有输入都算 token。

10.11.3-003 怎么估算 API 成本?

频率 ★★★★ | 难度 进阶

一句话结论

成本估算公式:月成本 = 日均请求数 × 平均输入 token × 输入单价 + 平均输出 token × 输出单价 × 30;按业务量估算,留 20% 余量。

概念解释

  • 日均请求数:业务量。
  • 平均输入 token:每次请求的 prompt 长度。
  • 平均输出 token:每次生成的内容长度。
  • 月成本 = 日成本 × 30。

原理流程

  1. 估算日均请求数。
  2. 估算平均输入和输出 token。
  3. 算单次成本。
  4. 乘 30 天,加余量。

代码 / 示例

成本估算:
  日均请求: 1000 次
  平均输入: 500 token
  平均输出: 300 token
  模型: DeepSeek-V3 (输入 ¥1/M, 输出 ¥2/M)

  单次成本: 500/1M × ¥1 + 300/1M × ¥2 = ¥0.0005 + ¥0.0006 = ¥0.0011
  日成本: 1000 × ¥0.0011 = ¥1.1
  月成本: ¥1.1 × 30 = ¥33

  加 20% 余量: ¥40/月

常见误区

  • 误区:只算模型成本;正解:还有向量库、服务器、存储等成本,模型成本只是一部分。
  • 误区:成本估算一次就够了;正解:业务增长后要重新估算,监控实际成本。

追问

  • Q:怎么准确估算? A:先小规模跑,记录真实 token 消耗,再按业务量推算。
  • Q:Agent 任务成本怎么估? A:Agent 可能多次调用 LLM,成本是单次的数倍,要按最大轮次估算。

10.11.3-004 怎么降低 API 成本?

频率 ★★★★ | 难度 进阶

一句话结论

成本优化:用小模型做简单任务、精简 prompt(减少输入 token)、限制输出长度、缓存重复请求、批量处理、用更便宜的模型;核心是"够⽤就好",不要都用顶级模型。

概念解释

  • 模型分级:简单任务用小模型,复杂任务用大模型。
  • 精简 prompt:减少 system prompt 和 few-shot 示例。
  • 限制输出:max_tokens 设上限,不要生成太长。
  • 缓存:相同请求直接返回缓存结果。
  • 批量:有些 API 批量调用有折扣。

原理流程

  1. 按任务复杂度选模型:简单用小模型,复杂用大模型。
  2. 精简 prompt:去掉不必要的上下文。
  3. 限制输出长度:max_tokens 设合理值。
  4. 缓存:相同 prompt 直接返回缓存。
  5. 监控成本,持续优化。

代码 / 示例

成本优化手段:
  1. 模型分级: 简单任务用 gpt-4o-mini, 复杂用 gpt-4o
  2. 精简 prompt: 去掉冗余的 system prompt 和 few-shot
  3. 限制输出: max_tokens 设上限
  4. 缓存: 相同问题缓存结果
  5. 批量: 批量调用有折扣
  6. 开源模型: 量大自部署更便宜

常见误区

  • 误区:都用最好的模型效果最好;正解:简单任务用小模型效果一样,成本差 10 倍。
  • 误区:prompt 越长越好;正解:prompt 越长输入 token 越多,成本越高,要精简。

追问

  • Q:怎么知道哪些任务用小模型就行? A:在小模型上测,效果够就用小模型,不够再升大模型。
  • Q:缓存怎么设计? A:按 prompt hash 缓存,设置过期时间,敏感数据不缓存。

10.11.3-005 预算和配额怎么管?

频率 ★★★ | 难度 基础

一句话结论

预算管理:设月度预算上限,超过就告警或限流;按用户/按团队分配配额,避免单个用户烧光预算;定期审计成本。

概念解释

  • 月度预算:整个项目每月最多花多少。
  • 配额:按用户/团队分配额度。
  • 告警:快到预算时告警。
  • 限流:超预算时限流或降级。

原理流程

  1. 设月度预算。
  2. 按用户/团队分配配额。
  3. 实时统计消耗。
  4. 快到预算时告警。
  5. 超预算时限流或降级。

代码 / 示例

预算管理:
  月度总预算: ¥1000
  按团队分配: 团队A ¥400, 团队B ¥600
  告警: 消耗 80% 时告警
  限流: 消耗 100% 时停止新请求

常见误区

  • 误区:预算设了就不用管;正解:要实时监控,超预算及时告警和限流。
  • 误区:配额越细越好;正解:太细增加管理成本,按团队或项目分配即可。

追问

  • Q:怎么实时统计成本? A:API 响应里有 usage,累计统计,按项目/用户分组。
  • Q:超预算了怎么办? A:先告警,还超就限流到小模型或暂停服务。

10.11.3-006 缓存怎么省钱?

频率 ★★★ | 难度 进阶

一句话结论

缓存:相同或相似的请求直接返回缓存结果,不调用 LLM;适合常见问题、固定回答、FAQ;缓存命中率越高,省的钱越多。

概念解释

  • 精确缓存:完全相同的 prompt 命中缓存。
  • 语义缓存:相似的 prompt 命中(用 Embedding 相似度)。
  • 缓存键:prompt hash 或 Embedding。
  • 过期:缓存设 TTL,避免旧结果。

原理流程

  1. 请求进来,先查缓存。
  2. 精确命中:直接返回缓存结果。
  3. 语义命中:相似 prompt 也返回。
  4. 未命中:调用 LLM,结果存入缓存。

代码 / 示例

# 精确缓存
import hashlib, json

def get_cached(prompt):
    key = hashlib.md5(prompt.encode()).hexdigest()
    if redis.exists(key):
        return redis.get(key)
    result = call_llm(prompt)
    redis.setex(key, 3600, result)  # 缓存 1 小时
    return result

常见误区

  • 误区:缓存越多越好;正解:缓存占存储,且敏感数据不能缓存,要权衡。
  • 误区:语义缓存很准;正解:语义缓存有误判,适合对答案要求不严格的场景。

追问

  • Q:哪些场景适合缓存? A:FAQ、常见问题、固定回答,答案相对固定的场景。
  • Q:缓存怎么更新? A:设 TTL 过期,或模型更新时清空缓存。

10.11.3-007 成本怎么监控?

频率 ★★★ | 难度 基础

一句话结论

成本监控:实时统计每日/每月 token 消耗和费用,按项目/用户/模型分组;异常波动告警,成本趋势可视化;是成本控制的基础。

概念解释

  • 实时统计:每次请求记录 token 和费用。
  • 分组:按项目、用户、模型分组统计。
  • 趋势:日/周/月成本趋势。
  • 告警:异常波动(突增)告警。

原理流程

  1. 每次请求记录 usage 和费用。
  2. 存到数据库或日志。
  3. 可视化看板(Grafana)展示趋势。
  4. 异常波动告警。

代码 / 示例

成本监控指标:
  - 日 token 消耗 (输入/输出)
  - 日费用
  - 按项目/用户/模型分组
  - 成本趋势 (7天/30天)
  - 异常波动告警

常见误区

  • 误区:月底看账单就行;正解:要实时监控,异常波动及时发现,不然月底一看账单吓一跳。
  • 误区:只看总成本;正解:要按项目/用户分组,看哪里烧钱最多。

追问

  • Q:怎么统计成本? A:每次 API 调用记录 usage,累计到数据库,按维度分组。
  • Q:成本突增怎么排查? A:看哪个项目/用户突增,看是不是有 bug 导致死循环。

10.11.3-008 输入输出 token 成本差异?

频率 ★★★ | 难度 基础

一句话结论

输出 token 比输入贵 3~5 倍,因为生成是自回归逐 token 的,每步都要做一次前向计算,成本远高于一次 prefill;优化成本时,控制输出长度比减少输入更有效。

概念解释

  • 输入:一次 prefill,并行计算,成本低。
  • 输出:自回归逐 token,每步一次前向,成本高。
  • 价差:输出通常是输入的 3~5 倍。
  • 优化:控制输出长度比减少输入更省钱。

原理流程

  1. 输入:一次 prefill,成本低。
  2. 输出:每个 token 一次前向,成本高。
  3. 输出越长,成本越高。
  4. 控制 max_tokens 比精简 prompt 更省钱。

代码 / 示例

输入 vs 输出成本 (GPT-4o):
  输入: $2/M token
  输出: $8/M token (4 倍)

  输入 1000 token: $0.002
  输出 1000 token: $0.008

  → 控制输出长度更重要

常见误区

  • 误区:精简 prompt 最省钱;正解:输出比输入贵,控制输出长度更有效。
  • 误区:输出长一点没关系;正解:输出越长成本越高,设合理的 max_tokens。

追问

  • Q:怎么控制输出长度? A:设 max_tokens 上限,在 prompt 里要求简洁回答。
  • Q:为什么输出贵? A:生成是自回归,每步都要读全部权重做前向,计算量是 prefill 的 N 倍。

待整理清单

  • [ ] 多模型成本对比
  • [ ] 成本优化的 ROI 分析
  • [ ] 内部成本分摊
  • [ ] 批量 API 折扣利用
  • [ ] 开源模型 vs API 成本对比