10.1.1 模型与推理基础
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础
这个知识域解决什么问题
调用大模型 API 或部署开源模型之前,先要弄清楚输入如何被切成 token、语义如何变成向量、一次请求在推理服务内部经历了哪些阶段、显存与延迟由什么决定,以及在多个模型之间如何按能力、延迟、成本、合规做选择。本知识域主线:文本进入模型前的表示(Tokenizer / Embedding)→ 推理时发生了什么(Transformer 前向、KV Cache)→ 工程上怎么选模型。上下文窗口与采样参数见 10.1.2 上下文与输出控制。
知识地图
Tokenizer 与 BPE:文本 → token id(1)
→ Embedding 与向量语义:token/文本 → 向量(2)
→ Transformer 推理与 KV Cache:prefill / decode / 显存估算(3)
→ 模型选型:能力 / 延迟 / 成本 / 合规(4)
子主题
| 编号 | 子主题 | 核心内容 | 题数 |
|---|---|---|---|
| 10.1.1.1 | Tokenizer 与 BPE | token 概念、BPE 训练与 OOV、特殊 token、多语言与代码切分、token 计数与截断 | 20 |
| 10.1.1.2 | Embedding 与向量语义 | 向量表示、相似度度量、归一化、维度取舍、rerank、ANN、向量与关键词检索配合 | 20 |
| 10.1.1.3 | Transformer 推理与 KV Cache | 自注意力、prefill/decode、KV Cache 显存估算、MQA/GQA、PagedAttention、TTFT/TPOT、推理优化 | 20 |
| 10.1.1.4 | 模型选型与能力边界 | 选型维度、闭源与自托管、计费口径、合规与数据出境、版本锁定、降级备选、评测验证 | 20 |
合计 80 题。 每题按「一句话结论 → 概念解释 → 原理流程 → 代码/图示 → 常见误区 → 追问(带答案)」组织;模型参数规模、价格、上下文长度等会随版本变化,以官方文档与当前版本为准。
学习路径
先 1 理解 token 化如何决定计费、截断与多语言表现,再 2 建立向量语义与检索的直觉,然后 3 走进推理内部看清 prefill、decode 与 KV Cache 对显存和延迟的影响,最后 4 按工程约束完成模型选型与备选设计。
自检
- [ ] 能解释 BPE 如何把未登录词拆成子词,并估算一段文本的 token 数量级
- [ ] 能说清余弦相似度、内积、欧氏距离各自的适用前提与归一化要求
- [ ] 能画出 prefill 与 decode 两阶段的数据流,写出 KV Cache 显存估算的口径
- [ ] 能区分 TTFT 与 TPOT 的决定因素,并指出长上下文为何成本快速上升
- [ ] 能按能力、延迟、成本、合规四个维度列一个模型选型对照清单
- [ ] 能说明何时该用小模型加 RAG/工具替代大模型,以及如何做灰度与降级