罗罗编程学习记录
本页内容 展开查看

10.1.1 模型与推理基础

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础

这个知识域解决什么问题

调用大模型 API 或部署开源模型之前,先要弄清楚输入如何被切成 token、语义如何变成向量、一次请求在推理服务内部经历了哪些阶段、显存与延迟由什么决定,以及在多个模型之间如何按能力、延迟、成本、合规做选择。本知识域主线:文本进入模型前的表示(Tokenizer / Embedding)→ 推理时发生了什么(Transformer 前向、KV Cache)→ 工程上怎么选模型。上下文窗口与采样参数见 10.1.2 上下文与输出控制。

知识地图

Tokenizer 与 BPE:文本 → token id(1)
  → Embedding 与向量语义:token/文本 → 向量(2)
    → Transformer 推理与 KV Cache:prefill / decode / 显存估算(3)
      → 模型选型:能力 / 延迟 / 成本 / 合规(4)

子主题

编号 子主题 核心内容 题数
10.1.1.1 Tokenizer 与 BPE token 概念、BPE 训练与 OOV、特殊 token、多语言与代码切分、token 计数与截断 20
10.1.1.2 Embedding 与向量语义 向量表示、相似度度量、归一化、维度取舍、rerank、ANN、向量与关键词检索配合 20
10.1.1.3 Transformer 推理与 KV Cache 自注意力、prefill/decode、KV Cache 显存估算、MQA/GQA、PagedAttention、TTFT/TPOT、推理优化 20
10.1.1.4 模型选型与能力边界 选型维度、闭源与自托管、计费口径、合规与数据出境、版本锁定、降级备选、评测验证 20

合计 80 题。 每题按「一句话结论 → 概念解释 → 原理流程 → 代码/图示 → 常见误区 → 追问(带答案)」组织;模型参数规模、价格、上下文长度等会随版本变化,以官方文档与当前版本为准。

学习路径

先 1 理解 token 化如何决定计费、截断与多语言表现,再 2 建立向量语义与检索的直觉,然后 3 走进推理内部看清 prefill、decode 与 KV Cache 对显存和延迟的影响,最后 4 按工程约束完成模型选型与备选设计。

自检

  • [ ] 能解释 BPE 如何把未登录词拆成子词,并估算一段文本的 token 数量级
  • [ ] 能说清余弦相似度、内积、欧氏距离各自的适用前提与归一化要求
  • [ ] 能画出 prefill 与 decode 两阶段的数据流,写出 KV Cache 显存估算的口径
  • [ ] 能区分 TTFT 与 TPOT 的决定因素,并指出长上下文为何成本快速上升
  • [ ] 能按能力、延迟、成本、合规四个维度列一个模型选型对照清单
  • [ ] 能说明何时该用小模型加 RAG/工具替代大模型,以及如何做灰度与降级