罗罗编程学习记录
本页内容 展开查看

10.1.1.1 Tokenizer 与 BPE

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础 / 10.1.1 模型与推理基础

10.1.1.1-001 什么是 token?为什么不能直接按字符或单词切分?

一句话结论

token 是模型处理文本的最小单位,由 tokenizer 把原始文本切成一串子词单元并映射成整数 id;按字符切分序列过长、语义弱,按单词切分则词表爆炸且无法处理未登录词。

概念解释

  • token:tokenizer 产出的子词片段,可以是一个词、半个词、一个字或一个标点。
  • 模型只认识 token id 序列,不直接认识字符串。
  • 计费、上下文窗口、截断长度都以 token 为单位,而不是字符数。

原理流程

  1. 原始文本进入 tokenizer。
  2. 按词表规则切分为子词片段。
  3. 每个片段查表得到 token id。
  4. id 序列送入 embedding 层转成向量。

代码 / 图示

"unbelievable"  →  ["un", "believ", "able"]  →  [487, 12034, 747]

常见误区

  • 误区:token 就是英文单词;正解:token 是子词片段,一个单词可能拆成多个 token,一个 token 也可能含多个字符。
  • 误区:中文按字切分所以每个字一定是一个 token;正解:中文同样走子词词表,常用词组可能合并成一个 token,生僻组合会拆得更细。

追问

  • Q:1 个汉字大约对应多少 token? A:随模型 tokenizer 不同而变化,通常一个汉字可能是 1 个或多个 token,具体以对应模型的计数工具为准,不要套用固定换算系数。
  • Q:空格和标点算不算 token? A:算,多数 tokenizer 会把前导空格与词绑定,标点也单独或合并成 token。

10.1.1.1-002 Tokenizer 在大模型流水线里处于什么位置?

一句话结论

Tokenizer 位于原始文本与模型之间:训练时把语料转成 id 序列,推理时把 prompt 转成 id 序列,生成结束后再把输出 id 还原成文本。

概念解释

  • 训练侧:语料 → tokenizer → id 序列 → 模型学习下一个 token 预测。
  • 推理侧:prompt → id 序列 → 模型自回归生成 id → detokenizer → 字符串。
  • 同一个模型的训练与推理必须使用同一套 tokenizer。

原理流程

  1. 文本规范化(大小写、空白、特殊字符处理,规则随实现而定)。
  2. 切分为子词片段。
  3. 查表映射为 id,未命中片段走回退规则。
  4. 生成阶段逐 id 解码回字符。

代码 / 图示

训练:语料 ──tokenize──▶ ids ──▶ 模型
推理:prompt ──tokenize──▶ ids ──▶ 模型 ──▶ ids ──decode──▶ 回答

常见误区

  • 误区:模型直接理解字符串;正解:字符串必须先经 tokenizer 转 id,模型消费的是 id 序列。
  • 误区:换一个模型只需替换权重;正解:权重与 tokenizer 是配套的,词表不一致会直接失效。

追问

  • Q:detokenizer 一定能无损还原吗? A:通常可还原到原文本,但部分实现会在空格、特殊符号上有细微差异,对敏感文本应保留原始输入。
  • Q:tokenizer 会修改文本内容吗? A:切分本身不改写字符,但规范化步骤可能合并空白、替换不可见字符,具体规则需查对应 tokenizer 文档。

10.1.1.1-003 什么是 BPE(字节对编码),解决什么问题?

一句话结论

BPE 是一种子词合并算法:先以字符为基础单元,反复合并出现频率最高的相邻单元对,逐步形成子词词表;它在词表大小可控的前提下兼顾未登录词与长词拆分。

概念解释

  • BPE(Byte Pair Encoding):从字符集出发,按频次迭代合并相邻 token 对。
  • 目标:常见词保留整词,稀有词拆成有意义的子词片段。
  • 是当前主流 LLM tokenizer 的基础算法之一,具体变体(字节级、Unigram、WordPiece)各有差异。

原理流程

  1. 初始单元为字符(或字节),统计语料中相邻单元对的频次。
  2. 合并频次最高的一对,加入词表。
  3. 在更新后的序列上重复统计与合并,直到词表达到设定大小。
  4. 推理时按词表内最长匹配优先切分新文本。

代码 / 图示

初始: l o w  ␠ l o w e r
合并 "l o"  → lo w ␠ lo w e r
合并 "lo w" → low ␠ low e r
... 词表逐步覆盖: low, lower, ...

常见误区

  • 误区:BPE 合并的是字母拼写;正解:合并的是语料中高频共现的相邻单元对,结果是统计意义上的子词,不一定是词源学词根。
  • 误区:BPE 词表越大越好;正解:词表越大 embedding 参数量越高,子词切分粒度需在压缩率与模型容量之间权衡。

追问

  • Q:BPE 训练好之后词表还能扩充吗? A:可在后续阶段扩展词表并配套新增 embedding,但会涉及模型侧适配,不是改个配置那么简单。
  • Q:BPE 对新词怎么办? A:新词按已有子词片段拆分,拆到字符/字节层级仍可表示,因此不存在真正的 OOV 编码失败。

10.1.1.1-004 BPE 的训练过程是怎样的?

一句话结论

BPE 训练是离线统计过程:遍历语料统计相邻单元对频次,反复合并最高频对并更新词表,直到达到目标词表大小;合并规则固化为 tokenizer 的合并表,推理时只查表不再训练。

概念解释

  • 训练产物:基础单元表、合并优先级表、特殊 token 定义。
  • 训练只发生在模型预训练之前,推理服务不重复训练。
  • 频次统计依赖训练语料,语料领域不同,子词偏好也不同。

原理流程

  1. 语料预分词(按空格/词边界),得到初始字符序列。
  2. 统计所有相邻 pair 的出现次数。
  3. 取最高频 pair 合并,写入合并表。
  4. 更新序列后回到第 2 步,循环到词表上限。

代码 / 示例

目标词表: V
循环:
  pair_count = 统计相邻 pair 频次
  best = argmax(pair_count)
  合并 best,V ← V + 1
  直到 |V| 达到上限

常见误区

  • 误区:上线后用户语料会实时改 BPE 合并表;正解:合并表在训练期固定,线上只做查表切分。
  • 误区:合并顺序无所谓;正解:合并优先级决定同一个词能否被切成更长的子词,顺序不同切分结果不同。

追问

  • Q:高频 pair 合并后为什么要重新统计? A:合并产生新单元,它与左右邻居组成的新 pair 频次需要重新计数。
  • Q:BPE 训练成本主要在哪? A:大规模语料上的 pair 统计与迭代合并,工程上需高效字典实现,细节以具体 tokenizer 库为准。

10.1.1.1-005 BPE 如何处理未登录词(OOV)?

一句话结论

BPE 不要求所有词都在词表内:未登录词回退到更短的子词片段,最坏拆到字符或字节层级,因此总能编码成 id 序列,代价是 token 数量变多。

概念解释

  • OOV:训练语料中没出现过的词、新词、专有名词、生造拼写。
  • 回退层级:整词 → 子词 → 字符 → 字节。
  • 拆得越碎,token 越多,语义表示越弱,也越贵。

原理流程

  1. 尝试整词匹配词表。
  2. 未命中则按子词表从左到右最长匹配拆分。
  3. 字符仍未命中时回退到字节级单元。
  4. 输出碎片片段对应的 id 序列。

代码 / 图示

新词 "zxyklop"
  整词: 未命中
  子词: "z", "xy", "klop"  →  三个碎片 token

常见误区

  • 误区:OOV 会让模型报错;正解:BPE 体系下 OOV 被拆成碎片编码,不会解码失败,但表示质量下降。
  • 误区:碎片 token 与整词效果一样;正解:碎片越多,模型越依赖逐片段拼接语义,对拼写怪异的输入理解更差。

追问

  • Q:领域新词多怎么改善? A:可在继续训练/适配阶段补充领域语料或扩展词表;仅改提示词不能改变 tokenizer 切分。
  • Q:字节级回退解决什么? A:保证任意 Unicode 字符即使没有字符单元也能由字节表示,避免出现无法编码的符号。

10.1.1.1-006 子词切分相比整词切分的优劣是什么?

一句话结论

子词切分在词表可控、OOV 可表达、跨语言覆盖之间取得平衡;整词切分语义完整但词表爆炸且无法覆盖新词,字符切分则序列过长、结构信息弱。

概念解释

  • 整词:每个词一个 id,词表随词汇量膨胀,OOV 难处理。
  • 子词:词表固定规模,稀有词拆片段,是主流折中方案。
  • 字符:序列长度最长,单元语义最弱,适合作为回退层。

原理流程

  1. 对比三种粒度的词表规模与序列长度。
  2. 评估 OOV 覆盖率与碎片率。
  3. 按语言与领域选择切分粒度。

代码 / 图示

粒度:  整词        子词(BPE)      字符
词表:  巨大        固定适中       很小
序列:  短          中             长
OOV:   差          好(碎片回退)   好

常见误区

  • 误区:子词切分只是工程妥协,没有语义价值;正解:子词片段(前缀、后缀、词根)本身携带可迁移的形态信息,有利于跨词泛化。
  • 误区:字符切分最灵活所以最好;正解:字符级序列显著拉长上下文、放大注意力复杂度,模型学习成本更高。

追问

  • Q:什么场景整词切分仍有价值? A:词汇封闭、术语固定的传统 NLP 任务;开放域生成式模型基本都走子词路线。
  • Q:子词碎片率高说明什么? A:输入领域与训练语料差异大,或 tokenizer 对该语言覆盖不足。

10.1.1.1-007 中文与多语言 tokenizer 有什么特殊问题?

一句话结论

中文、日韩等语言没有天然空格边界,常用字组合、词块与单字的拆分粒度直接影响 token 效率;多语言 tokenizer 需要在各语言字符集与字节回退之间分配词表预算。

概念解释

  • 中文按词切分依赖统计词表,常用词组合并,生僻表达拆字。
  • 多语言词表被各语言分摊,小语种碎片率通常更高。
  • 同一模型对不同语言的 token 效率可能差异明显。

原理流程

  1. 语料按语言混合统计合并 pair。
  2. 高频词块进入词表,低频表达拆字/字节。
  3. 推理时按对应子词规则切分新文本。

代码 / 图示

"人工智能"  可能: ["人工", "智能"] 或 ["人", "工", "智", "能"]
具体结果取决于该模型词表与合并表

常见误区

  • 误区:中文一定按单字 token;正解:高频词块会被合并,效率取决于词表覆盖。
  • 误区:英文模型与中文模型 token 计数可以直接比较;正解:不同 tokenizer 对同一文本的 token 数差异很大,计费与截断必须用各自工具计数。

追问

  • Q:混合中英代码混排会怎样? A:切换语言边界处容易产生碎片片段,混排长文本应实测 token 数。
  • Q:小语种碎片率高有什么工程后果? A:同样内容占用更多上下文、成本更高,必要时评估领域适配的模型或 tokenizer。

10.1.1.1-008 特殊 token 分别起什么作用?

一句话结论

特殊 token 是词表预留的控制单元,用于标记序列边界、填充、角色分隔与生成停止;它们不对应自然语言片段,由模型在训练与推理中专门学习其行为。

概念解释

  • 常见类型:序列起始/结束、填充、分隔符、角色标记(如系统/用户/助手分隔)、未知单元。
  • 不同框架与模型的特殊 token 定义不一致,不能互相套用。
  • 生成遇到结束 token 即停止(或达到 max_tokens)。

原理流程

  1. 组装 prompt 时按模板插入角色与边界特殊 token。
  2. 模型在这些标记之间生成对应角色内容。
  3. 解码时特殊 token 不渲染为普通文本。

代码 / 示例

<|system|> 你是助手。
<|user|> 问题
<|assistant|>

常见误区

  • 误区:特殊 token 就是普通字符串可以随便写;正解:它们是预留 id,手写同名文本不等于模型识别到控制标记。
  • 误区:结束 token 一定出现在每次回答末尾;正解:也可能被 max_tokens 截断结束,需结合终止条件判断。

追问

  • Q:填充 token(padding)影响注意力吗? A:实现上通常通过注意力掩码屏蔽填充位置,具体以模型与推理框架实现为准。
  • Q:角色分隔 token 是谁定义的? A:由模型对话模板定义,API 平台通常已按模板组装,手工拼消息时应沿用官方模板。

10.1.1.1-009 token 与字符、词的换算关系如何估算?

一句话结论

token 数只能按对应 tokenizer 实测,没有跨模型通用的固定换算系数;工程上用字符数做粗估上限,正式预算与计费以模型提供的计数结果为准。

概念解释

  • 英文常见子词占比约为字符数的几分之一,但系数随模型和文本类型变化。
  • 中文、代码、数字串、混排文本的碎片率不同。
  • 上下文预算与重试、生成输出都要预留 token 空间。

原理流程

  1. 粗估:按字符数乘经验系数留余量。
  2. 精算:调用模型/SDK 的计数接口或本地 tokenizer。
  3. 把输入计数与预留输出上限一起纳入窗口预算。

代码 / 示例

预算 = 输入已用 token + 预留输出 max_tokens + 安全余量
粗估只用于容量判断,不用于精确计费

常见误区

  • 误区:一个 token 约等于 0.75 个单词可以套所有模型;正解:该经验值只对部分英文模型近似成立,中文与代码不适用。
  • 误区:字符数够就等于 token 够;正解:碎片文本字符少但 token 多,必须实测计数。

追问

  • Q:SDK 没有计数接口怎么办? A:可用模型官方 tokenizer 库在本地计数;没有本地库时,按字符数上浮预留并在返回报错时观察实际用量。
  • Q:数字为什么容易切成多个 token? A:多位数常按数字片段切分,长数字串碎片率高,敏感场景应注意。

10.1.1.1-010 为什么 API 计费常按 token 而不是字符?

一句话结论

模型算力与上下文占用以 token 序列为单位,按 token 计费与实际计算量、显存占用对齐;字符数无法反映子词碎片、特殊标记与多语言差异。

概念解释

  • 输入 token:prompt 与历史消息占用的计算量。
  • 输出 token:自回归生成的序列长度,通常单价高于输入。
  • 计费口径区分输入、输出、缓存命中(如有),具体以供应商文档为准。

原理流程

  1. 请求经 tokenizer 计数输入。
  2. 生成结束后统计输出 token。
  3. 按对应单价与折扣口径结算。

代码 / 示例

费用 ≈ 输入 token × 输入单价 + 输出 token × 输出单价
(缓存命中、批量折扣等口径以官方账单为准)

常见误区

  • 误区:计费按字数;正解:按 token,长数字、碎片词、重复内容都会增加 token 消耗。
  • 误区:输入比输出贵;正解:多数供应商输出单价高于输入,生成长回答往往是成本大头,具体价格以官方文档为准。

追问

  • Q:重复对话历史如何影响费用? A:每轮请求都要重新发送历史消息,历史越长输入 token 越高,可用上下文缓存或裁剪降低重复计费。
  • Q:失败重试计费吗? A:通常已产生的输入与部分输出 token 会被计费,具体失败免费政策以供应商条款为准。

10.1.1.1-011 如何估算一段输入会被切成多少 token?

一句话结论

优先使用模型配套的 tokenizer 或 SDK 计数接口得到准确值;没有接口时按文本类型做字符数粗估并预留余量,不要凭肉眼数词。

概念解释

  • 准确值:本地 tokenizer encode 后取长度。
  • 粗估值:按语言与文本类型给字符数乘经验系数。
  • 计数范围包含系统提示、历史消息、检索片段与分隔标记。

原理流程

  1. 把将要发送的完整消息组装好。
  2. 用计数接口统计总 token。
  3. 加上预留输出长度,检查是否在窗口内。

代码 / 示例

# 伪代码:以官方 SDK/库为准,接口名随实现不同
ids = tokenizer.encode(system_prompt + history + user_input)
input_tokens = len(ids)
total = input_tokens + max_output_tokens

常见误区

  • 误区:只数当前用户消息;正解:系统提示、历史、检索片段、角色标记都计入输入 token。
  • 误区:计数一次就长期不变;正解:历史轮次增长、检索内容变化都会改变计数,应在请求前计算。

追问

  • Q:接口返回的 usage 字段包含什么? A:通常区分输入、输出与(如有)缓存命中 token,字段名随供应商不同,以返回结构为准。
  • Q:批量文本怎么预估算? A:逐条计数后求和,长文档先切分再累计,避免整段超窗。

10.1.1.1-012 词表大小如何影响模型与推理?

一句话结论

词表决定 embedding 层与输出投影层的参数量;词表越大子词越细但参数越多,词表越小碎片率越高、生成可能越碎,二者需要平衡。

概念解释

  • 输入 embedding:每个 token id 一行向量。
  • 输出投影:隐状态映射回词表维度的分类器。
  • 词表规模是架构选择的一部分,与层数、维度并列权衡。

原理流程

  1. 设定目标词表规模 V。
  2. BPE/Unigram 在语料上产出 V 个单元。
  3. 模型为词表分配 embedding 与输出投影参数。
  4. 推理时按 V 维分布做下一个 token 预测。

代码 / 图示

embedding 参数 ≈ V × 隐层维度
输出投影参数 ≈ V × 隐层维度
(估算口径,精确结构以模型实现为准)

常见误区

  • 误区:词表只影响输入切分;正解:词表同时影响输入 embedding 与输出头,是模型参数的组成部分。
  • 误区:词表越大生成质量一定越好;正解:词表扩大增加参数与碎片权衡,收益需在具体语料上验证。

追问

  • Q:扩词表后旧权重怎么办? A:新增单元需要新增对应行并继续训练对齐,不能直接插入随机向量使用。
  • Q:词表小的模型长什么样? A:更多依赖字符/字节碎片,相同文本 token 数更高,跨语言表现可能更弱。

10.1.1.1-013 SentencePiece、Unigram、WordPiece 有什么区别?

一句话结论

三者都是子词切分方案:BPE 按频次贪心合并,Unigram 按概率模型迭代剪枝并保留多套切分备选,WordPiece 按似然增益合并;SentencePiece 是把原始文本(含空格)直接建模为序列的库实现,底层可配 BPE 或 Unigram。

概念解释

  • BPE:贪心合并最高频 pair。
  • Unigram:先备大词表,再逐次移除对概率贡献最小的单元,切分时取概率最优组合。
  • WordPiece:合并依据是语言模型似然提升而非纯频次。
  • SentencePiece:实现层方案,不依赖预分词,空格作为普通符号处理。

原理流程

  1. 确定单元生成算法(合并或剪枝)。
  2. 推理时在多种切分中选最优组合。
  3. 输出子词 id 序列。

代码 / 图示

BPE      → 频次贪心合并
Unigram  → 概率模型 + 剪枝,多切分择优
WordPiece→ 似然增益合并
SentencePiece → 库,可承载 BPE/Unigram

常见误区

  • 误区:SentencePiece 是第四种分词算法;正解:它是工具库,底层算法可以是 BPE 或 Unigram。
  • 误区:三种算法产出的词表可以互换;正解:合并/剪枝规则不同,切分结果与 id 映射互不兼容。

追问

  • Q:Unigram 的多切分有什么用? A:训练时可按概率采样不同切分,提升鲁棒性;推理时通常取最优路径。
  • Q:面试中如何回答选择哪种? A:不必背结论,重点说清三者在生成词表时的优化目标不同,工程上跟随所选模型的配套 tokenizer。

10.1.1.1-014 解码阶段如何把 token id 还原成文本?

一句话结论

detokenizer 按 tokenizer 的逆映射把 id 序列拼回子词片段,再按空格、前缀标记等规则合并成完整字符串;生成过程是逐 id 产出、逐步拼接的。

概念解释

  • id → 子词片段是查表逆映射。
  • 片段合并依赖切分时的边界标记(如前导空格)。
  • 流式输出时每来一个 id 就解码成片段追加到界面。

原理流程

  1. 模型逐 token 输出 id。
  2. 查表得到子词字符串。
  3. 按边界规则拼接相邻片段。
  4. 遇到结束 token 停止解码。

代码 / 图示

ids: [487, 12034, 747]
  → "un" "believ" "able"
  → "unbelievable"

常见误区

  • 误区:解码是逐字符生成;正解:模型预测的是子词 token,解码时一次还原一个片段。
  • 误区:detokenizer 能修正模型输出的乱码;正解:解码只做映射与拼接,语义错误与重复片段需要在生成侧约束。

追问

  • Q:流式解码为什么能边生成边显示? A:每个 token 独立可解码为片段,追加渲染即可,无需等整段结束。
  • Q:特殊 token 会被拼进正文吗? A:正常实现会跳过控制标记;若把角色分隔标记渲染出来,通常是模板或解码配置问题。

10.1.1.1-015 空格、标点、数字在 token 化中有哪些常见行为?

一句话结论

多数子词方案把前导空格绑定到词单元,标点常独立成 token 或与相邻词合并,多位数按数字片段切分;具体行为随 tokenizer 实现,敏感格式应实测。

概念解释

  • 空格:常作为词首标记,而不是独立单元。
  • 标点:逗号、句号、引号等按词表情况独立或合并。
  • 数字:长串常被切成多段,影响计数与抽取。

原理流程

  1. 文本先做空白与符号规范化。
  2. 按词表匹配子词与符号片段。
  3. 数字串按已有数字片段拆分。

代码 / 示例

" hello,"  → 词单元可能含前导空格 + 独立逗号
"1234567"  → 可能切成 ["12", "345", "67"] 之类片段

常见误区

  • 误区:标点永远单独成 token;正解:高频缩写、表情、符号组合可能被合并成单元。
  • 误区:复制文本前后多余空格不影响;正解:空格参与切分,多余空白会产生额外 token 并改变片段边界。

追问

  • Q:抽取 JSON、代码时要注意什么? A:缩进、引号、数字都占 token,prompt 中示例格式应与目标输出一致并实测计数。
  • Q:emoji 怎么处理? A:可能独立成单元或按字节回退,复杂符号组合碎片率高,以实测为准。

10.1.1.1-016 代码 tokenizer 有什么特殊设计?

一句话结论

代码语料缩进、符号标识符、关键字与字符串占比高,代码导向的 tokenizer 会为常见代码片段、驼峰/下划线标识符保留子词单元,以降低代码碎片率并改善生成格式。

概念解释

  • 标识符拆分:驼峰、下划线按命名习惯切片段。
  • 符号结构:括号、分号、缩进在词表中高频出现。
  • 代码生成对格式敏感,碎片切分会影响缩进与结构稳定性。

原理流程

  1. 训练语料混入大量代码仓库。
  2. 高频代码片段进入子词表。
  3. 推理时按代码友好的规则切分标识符与符号。

代码 / 图示

"getUserProfile"  →  可能: ["get", "User", "Profile"]
下划线: "parse_config"  →  ["parse", "_", "config"]

常见误区

  • 误区:通用文本 tokenizer 与代码 tokenizer 没差别;正解:代码语料偏好不同,标识符碎片率直接影响代码生成可用性。
  • 误区:缩进由 tokenizer 保证;正解:缩进是生成结果,tokenizer 只负责表示,格式约束还要靠提示与校验。

追问

  • Q:为什么代码模型常按行/上下文组织? A:缩进与跨语句依赖重要,切分窗口要保留完整函数与邻近行。
  • Q:代码里的长字符串常量占 token 吗? A:占,且按碎片切分,模板中应避免大段重复常量。

10.1.1.1-017 为什么不同模型的 tokenizer 不能混用?

一句话结论

词表 id 映射、合并规则、特殊 token 定义一一对应模型权重;混用会导致 id 指向错误向量、边界标记语义错乱,输出不可用。

概念解释

  • id 空间:同一字符串在不同 tokenizer 下 id 完全不同。
  • 权重配套:embedding 行按本模型词表训练。
  • 对话模板:角色特殊 token 与组装方式也是模型专属。

原理流程

  1. 选择模型时同时锁定其 tokenizer 与模板。
  2. 输入按该套规则编码。
  3. 输出按同一套规则解码。

代码 / 图示

模型 A 权重 + 模型 B tokenizer  →  id 错配,语义错乱
正确: 权重、tokenizer、对话模板 三者同版本配套

常见误区

  • 误区:只要都是 BPE 就能互换;正解:词表内容与 id 映射不同,BPE 只是算法家族,不能跨模型复用。
  • 误区:换 tokenizer 后微调一下就能接上;正解:需要重对齐 embedding 与输出头,属于继续训练范畴。

追问

  • Q:多模型系统里怎么管理 tokenizer? A:按模型版本绑定各自的计数、模板与解码逻辑,抽象成独立适配层,不共享全局词表。
  • Q:API 平台帮你做了哪一层? A:多数托管 API 内部已完成 tokenize 与模板组装,你只需按消息格式提交;自托管模型则要自己挂配套 tokenizer。

10.1.1.1-018 字节级回退(byte fallback)解决什么问题?

一句话结论

当字符单元不在词表中时,把字符拆成字节再编码,保证任意可字节化的文本都能被表示,避免出现无法编码的符号或未知单元。

概念解释

  • 字符级覆盖不全:生僻字、异体符号、控制字符可能缺单元。
  • 字节级:UTF-8 字节作为最后回退层,词表覆盖有限字节集合。
  • 代价:回退单元碎片多、表示弱,但保证编码不失败。

原理流程

  1. 先按子词/字符匹配。
  2. 未命中字符转为 UTF-8 字节。
  3. 字节单元查表编码,最坏仍可表示。

代码 / 图示

生僻符号 X
  字符单元: 未命中
  → 拆 UTF-8 字节 [b1, b2, b3]
  → 字节单元 id 序列

常见误区

  • 误区:字节回退等于模型理解了该字符;正解:只是能编码,语义表示薄弱,罕见符号生成质量有限。
  • 误区:所有 tokenizer 都有字节回退;正解:回退层级与实现有关,部分方案用未知单元兜底,行为需查文档。

追问

  • Q:回退到字节后解码能还原吗? A:字节可还原为原字符,但中间经过多层映射,边界情况以实现为准。
  • Q:emoji、颜文字走回退会怎样? A:通常碎片率高、占 token 多,面向普通用户的产品应限制这类输入或做好提示。

10.1.1.1-019 输入超长时 tokenizer 会发生什么?

一句话结论

tokenizer 只负责编码,不会自动帮你遵守窗口限制;超长输入得到超长 id 序列,送入模型后可能被截断、报错或触发上下文超限,必须在应用侧先做计数与预算管理。

概念解释

  • 编码长度 = 输入片段数,tokenizer 不判断窗口是否够。
  • 超限处理:API 报错、按策略截断、滑动窗口,行为由接口与配置决定。
  • 输出长度也要计入总窗口,不能只看输入。

原理流程

  1. 组装完整请求并计数。
  2. 与上下文窗口、预留输出比较。
  3. 超限时先裁剪/压缩/分片,再发送请求。

代码 / 图示

输入 ids 长度 + max_output > 窗口上限
  → 应用侧: 裁剪历史 / 压缩检索片段 / 分片处理
  → 未处理: 接口报错或服务端截断

常见误区

  • 误区:模型会自动忘掉前面的内容所以不用管;正解:超限先表现为报错或硬截断,关键信息可能直接丢失,应用侧必须主动管理。
  • 误区:截断只影响输入;正解:输入加输出共享窗口,输出预留不足会在生成中途被截断。

追问

  • Q:服务端截断从哪头开始? A:不同实现策略不同(保留最近消息等),不要依赖默认行为,应在应用侧明确截断策略。
  • Q:超长文档怎么处理? A:先切分成块、按需检索或分段摘要,而不是整段塞进上下文,详见上下文窗口相关子页。

10.1.1.1-020 工程上如何做 token 计数与截断?

一句话结论

在应用侧建立统一的计数与预算模块:请求前统计系统提示、历史、检索片段与预留输出,超限按既定优先级裁剪,截断策略对每类内容明确保留或丢弃顺序。

概念解释

  • 预算组成:系统提示 + 对话历史 + 检索/工具结果 + 预留输出。
  • 优先级:系统规则与当前问题优先保留,早期历史与低相关检索片段先压缩。
  • 计数逻辑与模型版本绑定,切换模型时同步替换。

原理流程

  1. 组装消息并调用计数接口。
  2. 与预算上限比较,计算余量。
  3. 超限按优先级裁剪、摘要或分片。
  4. 发送请求并记录实际 usage 用于监控。

代码 / 示例

预算分配(示意,比例按任务调):
  系统提示    → 固定保留
  检索片段    → 按相关度排序,超出先丢尾部
  历史对话    → 早期轮次先摘要或丢弃
  输出预留    → max_output_tokens 固定扣除

常见误区

  • 误区:截断在前端按字数做就行;正解:截断必须按 token 预算,字符字数与 token 数不成正比。
  • 误区:计数模块写死一个换算系数;正解:计数逻辑跟随模型 tokenizer,多模型系统应按模型分别适配。

追问

  • Q:如何监控 token 消耗异常? A:记录每次请求的输入/输出 token 与历史轮数,设置单轮超长、重复历史占比告警。
  • Q:裁剪后模型表现下降怎么办? A:对比保留策略(摘要历史 vs 丢弃早期轮次)在评测集上的效果,优先保留与当前任务相关的上下文。