罗罗编程学习记录
本页内容 展开查看

10.1.2.2 采样参数与输出温度

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础 / 10.1.2 上下文与输出控制

10.1.2.2-001 采样在解码阶段做什么?

一句话结论

解码采样是每步从词表概率分布中选下一个 token 的过程:贪心永远取最高分,采样则按概率(或经过 top-p/top-k 裁剪后的分布)随机抽取,参数决定输出的确定性与多样性。

概念解释

  • logits → 概率分布:每个候选 token 的得分经归一化成为概率。
  • 贪心:取概率最高的 token。
  • 随机采样:按分布抽样,配合温度与候选裁剪调节。

原理流程

  1. 模型输出下一步 logits。
  2. 按温度缩放、按 top-p/top-k 裁剪候选。
  3. 贪心取最大,或在候选集内按概率抽样。
  4. 选中 token 追加,进入下一步。

代码 / 图示

logits → 温度缩放 → 候选裁剪(top-k/top-p) → 采样/贪心 → next token

常见误区

  • 误区:模型输出是按固定模板生成;正解:每步都在概率分布上做选择,参数影响选择方式。
  • 误区:采样参数只影响创意写作;正解:抽取、分类等任务同样受温度与裁剪影响确定性。

追问

  • Q:贪心与采样怎么选? A:需要稳定一致的输出用低温度/近贪心;需要多样表达用采样,按任务在评测集上验证。
  • Q:概率分布由什么决定? A:由当前上下文经过模型计算得到,上下文不同分布不同。

10.1.2.2-002 temperature 如何影响 logits?

一句话结论

temperature 缩放 logits 分布:温度低压低概率差距、分布趋尖,输出更确定保守;温度高拉平分布、低概率候选机会增大,输出更多样发散;具体有效区间以官方文档为准。

概念解释

  • 低温:头部候选概率集中,重复主流答案。
  • 高温:分布更平,冷门 token 被选中概率上升。
  • 温度作用于采样前的分数缩放,不改变模型本身。

原理流程

  1. 原始 logits 除以温度系数。
  2. 归一化得到新的概率分布。
  3. 在该分布上采样。

代码 / 示例

pᵢ ∝ exp(logitᵢ / T)
T 小 → 分布尖锐, 高概率 token 主导
T 大 → 分布平缓, 多样性上升

常见误区

  • 误区:temperature 直接乘概率;正解:缩放的是 logits(分数),再经归一化得到概率。
  • 误区:温度越高回答质量越好;正解:高温会增加离题、编造与格式不稳定的概率。

追问

  • Q:抽取/格式化任务为什么用低温? A:降低偏离 schema 与高频格式错误的概率,让输出贴近最可能的合法形式。
  • Q:温度调到最低等于贪心吗? A:低温趋近贪心,但只有明确设为贪心或参数等价配置时才完全确定;以接口实现为准。

10.1.2.2-003 top-p(nucleus sampling)如何裁剪候选?

一句话结论

top-p 按概率从高到低累加,累计达到阈值 p 的最小 token 集合作为候选池,池外概率截断置零;它动态调整候选数量——分布尖时池子小,分布平时池子大,比固定数量裁剪更灵活。

概念解释

  • 候选池:累计概率达到 p 的头部 token。
  • 池外:概率过低,不参与采样。
  • 与温度配合:温度先缩放分布,top-p 再裁剪集合。

原理流程

  1. 概率从高到低排序。
  2. 累加概率至达到 p。
  3. 保留集合内候选,其余置零后重新归一化采样。

代码 / 示例

排序概率: 0.50, 0.20, 0.15, 0.10, 0.05
p=0.9: 累加 0.50+0.20+0.15=0.85, +0.10=0.95 → 保留前 4 个

常见误区

  • 误区:top-p 是保留概率最高的 p 个 token;正解:是累计概率达到阈值的集合,数量随分布变化。
  • 误区:top-p 越小越确定;正解:阈值小候选池窄、输出更集中,但极端值同样以官方口径为准。

追问

  • Q:top-p 与温度同时设怎么配合? A:通常温度调节整体分布尖锐度,top-p 控制候选下限;不要两个都往极端调,在样本上组合验证。
  • Q:top-p 阈值多少合适? A:按任务与官方推荐区间设定,抽取任务偏窄,创意任务可放宽,不背固定数字。

10.1.2.2-004 top-k 与 top-p 的区别与配合是什么?

一句话结论

top-k 固定只保留概率最高的 k 个 token,top-p 按累计概率动态定集合;两者可同时启用(先按 k 截断再按 p 收窄),作用都是限制冷门候选,选择方式一个按数量、一个按概率覆盖。

概念解释

  • top-k:固定数量上限,分布平时仍只留 k 个。
  • top-p:动态数量,分布尖时池子更小。
  • 组合:取两种裁剪后的交集候选。

原理流程

  1. 按概率排序。
  2. top-k 保留前 k 个。
  3. top-p 在其中按累计概率收窄。
  4. 在最终候选集采样。

代码 / 图示

top-k: 保留最高的 k 个
top-p: 保留累计概率 ≥ p 的最小集合
同时启用: 候选 = 两者交集

常见误区

  • 误区:top-k 和 top-p 是同一个参数的别名;正解:裁剪依据不同,部分 API 只暴露其中一个。
  • 误区:k 越大越好;正解:k 过大失去裁剪意义,过小可能在分布平的时候误杀合理候选。

追问

  • Q:API 不支持 top-k 怎么办? A:只用 top-p 与温度调节;能力以接口参数为准,不要假设所有参数都可配。
  • Q:怎么判断该用哪个? A:需要固定候选数量控制时用 k,想按分布自适应时用 p;工程上以可用参数与实测效果为准。

10.1.2.2-005 重复惩罚(frequency / presence penalty)解决什么问题?

一句话结论

重复惩罚对已出现过的 token 降低其后续被选概率:frequency penalty 按出现频次递增惩罚,presence penalty 只要出现过就施加固定惩罚;用于缓解复读、重复短语与循环输出,但惩罚过高会破坏表达。

概念解释

  • frequency:频次越高惩罚越强。
  • presence:出现过即惩罚,不看次数。
  • 目标:抑制重复片段与自循环。

原理流程

  1. 统计当前已生成/上下文中 token 出现情况。
  2. 按惩罚规则下调对应 logits。
  3. 再进入温度缩放与采样。

代码 / 示例

token 已多次出现 → 下调其 logit
frequency: 惩罚随次数增长
presence:  出现过即下调固定幅度

常见误区

  • 误区:惩罚能修复模型跑题;正解:它只抑制重复,不解决离题、错误事实等问题。
  • 误区:惩罚越高越好;正解:过高会导致用词怪异、同义反复被压制、语句不通顺。

追问

  • Q:代码生成需要开惩罚吗? A:代码中标识符、缩进、关键字重复是正常的,过度惩罚可能破坏语法;按任务实测调整。
  • Q:循环输出本质原因是什么? A:上下文与解码陷入重复模式,惩罚是缓解手段,根本上还要看 prompt、温度与模型状态。

10.1.2.2-006 各类任务的参数推荐取向是什么?

一句话结论

抽取/分类/结构化输出偏向低温、窄候选;翻译/摘要中等温度保持准确与流畅;创意写作/头脑风暴可提高温度与候选宽度;具体数值以模型官方文档与本任务评测为准,不套用固定区间。

概念解释

  • 确定性任务:低温度、宽规则约束、格式校验兜底。
  • 平衡任务:中等温度,兼顾准确与自然。
  • 创意任务:较高温度与多样性,接受一定波动。

原理流程

  1. 按任务对确定性与多样性的要求定取向。
  2. 在评测集上对比参数组合。
  3. 固化到任务模板的默认配置。

代码 / 示例

抽取/JSON: 低温, 候选偏窄, 强 schema 约束
摘要/翻译: 中等温度, 保留事实准确
创意:     较高温度, 放宽候选

常见误区

  • 误区:一套参数跑所有任务;正解:不同任务最优参数不同,模板应按场景分组配置。
  • 误区:参数推荐值可以跨模型照搬;正解:分布形态不同,同一数值在不同模型上效果不同,需实测。

追问

  • Q:参数在哪里固化? A:放在任务模板/调用配置中,与模型版本一起记录,避免每次调用手工散改。
  • Q:多轮对话参数要一致吗? A:同一任务链路保持一致,避免不同轮次确定性忽高忽低。

10.1.2.2-007 temperature=0 是否完全可复现?

一句话结论

低温或贪心配置下输出趋近确定,但跨请求、跨版本、硬件与并发实现仍可能存在差异;不能把 temperature=0 当作绝对可复现的保证,关键一致性要靠 schema、规则与校验兜底。

概念解释

  • 贪心配置:每步取最高分,理论上同输入同权重输出一致。
  • 不确定性来源:版本更新、数值精度、并发批次、服务端采样实现。
  • 工程结论:可复现性需要版本锁定 + 确定性配置 + 结果校验。

原理流程

  1. 固定模型版本与采样配置。
  2. 同输入重复请求观察输出一致性。
  3. 对关键字段做程序校验而非依赖输出完全相同。

代码 / 图示

同输入 + 同版本 + 贪心配置 → 大概率一致
仍可能受: 精度/批次/版本更新 影响

常见误区

  • 误区:temperature=0 两次结果一定逐字相同;正解:服务端实现与数值环境可能引入细微差异,不要假设绝对确定。
  • 误区:低温就能替代输出校验;正解:格式与字段正确性仍需代码侧校验。

追问

  • Q:要做严格可复现该怎么办? A:锁定模型版本、固定参数与种子(如接口支持)、评测回归;关键输出走确定性规则校验。
  • Q:seed 参数 universally 可用吗? A:不是所有接口暴露种子,支持情况与生效口径以文档为准。

10.1.2.2-008 为什么抽取与格式化任务要用低温?

一句话结论

抽取任务要求字段值、枚举与结构稳定可解析,低温让输出集中在最可能的合法形式上,降低格式漂移、自造枚举值与多余文本的概率;但低温不能保证字段语义正确,仍需 schema 校验。

概念解释

  • 风险点:字段缺失、类型错误、枚举越界、夹带解释文本。
  • 低温作用:减少偏离主流合法输出的采样机会。
  • 兜底:schema 校验 + 重试。

原理流程

  1. 低温 + 窄候选配置调用。
  2. 输出按 schema 校验。
  3. 不合规走重试或降级规则。

代码 / 示例

抽取任务: 低温 + JSON Schema 约束
输出 → 解析 → 字段/枚举校验 → 失败重试

常见误区

  • 误区:低温下 JSON 一定合法;正解:仍可能截断、缺字段,必须解析校验。
  • 误区:抽取结果语义正确由参数保证;正解:参数只控采样分布,事实对错仍依赖上下文证据与模型能力。

追问

  • Q:低温仍出现多余解释文本怎么办? A:强化输出约束提示、使用结构化输出模式、解析时剥离非 JSON 部分并计入失败率。
  • Q:枚举值猜错怎么缓解? A:在提示与 schema 中列明可选值,校验不合法枚举值后重试或回退默认。

10.1.2.2-009 创意任务调高温度有什么代价?

一句话结论

高温提升用词与思路多样性,但代价是离题、逻辑跳跃、事实编造与格式不稳定的概率上升;创意场景也要设定主题边界与基础质量校验,不能为多样性放任发散。

概念解释

  • 收益:表达新鲜、避免千篇一律。
  • 代价:相关性下降、前后不一致、虚构细节。
  • 控制:主题约束、长度边界、人工或规则筛选。

原理流程

  1. 提高温度/候选宽度生成多个候选。
  2. 按相关性、合规与质量筛选。
  3. 必要时让模型在选定方向上收敛改写。

代码 / 图示

高温生成候选 → 相关性/合规筛选 → 收敛改写定稿

常见误区

  • 误区:创意任务温度越高越好;正解:过高会产出无关联想与不可用文本,增加筛选成本。
  • 误区:高温输出不需要事实核对;正解:创意中涉及事实、品牌、数据的部分仍需校验。

追问

  • Q:怎么兼顾多样与可控? A:低温定骨架与约束,高温只在措辞/方案发散环节使用,分阶段生成。
  • Q:多个候选怎么选? A:按预设维度(相关度、可行性、风格)排序,必要时人工挑选。

10.1.2.2-010 top-k 在 API 中常见吗,缺失时怎么办?

一句话结论

不同接口暴露的采样参数不同,部分只支持 temperature 与 top-p,不提供 top-k;缺失时不必强行模拟,用温度与 top-p 组合调节,并以接口实际参数清单为准。

概念解释

  • 参数差异:开源推理框架参数最全,托管 API 常只开放部分。
  • 替代关系:top-p 已能实现候选收窄。
  • 适配:调用层按能力读取可用参数。

原理流程

  1. 核对接口支持的参数列表。
  2. 用可用参数达到相近调节目标。
  3. 不支持的参数不传递,避免报错。

代码 / 示例

可用: temperature, top_p
不可用: top_k → 不传递, 用 top_p 控制候选宽度

常见误区

  • 误区:所有 API 都能设 top-k;正解:能力因供应商而异,参数清单以官方文档为准。
  • 误区:缺了 top-k 就无法控制多样性;正解:top-p 与温度已覆盖多数调节需求。

追问

  • Q:自托管模型参数最全吗? A:推理框架通常暴露更多采样参数,但也要看框架实现;调参前核对支持项。
  • Q:调用层怎么适配多供应商? A:参数映射表只传各供应商支持的项,默认值按任务模板配置。

10.1.2.2-011 惩罚过高会导致什么退化?

一句话结论

惩罚过高会压制正常重复(必要的关键字、标识符、指代),导致用词生僻、语句破碎、同义替换混乱甚至回避正确术语;应在样本上观察重复率与表达通顺度后定参数。

概念解释

  • 正常重复:术语、标识符、必要指称。
  • 过度惩罚:把合理重复也压下去。
  • 表现:表达不自然、代码语法受损。

原理流程

  1. 观察不同惩罚档位下的输出。
  2. 检查重复片段类型(循环 vs 必要术语)。
  3. 选重复率下降且通顺度不降的档位。

代码 / 图示

惩罚过低: 复读循环
惩罚适中: 抑制无意义重复
惩罚过高: 术语回避 / 语句破碎

常见误区

  • 误区:出现重复就加大惩罚;正解:先判断重复是循环故障还是正常表达,盲目加压伤质量。
  • 误区:惩罚参数可以离线一次调完不管;正解:换模型版本后分布变化,参数需回归复核。

追问

  • Q:代码任务惩罚怎么设? A:偏保守,保护关键字与标识符重复;循环问题优先从 prompt 与上下文排查。
  • Q:循环输出还有什么解法? A:检查上下文是否自相矛盾、温度是否过高、是否触发退化模式;必要时截断重来。

10.1.2.2-012 seed / 固定随机种子在服务端如何生效?

一句话结论

种子固定采样的随机起点,支持 seed 的接口在同输入同版本同参数下可提高复现性;但服务端批次、版本更新与实现差异仍可能影响结果,种子不是绝对确定性保证。

概念解释

  • 种子:随机数生成的初始状态。
  • 生效前提:模型版本、权重、参数、上下文一致。
  • 局限:服务端调度与精度差异不完全受种子控制。

原理流程

  1. 接口支持时传入固定 seed。
  2. 相同配置重复请求观察一致性。
  3. 关键结果仍做程序校验。

代码 / 图示

seed 固定 + 版本锁定 + 参数一致 → 复现性提升
不保证: 跨版本 / 跨部署环境 逐字一致

常见误区

  • 误区:设了 seed 就一定复现;正解:种子只固定采样随机源,其他环境变量不在其控制范围内。
  • 误区:所有接口都支持 seed;正解:支持情况与生效口径以文档为准,不支持时不要依赖。

追问

  • Q:评测复现需要什么? A:锁定模型版本、参数、种子(如有),记录样本与时间;输出一致性用指标衡量而非逐字比对。
  • Q:线上要固定 seed 吗? A:通常不需要;需要可复现调试或特定稳定输出时再用,多数业务靠低温与校验保证稳定。

10.1.2.2-013 波束搜索(beam search)为什么在 LLM 里不常用?

一句话结论

波束搜索保留多条候选序列并行扩展,传统 NLP 任务常用;LLM 开放生成中它倾向高概率通用序列、降低多样性且计算成本随束数上升,主流解码以贪心/温度采样为主,beam search 只在特定受控生成场景使用。

概念解释

  • beam:同时保留若干最优前缀序列扩展。
  • 倾向:高概率路径,容易重复保守表达。
  • 成本:束数倍乘解码计算。

原理流程

  1. 每步扩展多条候选前缀。
  2. 按序列累计分数保留 top-beam。
  3. 终止后选最优序列。

代码 / 图示

贪心: 1 条路径
beam: b 条路径并行扩展, 累计打分保留
LLM 主流: 贪心 / 温度采样

常见误区

  • 误区:beam search 一定比采样质量高;正解:开放生成中高概率偏好可能导致泛泛而谈,效果需按任务验证。
  • 误区:beam 越多越好;正解:计算成本线性上升,且多样性进一步下降。

追问

  • Q:哪些场景还会用 beam? A:短文本翻译、受控生成等追求稳定序列的任务;是否支持以推理框架为准。
  • Q:采样多样性与 beam 确定性怎么取舍? A:按任务选择,抽取偏确定,开放生成用采样,评测集上对比。

10.1.2.2-014 logits bias 能做什么?

一句话结论

logits bias 允许人为上调或下调指定 token 的分数,用于抑制禁用词、抬高特定枚举或阻止某些符号输出;适合精确控制个别候选,但不能修复整体格式与语义问题。

概念解释

  • 作用对象:指定 token id 的分数偏移。
  • 用途:黑名单降权、白名单偏向、格式边界控制。
  • 限制:只影响候选分数,不改变模型理解。

原理流程

  1. 定位目标 token id。
  2. 设置加分/减偏移量。
  3. 进入正常缩放与采样流程。

代码 / 示例

bias: 禁用 token → 大幅下调
      期望枚举 → 适度上调
(参数形式与支持范围以接口为准)

常见误区

  • 误区:bias 可以强制模型只输出某字段;正解:它只调分数,强约束仍要靠 schema 与校验。
  • 误区:按字符串名就能设 bias;正解:bias 通常作用于 token id,需先确认目标 token 的编码。

追问

  • Q:禁用敏感词用 bias 够吗? A:不够,输出过滤与内容安全护栏仍需独立层处理;bias 只是采样侧辅助。
  • Q:bias 调度过猛会怎样? A:目标 token 被完全抑制后可能出现绕行表达或格式异常,需观察输出。

10.1.2.2-015 输出长度参数 max_tokens 与采样是什么关系?

一句话结论

max_tokens 限定本次生成的最大输出 token 数,是硬上限;采样决定选哪些 token,长度参数决定生成到哪停;它不提高质量,只防止无限生成与成本失控,预留不足会截断输出。

概念解释

  • 上限:生成 token 数达到即停止。
  • 与采样独立:采样选内容,长度控边界。
  • 预留:从窗口剩余预算中扣除。

原理流程

  1. 按任务答案结构估输出长度。
  2. 设置 max_tokens 并校验窗口预算。
  3. 达到上限或结束 token 停止。

代码 / 图示

采样: 选下一个 token
max_tokens: 最多生成多少个
达到上限 → 截断停止(非自然结束)

常见误区

  • 误区:max_tokens 越大回答越好;正解:它只是上限,过长上限增加成本与跑题空间,应按任务设合理值。
  • 误区:输出短是 max_tokens 设小了;正解:也可能是模型提前结束,需结合停止原因判断。

追问

  • Q:结构化输出该设多大? A:按 schema 嵌套层级与字段数量估余量,避免 JSON 被截断;校验完整性后重试。
  • Q:接口默认上限是多少? A:以官方文档为准,不同模型档位不同,不要假设默认值够用。

10.1.2.2-016 参数调优用什么评测集验证?

一句话结论

采样参数必须在业务评测集上对比:固定样本与黄金标准,比较不同温度/top-p/惩罚组合的正确率、格式合规率与多样性指标,选质量达标且稳定的配置,而不是凭单次试看。

概念解释

  • 对照变量:只调参数,其余 prompt、模型、样本固定。
  • 指标:任务正确率、格式通过率、重复率、人工可读性。
  • 结论:参数组合固化进模板并记录版本。

原理流程

  1. 准备代表性样本集与判定标准。
  2. 跑多组参数配置。
  3. 对比指标选最优区间,固化默认值。

代码 / 示例

变量: temperature / top_p / penalty
指标: 字段正确率, JSON 合法率, 重复率, 人工评分

常见误区

  • 误区:拿一两个例子看感觉调参;正解:样本不覆盖边界,参数结论不可靠。
  • 误区:参数调好后永久不变;正解:模型版本、prompt 或样本分布变化后要回归复核。

追问

  • Q:多样性怎么量化? A:可比候选间差异、重复 n-gram 比例等;创意任务结合人工评价。
  • Q:参数冲突怎么取舍? A:先保任务硬指标(正确、合法),再优化表达与多样性。

10.1.2.2-017 并发请求下采样随机性如何隔离?

一句话结论

每个请求的采样状态独立维护,并发批次之间不共享随机过程;但服务端批处理与调度可能影响数值细节,业务侧不要假设跨请求状态相互污染,也不要依赖随机性做安全边界。

概念解释

  • 隔离:各请求上下文与采样状态独立。
  • 共享:模型权重常驻,请求间不共享生成状态。
  • 注意:安全控制不能只靠采样不确定性。

原理流程

  1. 请求进入独立上下文与 Cache。
  2. 采样在各自序列上进行。
  3. 批次并行计算,结果各自返回。

代码 / 图示

请求 A 上下文/采样状态 ← 独立 → 请求 B
共享: 模型权重; 不共享: 历史与随机状态

常见误区

  • 误区:并发会让两个请求互相串内容;正解:上下文与 KV 按请求隔离,串内容多来自 prompt 组装错误。
  • 误区:采样随机性能防注入;正解:安全边界靠隔离、校验与权限控制,不靠随机性。

追问

  • Q:怎么排查串内容问题? A:检查消息组装是否复用了历史对象、工具返回是否错配,而不是归因于并发采样。
  • Q:批量处理影响单请求结果吗? A:批处理主要影响调度与数值精度,不改变请求间上下文隔离。

10.1.2.2-018 同一 prompt 多次结果不一致怎么排查?

一句话结论

按顺序排查:采样参数是否随机、模型版本是否漂移、上下文是否每次不同、是否存在未固定的变量或工具结果;先固定低温与版本复现,再逐环节定位差异来源。

概念解释

  • 随机来源:温度/采样导致正常波动。
  • 非预期来源:版本更新、历史组装差异、检索结果不同。
  • 复现:固定变量后重复观察。

原理流程

  1. 固定模型版本、参数、输入样本。
  2. 低温重复请求,确认是否仍波动。
  3. 对比每次实际发送的完整 prompt 与检索结果。

代码 / 图示

不一致 → 固定版本/参数/输入重放
  ├─ 仍波动: 采样或服务端实现
  └─ 一致: 排查历史/检索/变量组装差异

常见误区

  • 误区:所有不一致都是模型不稳定;正解:多数线上差异来自上下文组装、检索漂移或版本更新。
  • 误区:提高温度能解决不一致;正解:方向相反,需要稳定时应降低随机成分并固化上下文。

追问

  • Q:检索结果每次不同怎么办? A:固定查询与过滤条件,检查向量库更新、rerank 波动与缓存命中差异。
  • Q:记录哪些信息便于排查? A:模型版本、参数、完整 prompt、检索片段、输出与停止原因,按请求留存。

10.1.2.2-019 停止词(stop sequences)的工程用法是什么?

一句话结论

停止词是自定义的生成终止字符串:命中即停止后续输出,用于按格式边界截断(如分隔符、固定结尾标记);它在 token/字符串层面匹配,配置要避免误伤正常内容。

概念解释

  • 用途:提前结束、剥离模板尾巴、按结构边界截断。
  • 匹配:生成到指定字符串即停。
  • 风险:出现在正常内容中会被误截断。

原理流程

  1. 定义不会在答案中出现的边界标记。
  2. 配置为停止序列。
  3. 命中后结束生成,保留停止符之前的内容。

代码 / 示例

输出: "答案正文
---END---"
stop: "---END---" → 命中即停, 不生成后续

常见误区

  • 误区:停止词能清洗输出格式;正解:它只终止生成,前后多余文本仍需解析处理。
  • 误区:用常见短语做停止词;正解:标记应足够独特,避免截断正常回答。

追问

  • Q:停止词与 EOS 什么关系? A:EOS 是模型结束标记,停止词是应用侧补充边界;二者任一命中都可停止。
  • Q:接口不支持停止词怎么办? A:在解析侧按标记截断输出,并校验截断位置是否合理。

10.1.2.2-020 参数配置清单按任务类型怎么组织?

一句话结论

按任务类型维护参数模板:模型版本、温度、top-p、惩罚、max_tokens、停止词与校验方式成组配置;每个模板记录适用场景、默认值与回归评测结果,变更走版本化管理。

概念解释

  • 模板分组:抽取、分类、摘要、创意、代码等。
  • 配套项:不只采样参数,还含输出约束与校验。
  • 可追溯:参数与模型版本、prompt 版本对应记录。

原理流程

  1. 按任务类型建参数模板。
  2. 评测集验证默认值。
  3. 上线后随模型/prompt 变更回归复核。

代码 / 示例

模板: 任务名 | 模型版本 | temperature | top_p |
      penalty | max_tokens | stop | 校验方式

常见误区

  • 误区:参数散落在调用代码里;正解:集中模板管理,便于复核、切换与回归。
  • 误区:模板不记录评测依据;正解:每个默认值应能追溯到评测对比结果。

追问

  • Q:新任务先套哪个模板? A:找最接近的任务模板起步,再在自有样本上微调,不要直接照搬创意类参数。
  • Q:参数变更怎么评审? A:与 prompt 版本一起变更,跑回归集对比关键指标后发布。