罗罗编程学习记录
本页内容 展开查看

10.2.1.2 Few-shot 与示例选择

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.2 Prompt 工程 / 10.2.1 提示设计与结构化输出

10.2.1.2-001 什么是 zero-shot / few-shot?

一句话结论

zero-shot 只给任务指令不给示例;few-shot 在提示中附若干输入输出样例,让模型对照示例理解格式、边界与风格;示例相当于隐性规范,比纯文字指令更直观地对齐输出预期。

概念解释

  • zero-shot:依赖指令描述完成任务。
  • few-shot:样本对引导模式学习。
  • 适用:格式复杂、边界微妙时示例收益明显。

原理流程

  1. 任务简单或模型已熟悉领域时用 zero-shot。
  2. 需要对齐格式/边界时加入示例。
  3. 示例展示输入到期望输出的完整映射。

代码 / 示例

zero-shot: "把下面句子改为正式语气: ..."
few-shot:
  输入: 咋退款啊
  输出: 您好, 请问如何申请退款?
  输入: ...
  输出: ...

常见误区

  • 误区:few-shot 一定比 zero-shot 好;正解:简单任务示例占预算且可能引入示例偏差,按任务验证。
  • 误区:示例只是装饰;正解:示例定义了模型参照的输出模式,错误示例会直接带偏结果。

追问

  • Q:什么是 one-shot? A:只给一个示例的过渡形态,介于 zero 与 few-shot 之间。
  • Q:示例属于训练吗? A:不是,它是上下文内的临时引导,不更新模型权重。

10.2.1.2-002 few-shot 示例放在哪、用什么格式?

一句话结论

示例放在任务指令之后、当前输入之前,统一的输入/输出成对排列;格式与真实请求一致,使用固定标记区分示例与待处理输入,避免模型把示例当成当前问题。

概念解释

  • 位置:规则 → 示例 → 当前输入。
  • 格式:每条示例包含输入与期望输出。
  • 分隔:示例块与实际输入之间明确分界。

原理流程

  1. 指令区写任务与约束。
  2. 排列示例对。
  3. 分界标记后放入本轮真实输入。

代码 / 示例

任务: 抽取城市
示例:
输入: 我在北京出差 → 输出: {"city": "北京"}
输入: ... → 输出: ...
当前输入: 【待处理文本】

常见误区

  • 误区:示例插在输入中间;正解:示例集中排列,真实输入单独成块,避免边界混淆。
  • 误区:示例输出格式与最终要求不一致;正解:示例必须展示目标 schema 与字段写法。

追问

  • Q:示例带解释过程吗? A:按任务需要;纯抽取只展示结果,推理类示例可含步骤,格式要统一。
  • Q:多个示例顺序怎么排? A:见顺序相关条目,典型与边界样本合理分布。

10.2.1.2-003 示例数量如何取舍?

一句话结论

示例数量在覆盖关键边界与上下文成本之间权衡:太少覆盖不全,太多挤占窗口、增加成本并可能引入矛盾;先用少量典型 + 边界样本起步,按评测结果增减。

概念解释

  • 覆盖度:输入类型、字段组合、边界情况。
  • 成本:每条示例都占输入 token。
  • 边际收益:示例增多到一定程度后质量提升递减。

原理流程

  1. 列任务需要覆盖的情形。
  2. 每类至少一个代表性示例。
  3. 评测集对比不同数量的效果与成本。

代码 / 图示

少: 覆盖不足, 边界错误多
中: 典型 + 关键边界, 性价比高
多: 预算上升, 矛盾风险增加

常见误区

  • 误区:示例越多模型越准;正解:冗余示例稀释重点,且长示例集增加每次调用成本。
  • 误区:示例数量固定不变;正解:随任务复杂度与失败案例补充,不用一次堆齐。

追问

  • Q:典型任务放几个示例合适? A:没有通用固定数,按格式复杂度与边界类型定,以评测集指标为准。
  • Q:示例能从历史成功案例选吗? A:可以,但要脱敏并核对答案正确,详见示例隐私与质量条目。

10.2.1.2-004 示例选择应覆盖哪些边界情况?

一句话结论

示例应覆盖典型输入、字段缺失、模糊表述、多实体、边界值与易混淆情形;正例展示正确做法,必要时配反例说明什么输出不可接受,边界样本比重复同类正例更有价值。

概念解释

  • 典型:主流输入形态。
  • 边界:缺字段、歧义、极值、多候选。
  • 反例:错误输出及修正方式。

原理流程

  1. 梳理任务输入分布与失败类型。
  2. 每类情形配代表性示例。
  3. 难区分情形用对照示例说明差异。

代码 / 示例

覆盖: 正常抽取 / 字段缺失填 null /
      多实体并列 / 无法判断时的输出 / 反例(禁止臆造)

常见误区

  • 误区:示例都是顺利的正例;正解:缺失、歧义等边界不覆盖,模型遇到时最易编造或格式崩溃。
  • 误区:反例必须展示错误答案;正解:也可以用"不允许输出 X"的规则形式,反例仅在有助于区分时使用。

追问

  • Q:边界样本从哪来? A:历史失败案例、评测集错题与人工构造的边缘输入。
  • Q:怎么确认覆盖够了? A:按输入类型清单核对覆盖率,未覆盖类型在评测集中补样本。

10.2.1.2-005 示例顺序为什么会影响输出?

一句话结论

模型对靠前与靠后的示例更关注,相近示例之间也可能产生对比暗示;顺序应把最规范的典型示例放前面,边界与易混淆样本合理排列,避免错误或特殊示例形成主导印象。

概念解释

  • 位置效应:首尾示例影响更强。
  • 对比效应:相邻示例定义区分边界。
  • 一致性:示例风格与格式必须统一。

原理流程

  1. 规范典型示例前置。
  2. 易混淆对照样本相邻排列。
  3. 检查整体顺序不引导错误模式。

代码 / 图示

顺序: 标准正例 → 变体 → 边界情况
避免: 特殊/错误示例放在最前形成主导

常见误区

  • 误区:示例顺序随机无所谓;正解:顺序影响参照权重,边界样本放错位置可能被当成主流模式。
  • 误区:多个示例答案互相矛盾也能凑数;正解:矛盾示例让模型无所适从,必须先统一口径。

追问

  • Q:示例顺序需要随机化吗? A:评测时可观察顺序敏感性;生产模板固定合理顺序,避免每轮随机排列造成波动。
  • Q:复杂分类怎么排示例? A:按类别分组排列,同类示例集中,类别间对照清晰。

10.2.1.2-006 示例与真实输入分布不一致有什么风险?

一句话结论

示例分布偏离真实输入时,模型会按示例模式处理实际数据,导致格式、字段或判断口径偏差;示例应取自真实脱敏样本,覆盖线上常见形态,而不是用理想化编造样本。

概念解释

  • 分布偏差:示例过短/过于规整,真实输入更长更杂。
  • 口径偏差:示例答案口径与业务规则不一致。
  • 表现:线上格式错误、判断偏严或偏松。

原理流程

  1. 从真实流量脱敏抽样做示例候选。
  2. 核对示例答案符合业务口径。
  3. 线上失败案例回流补充示例。

代码 / 图示

示例来源: 真实脱敏样本 > 人工编造理想样本
口径: 与现行业务规则、字段定义一致

常见误区

  • 误区:手写几个漂亮例子就行;正解:理想样本不代表线上分布,边缘输入仍会出错。
  • 误区:示例答案由模型生成即可用;正解:必须人工核对正确,错误答案会被当作标准复制。

追问

  • Q:真实样本含隐私怎么办? A:脱敏后使用,个人信息与敏感业务数据移除或替换。
  • Q:分布变化后示例要更新吗? A:要,业务输入形态变化时同步补充新类型示例。

10.2.1.2-007 示例格式不一致会导致什么?

一句话结论

示例之间字段名、缩进、枚举写法、输出结构不统一时,模型会在格式间摇摆,导致解析失败、字段漂移与风格混乱;所有示例必须使用同一套 schema 与写法规范。

概念解释

  • 格式要素:字段名、类型、枚举值、空值表示、排序。
  • 一致性:示例之间与最终 schema 完全对齐。
  • 风险:格式漂移直接影响程序解析。

原理流程

  1. 定义统一输出 schema。
  2. 所有示例按同一 schema 填写。
  3. 检查空值、枚举、标点写法一致。

代码 / 示例

统一: {"city": "北京", "channel": null}
不一致反例: 有的写 N/A, 有的写无, 有的省略字段

常见误区

  • 误区:示例大意对就行;正解:字段名与空值写法不一致会直接污染输出格式。
  • 误区:schema 约束可以替代示例格式统一;正解:两者都要,示例是模型直观参照。

追问

  • Q:示例里能出现注释吗? A:面向模型的示例应是干净的目标输出,解释放规则区,避免模型把注释写进结果。
  • Q:格式问题在哪里拦截? A:解析与 schema 校验层兜底,同时修正示例一致性。

10.2.1.2-008 正例与反例怎么搭配?

一句话结论

正例展示期望输出,反例用于明确易犯错误的边界;反例应给出"错误 → 为什么不行 → 正确形式",避免只贴一个错误答案被模型模仿。多数任务以正例为主,反例少量精准使用。

概念解释

  • 正例:输入 → 正确输出。
  • 反例:常见错误输出 + 修正说明。
  • 比例:反例过多可能强化错误模式。

原理流程

  1. 以正例建立标准模式。
  2. 对高频错误配对照反例。
  3. 反例配正确写法与原因说明。

代码 / 示例

反例对照:
错误: {"city": "北京朝阳区"}  (混入区县)
原因: 字段只取城市名
正确: {"city": "北京"}

常见误区

  • 误区:反例写出来模型就不会学;正解:模型可能先模仿错误形式,必须同时给出正确版本。
  • 误区:反例越多防护越严;正解:错误表述本身也是刺激,少量针对性反例即可。

追问

  • Q:什么类型适合反例? A:格式易错、边界易混、常见臆造字段的任务。
  • Q:反例答案从哪来? A:历史真实错误输出,比凭空设想更有针对性。

10.2.1.2-009 动态选例(检索示例)怎么做?

一句话结论

从示例库中按当前输入语义检索最相近的若干示例注入提示,解决示例库大、固定示例覆盖不全的问题;选例要保证答案正确、口径一致,并控制注入数量与去重。

概念解释

  • 示例库:标注好的输入输出样本集合。
  • 检索:按语义或相似度取近邻示例。
  • 约束:所选示例格式统一、答案可追溯。

原理流程

  1. 建立标注示例库并向量化。
  2. 新输入检索 top 相近示例。
  3. 去重、核对后注入提示。

代码 / 图示

新输入 → 相似度检索示例 → top-k 去重 → 注入 prompt

常见误区

  • 误区:检索到相似片段就当示例;正解:示例必须答案正确且格式合规,相似但错误的样本会带偏。
  • 误区:动态选例不用维护质量;正解:示例库答案口径要持续复核,过期样本及时下架。

追问

  • Q:选例数量怎么定? A:与固定 few-shot 同样按预算与覆盖权衡,通常少量高质量优于大量堆砌。
  • Q:示例库与 RAG 文档库有区别吗? A:结构不同:示例是输入输出对,文档是证据材料;可以共用检索基础设施但分开维护。

10.2.1.2-010 示例过长挤占上下文怎么办?

一句话结论

压缩示例到最小必要长度:保留关键字段与边界信息,删除冗余背景;复杂示例拆成短样例,长示例移出示例库作为参考材料,避免每轮重复携带大段样本。

概念解释

  • 压缩:保留输入关键特征与输出结构。
  • 拆分:一个示例聚焦一种边界。
  • 外置:长材料走检索,不进示例块。

原理流程

  1. 评估每条示例长度。
  2. 删除与演示目标无关的内容。
  3. 超长样本改为按需检索注入。

代码 / 图示

示例输入: 保留触发判断的关键句
示例输出: 只展示目标字段结构

常见误区

  • 误区:示例要完整还原真实对话;正解:示例用于演示模式,精简到能传达边界即可。
  • 误区:多条长示例一起塞;正解:按当前输入动态选最相关的短示例。

追问

  • Q:精简示例会不会丢信息? A:保留边界触发条件即可,完整原始样本存在示例库中可回溯。
  • Q:示例长度计入预算吗? A:计入输入 token,与系统提示、历史一起占窗口。

10.2.1.2-011 示例泄露隐私或敏感信息怎么办?

一句话结论

进入提示的示例必须脱敏:移除个人信息、内部机密、凭据与未公开业务数据;示例库存储与访问按敏感级别管控,发现泄露样本立即从模板与库中移除。

概念解释

  • 敏感类型:姓名、联系方式、订单、内部条款、密钥。
  • 处理:替换、掩码、泛化。
  • 管控:示例库权限与审计。

原理流程

  1. 示例入库前做敏感信息检查。
  2. 脱敏后保留演示价值。
  3. 定期复核库内样本合规性。

代码 / 示例

原文: 张三 138xxxx 订单 A12345
脱敏: 用户 138**** 订单 ******

常见误区

  • 误区:示例只存在内部所以不用脱敏;正解:提示内容会发送给模型供应商,按数据分类要求处理。
  • 误区:掩码一个字段就够;正解:组合信息可能重识别,关键标识整体泛化。

追问

  • Q:脱敏后怎么保持示例真实感? A:保留结构与关键特征,替换为虚构但格式一致的样本。
  • Q:示例库权限怎么设? A:按角色最小授权,访问与导出留审计记录。

10.2.1.2-012 多语言、多字段任务的示例怎么组织?

一句话结论

多字段任务示例按字段组合情况组织,每个示例展示完整字段;多语言任务按语言分组示例,明确术语保留规则,避免示例间字段口径与语言风格混杂。

概念解释

  • 字段组合:必填、可选、缺失、多值的不同搭配。
  • 语言分组:各语言示例独立成组。
  • 一致:字段名与枚举跨语言保持稳定。

原理流程

  1. 梳理字段组合矩阵。
  2. 每种关键组合配一条完整示例。
  3. 多语言示例标注语言并统一术语。

代码 / 图示

字段组合: 全字段 / 缺可选字段 / 多值 / 空值
语言: 中文示例组 / 英文示例组, 术语保留规则一致

常见误区

  • 误区:一条示例塞所有字段情况;正解:单示例聚焦一种组合,避免输出结构混乱。
  • 误区:字段名随语言翻译;正解:输出字段标识保持稳定,只翻译值文本。

追问

  • Q:字段很多示例写不全怎么办? A:示例覆盖关键字段与边界组合,完整字段定义由 schema 提供。
  • Q:跨语言示例互相干扰吗? A:分组排列并标注语言,减少风格串扰。

10.2.1.2-013 示例与 CoT 如何结合?

一句话结论

推理类任务示例可在输入与最终答案之间展示分步过程,让模型模仿推理结构;步骤应简洁、可核对,避免冗长自然语言,示例中的推理口径与规则保持一致。

概念解释

  • 结合形式:示例 = 输入 → 步骤 → 结论。
  • 作用:引导模型先推理再回答。
  • 风险:步骤编造与成本上升。

原理流程

  1. 确定需要展示的推理步骤类型。
  2. 示例中按固定结构写出步骤。
  3. 结论部分保持格式约束。

代码 / 示例

输入: ...
步骤: 1. 提取条件 2. 对照规则 3. 得出结论
输出: {"result": ...}

常见误区

  • 误区:CoT 示例越长越充分;正解:步骤是引导结构,冗长叙述增加成本且可能引入编造。
  • 误区:示例推理过程可以省略依据;正解:关键步骤要对应证据或规则,避免示范无效推理。

追问

  • Q:什么任务适合带步骤示例? A:多步判断、分类依据说明、数学与规划;简单抽取不需要。
  • Q:步骤也要校验吗? A:高风险任务核对步骤与结论一致性,详见 CoT 子页。

10.2.1.2-014 什么时候 few-shot 不如微调?

一句话结论

当示例需要大量覆盖、格式高度固定、任务频次高且有标注数据时,微调把模式固化进模型更稳定;few-shot 适合快速迭代、样本少、任务多变的场景,二者按成本、稳定性与数据条件选择。

概念解释

  • few-shot:上下文引导,改提示即调整,无训练成本。
  • 微调:参数固化模式,推理时提示更轻。
  • 条件:标注量、任务稳定性、部署成本。

原理流程

  1. 评估任务是否稳定、标注是否充足。
  2. 对比 few-shot 效果与成本上限。
  3. 不达标再评估微调可行性。

代码 / 图示

任务多变/样本少  → few-shot
任务固定/标注多/高频 → 评估微调

常见误区

  • 误区:效果不好就去微调;正解:先排查提示、示例与检索问题,微调是后续手段。
  • 误区:微调后就不需要示例;正解:仍需评测集验证,输出约束与校验不能省。

追问

  • Q:微调数据从哪来? A:高质量标注样本,口径比示例库更严格;详见微调与对齐章节。
  • Q:few-shot 能解决风格统一吗? A:部分可以,长期固定产品话术也可考虑微调固化。

10.2.1.2-015 示例标签写错有什么影响?

一句话结论

示例答案(标签)错误会被模型当作标准模式复制到新输入,错误口径随示例放大;示例入库前必须核对答案正确性与一致性,发现错误立即修正或下架。

概念解释

  • 标签:示例的期望输出。
  • 放大效应:错误标签在多条新样本上复现。
  • 校验:人工复核 + 规则核对。

原理流程

  1. 候选示例答案逐条核对。
  2. 与业务规则、schema 对照。
  3. 错误标签修正后再入库。

代码 / 图示

错误标签 → 模型模仿错误口径 → 线上批量出错
正确做法: 入库复核 + 定期抽检

常见误区

  • 误区:示例输入对了就行;正解:输出标签是直接参照,错误答案危害更大。
  • 误区:标签随业务规则变更不用改;正解:规则更新后旧示例标签要同步复核。

追问

  • Q:怎么批量检查标签? A:能用规则校验的走程序,语义判断部分人工抽检高风险样本。
  • Q:发现线上被错误示例带偏怎么回滚? A:从模板与示例库移除错误样本,回归评测后重新发布。

10.2.1.2-016 如何评测示例集质量?

一句话结论

从覆盖率、正确率、一致性、长度成本四个维度评估:覆盖关键输入类型、标签正确、格式口径统一、示例精简;用消融对比去掉或替换某类示例后指标变化,判断示例实际贡献。

概念解释

  • 指标:类型覆盖率、标签正确率、格式一致率、平均长度。
  • 消融:对比有无某示例的输出差异。
  • 迭代:失败案例回流补充。

原理流程

  1. 核对示例清单与输入类型覆盖。
  2. 抽检标签与格式一致性。
  3. 评测集上对比示例配置效果。

代码 / 图示

覆盖率 / 正确率 / 一致性 / 成本
消融: 移除示例 → 指标是否下降, 判断必要性

常见误区

  • 误区:示例集建好就不用管;正解:输入分布与业务规则变化后要复核更新。
  • 误区:示例越多消融越好;正解:可能只是提示变长,需看真实指标而非主观感觉。

追问

  • Q:示例质量问题在哪暴露? A:评测集格式错误、边界判断错误与线上失败案例,回流到示例库分析。
  • Q:谁维护示例库? A:任务负责人配合标注/评审,变更记录可追溯。

10.2.1.2-017 示例模板如何变量化?

一句话结论

示例结构固定、内容按类型变量填充,把示例写成可复用模板片段,与动态选例库配合;字段占位与真实输入保持同一套 schema,避免示例模板手写漂移。

概念解释

  • 模板化:示例骨架固定,答案内容变量化。
  • 复用:同类任务共享示例骨架。
  • 一致性:模板与 schema 同源维护。

原理流程

  1. 提炼示例通用骨架。
  2. 变量位绑定字段定义。
  3. 新类型示例按骨架填充并核对。

代码 / 示例

示例骨架:
输入: {{sample_input}}
输出: {"field": {{value}}, "opt": {{optional}}}

常见误区

  • 误区:每条示例手写独立格式;正解:骨架统一后格式一致性更易维护。
  • 误区:变量化会丢失边界演示;正解:边界由不同样本内容体现,骨架只固定结构。

追问

  • Q:示例模板存在哪? A:与提示模板同版本管理,变更随模板发布。
  • Q:变量取值校验吗? A:示例答案同样过 schema 校验后才入库。

10.2.1.2-018 few-shot 提示片段示例是什么样的?

一句话结论

可复用片段包含任务说明、成对示例与当前输入分界;字段、枚举与空值写法在示例中保持一致,片段可直接嵌入系统模板或动态选例结果之后。

概念解释

  • 片段组成:规则一行 + 示例对 + 分界标记。
  • 复用:适配同类抽取/分类任务。
  • 边界:示例与真实输入明确分隔。

原理流程

  1. 写任务规则与输出要求。
  2. 放 2~3 条覆盖典型与边界的示例。
  3. 分界后接入当前输入。

代码 / 示例

从用户句子中提取意向商品, 输出 JSON:
输入: "想看看降噪耳机"
输出: {"intent": "咨询商品", "item": "降噪耳机"}
输入: "没想买东西"
输出: {"intent": "无", "item": null}
【当前输入】
{{user_input}}

常见误区

  • 误区:片段里夹带解释性文字;正解:面向模型的示例保持干净,说明放在规则区。
  • 误区:示例输出带 Markdown 代码块包裹;正解:若最终要求纯 JSON,示例也直接给 JSON 结构。

追问

  • Q:片段接入多轮历史怎么放? A:示例在规则区,历史与当前输入在其后数据区,顺序不混。
  • Q:片段怎么验收? A:跑评测集检查格式合规率与字段正确率,不合格再调示例。