10.2.1.5 输出校验重试与模板版本化
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.2 Prompt 工程 / 10.2.1 提示设计与结构化输出
10.2.1.5-001 输出校验分哪几层?
一句话结论
校验自下而上分三层:语法/结构校验(能否解析、字段类型)、语义/规则校验(字段取值是否符合业务规则)、证据/事实校验(断言是否有来源依据);逐层通过才允许进入业务流程。
概念解释
- 结构层:JSON 合法、字段齐全、类型正确。
- 规则层:枚举、范围、业务一致性。
- 证据层:关键断言可回溯到输入或工具结果。
原理流程
- 解析输出结构。
- schema 校验字段与类型。
- 业务规则校验取值。
- 证据回溯核验关键断言。
代码 / 图示
解析 → schema 结构校验 → 业务规则校验 → 证据核验 → 放行
任一层失败 → 对应处置(重试/修正/拦截)
常见误区
- 误区:能解析就算校验通过;正解:结构合法只过了第一层,取值与语义仍要检查。
- 误区:校验全放模型侧;正解:确定性规则必须在代码侧执行,模型只负责产出候选。
追问
- Q:各层失败分别怎么处理? A:结构错误可反馈重试,规则错误按修正或拦截,证据不足走拒答/补检索。
- Q:校验顺序能颠倒吗? A:先结构后规则再证据,结构不通无法做后续校验。
10.2.1.5-002 JSON 解析失败如何重试?
一句话结论
解析失败时先做有限修复(剥离代码围栏、补齐明显括号),不可修复则把解析错误与原始输出反馈给模型重新生成;重试仍失败走兜底,不把半截 JSON 传入业务流程。
概念解释
- 有限修复:去围栏、去多余说明、括号平衡检查。
- 反馈重试:错误信息回传,要求只输出合法对象。
- 上限:重试次数与退避设边界。
原理流程
- 尝试解析,记录错误位置。
- 可修复则归一后再解析。
- 失败则带错误反馈重试,超出上限兜底。
代码 / 示例
原始输出 → 剥离 ```json 围栏 → 解析
失败 → 反馈: "上一次输出不是合法 JSON, 请仅输出对象" → 重试
常见误区
- 误区:靠正则硬凑 JSON;正解:正则修复不可靠,结构严重损坏应重生成。
- 误区:解析失败无限重试;正解:次数上限与退避防止成本失控与阻塞。
追问
- Q:错误反馈要带原始输出吗? A:可带截断后的失败片段与错误原因,帮助模型定位;注意敏感内容不外泄。
- Q:重试换不换采样参数? A:结构问题优先保持配置,必要时降低温度提高格式稳定性。
10.2.1.5-003 重试提示如何把错误反馈给模型?
一句话结论
重试消息明确指出失败类型、具体字段与期望修正方向,附带原输出问题片段与目标 schema;反馈应结构化、可执行,而不是笼统说"出错了请重答"。
概念解释
- 反馈要素:哪个字段、什么错误、期望形式。
- 上下文:保留原输入与失败输出。
- 约束:重申输出格式要求。
原理流程
- 校验层归类错误。
- 生成结构化错误反馈。
- 连同输入与 schema 重新请求。
代码 / 示例
"上次输出校验未通过:
- 字段 order_id 缺失
- 枚举 channel 出现未定义值 '微信'
请按 schema 重新输出, channel 只能取: 线上/门店/电话"
常见误区
- 误区:反馈只说"格式不对";正解:缺少具体字段与期望取值,模型无法定向修正。
- 误区:重试把错误答案作为示范重复;正解:错误片段用于定位,不要让模型模仿错误格式。
追问
- Q:反馈放系统消息还是用户消息? A:按接口消息结构组织,错误说明作为附加上下文,与原始输入区分。
- Q:多次重试错误相同怎么办? A:判定为能力/格式不匹配,转规则兜底或人工,不再空转重试。
10.2.1.5-004 重试次数与退避策略怎么设?
一句话结论
按错误类型设重试上限:格式类错误可少量即时重试,限流/超时类用退避重试;总次数、间隔与超时预算固定,超出后走兜底路径,避免无限循环消耗 token 与延迟。
概念解释
- 可重试:格式错误、临时限流、上游超时。
- 不可重试:参数非法、内容拒绝、schema 不支持。
- 预算:次数 + 退避 + 总时延上限。
原理流程
- 分类错误是否可重试。
- 可重试按次数与退避执行。
- 超限进入兜底。
代码 / 图示
结构错误: 即时重试 1~2 次
限流/超时: 指数退避, 上限次数
不可重试: 直接兜底, 不重试
常见误区
- 误区:所有错误都重试几次;正解:请求本身非法时重试无意义,只浪费成本。
- 误区:退避间隔固定越长越好;正解:按上游限流口径与业务 SLA 设定,避免长等待拖垮链路。
追问
- Q:重试计费怎么算? A:每次重试的输入输出 token 通常都计费,预算要计入重试放大的成本。
- Q:重试期间用户体验? A:同步链路控制总等待,超时即降级提示;异步任务可后台重试并通知结果。
10.2.1.5-005 校验不通过时的兜底方案有哪些?
一句话结论
兜底按风险分级:返回保守默认值、转规则引擎处理、记录待人工复核、提示稍后重试;高风险字段宁可不输出也不放行错误结果,兜底结果与原因要可追溯。
概念解释
- 低风险:默认值或空结果 + 标记。
- 中风险:规则引擎生成确定结果。
- 高风险:转人工,不自动给结论。
原理流程
- 按任务风险等级选兜底方式。
- 兜底结果标注来源(规则/人工)。
- 记录失败原因供回流分析。
代码 / 图示
校验失败 → 低风险: 默认/空 + 标记
→ 中风险: 规则兜底
→ 高风险: 人工复核
常见误区
- 误区:兜底也要给模型风格的答案;正解:高风险场景保守拒绝比错误结论安全。
- 误区:兜底结果不进日志;正解:兜底与失败原因必须记录,便于复盘与评测回流。
追问
- Q:默认值怎么定才不误导? A:明确标记为默认/未识别,不伪装成模型判断结果。
- Q:规则引擎能覆盖多少场景? A:按确定性规则覆盖,覆盖不到的转人工,不用规则硬凑开放判断。
10.2.1.5-006 业务规则校验放模型侧还是代码侧?
一句话结论
确定性、强一致的规则(枚举、范围、权限、金额阈值、状态约束)必须放代码侧;模型只产出候选值,代码校验通过才执行;把业务规则交给模型自觉遵守不可靠。
概念解释
- 代码侧:可枚举、可计算、必须一致的规则。
- 模型侧:理解、归纳、风格组织。
- 分工:模型提议,代码裁决。
原理流程
- 列出确定性业务规则。
- 在代码校验层实现。
- 模型输出经规则校验后放行。
代码 / 图示
模型: 产出候选字段
代码: 枚举/范围/权限/阈值校验
通过 → 执行; 不通过 → 拦截或重试
常见误区
- 误区:提示里写了规则模型就会照做;正解:规则遵守是概率性的,关键约束必须程序把关。
- 误区:业务规则频繁改就放提示里;正解:规则更新应改代码配置,提示只解释口径,不承载硬性裁决。
追问
- Q:复杂规则怎么校验? A:拆成可判定条件逐条检查,无法程序化判断的部分交人工复核。
- Q:校验规则与 schema 什么关系? A:schema 管结构类型,代码规则管业务取值,两层互补。
10.2.1.5-007 提示模板如何抽象成代码资产?
一句话结论
把提示拆成角色片段、任务指令、材料占位、输出 schema 等可复用单元,以模板文件或配置形式纳入代码仓库管理;模板与业务代码同版本发布,运行时按变量填充,不在代码里散落拼字符串。
概念解释
- 资产化:模板集中存储、版本管理、可复用。
- 结构:固定片段 + 占位变量 + 可选组件。
- 发布:与应用版本一起上线。
原理流程
- 识别可复用提示片段。
- 模板化定义占位与组合方式。
- 仓库管理,运行时渲染填充。
代码 / 图示
模板库:
system_role.md / task_extract.md / schema.json
渲染: 填入变量 → 组装完整 prompt
常见误区
- 误区:提示散落在各接口代码字符串里;正解:散落模板难以复核、复用与回滚。
- 误区:模板改了不用走发布;正解:模板属于代码资产,变更应评审、版本化并回归评测。
追问
- Q:模板文件放什么格式? A:文本/markdown 片段与 schema JSON 分开存储,按任务目录组织。
- Q:变量注入谁负责? A:渲染层统一填充并做分隔与清洗,业务代码不直接拼原始文本。
10.2.1.5-008 模板版本化:命名、变更记录、回滚怎么做?
一句话结论
每个模板有唯一标识与版本号,变更记录写明修改点、原因与评测结果;保留历史版本快照,线上异常时可回滚到上一版本;模板版本与模型版本、schema 版本配套记录。
概念解释
- 标识:模板名 + 版本号。
- 记录:变更内容、依据、评测对比。
- 回滚:快照可恢复旧模板。
原理流程
- 新建模板分配版本标识。
- 修改走评审并更新变更记录。
- 出问题按快照回滚。
代码 / 图示
extract_v3 → 变更: 调整枚举与示例 → 评测记录
异常 → 回滚 extract_v2 快照
常见误区
- 误区:模板只有"当前一份";正解:没有历史快照就无法回滚与对照线上版本。
- 误区:版本号随便递增;正解:版本对应可追溯的变更与评测结论。
追问
- Q:版本信息在日志里记什么? A:模板名、版本号、模型版本、schema 版本,便于复现问题。
- Q:小修改也要新版本吗? A:影响输出行为的变更都应版本化,纯格式整理可不升行为版本但留记录。
10.2.1.5-009 模板中变量注入与转义如何防注入?
一句话结论
变量以数据角色注入专用分隔块,渲染层对内容做边界保护;外部材料不得被当作指令执行,工具与代码层再做动作权限控制;模板转义与内容隔离配合提示侧防护。
概念解释
- 数据块:变量内容放入标记区域。
- 转义:防止内容伪造分隔标记。
- 隔离:规则指令与外部数据分层。
原理流程
- 模板固定指令结构。
- 变量渲染进数据块并检查逃逸。
- 执行动作经代码权限校验。
代码 / 示例
<context>
{{external_content}}
</context>
(块内为数据, 不作为指令执行)
常见误区
- 误区:转义只防代码注入;正解:提示模板同样要防内容打破标记边界、夹带指令。
- 误区:模板层防住就够;正解:高风险动作仍需工具层权限与输出校验,详见注入防护子页。
追问
- Q:变量里含分隔标记怎么办? A:渲染层识别并清洗或改用更独特的标记,避免边界被伪造。
- Q:多来源变量怎么标注? A:分别加来源标签(用户/检索/工具),便于模型区分与后续溯源。
10.2.1.5-010 环境差异(dev/prod)模板怎么管理?
一句话结论
模板主体共享,环境差异(示例、测试开关、兜底策略)通过配置项注入;避免复制出多份并行模板导致口径漂移,prod 模板变更必须经过评测与发布流程。
概念解释
- 共享:角色、规则、schema 主结构。
- 差异:环境标识、测试样本、降级开关。
- 单一来源:模板一份,配置分环境。
原理流程
- 抽出跨环境不变的主体。
- 差异项做成配置变量。
- 各环境渲染同一模板。
代码 / 图示
共享模板 + 环境配置(开关/样本)
dev: 可带调试字段; prod: 关闭调试输出
常见误区
- 误区:复制一份 prod 模板改 dev;正解:双份模板必然漂移,规则修改容易漏同步。
- 误区:dev 改好直接上 prod;正解:prod 模板与配置走独立发布与回归。
追问
- Q:环境差异能包含不同模型吗? A:模型版本也属配置项,记录在请求元数据中,与模板版本对应。
- Q:调试字段 prod 怎么关? A:配置控制是否注入调试提示与是否返回内部字段。
10.2.1.5-011 提示变更如何关联评测结果?
一句话结论
每次模板变更对应一次评测跑批:记录评测集版本、关键指标(正确率、格式合规率、失败类型分布)与对比基线;没有评测依据的提示变更不进入生产,回退版本时同时回退评测结论。
概念解释
- 关联对象:模板版本 ↔ 评测集版本 ↔ 指标结果。
- 基线:上一版本指标作为对比。
- 门槛:关键指标不劣于基线。
原理流程
- 变更前跑基线评测。
- 新模板跑同一评测集。
- 指标对比通过后发布,记录归档。
代码 / 图示
模板 v3 变更 → 评测集 S1 → 指标对比 v2 基线
通过 → 发布; 劣化 → 修正或回滚
常见误区
- 误区:凭感觉改提示上线;正解:没有对照评测无法判断改动是改善还是劣化。
- 误区:评测只跑一次;正解:模型版本、样本分布变化后要回归,评测结论有有效期。
追问
- Q:指标看哪些? A:按任务选正确率、格式合规率、枚举正确率、引用正确率、兜底率与重试率。
- Q:评测集版本为什么要记? A:样本增减会影响分数可比性,版本固定才能跨模板对比。
10.2.1.5-012 模板与代码、模型版本如何配套发布?
一句话结论
提示模板、schema、调用代码与模型版本作为同一变更集发布:上线前在目标模型版本上回归,日志记录各版本组合;模型升级时同步复核模板兼容性,避免模板与模型错配。
概念解释
- 变更集:模板 + schema + 代码 + 模型配置。
- 回归:目标版本上跑评测。
- 记录:版本组合可追溯。
原理流程
- 变更纳入同一发布单。
- 在目标模型版本回归测试。
- 发布并记录版本组合。
代码 / 图示
发布单元: 模板 v3 + schema v2 + 代码改动 + 模型版本 M
日志: 请求携带各版本标识
常见误区
- 误区:模型可以单独升级、提示不动;正解:版本更新可能改变格式倾向与能力,模板需复核。
- 误区:模板热更新绕过发布流程;正解:未经回归的提示变更同样影响线上行为,应纳入发布管理。
追问
- Q:灰度怎么配套? A:新模板与新模型组合小流量灰度,对照旧组合指标后扩量。
- Q:回滚要回退哪些? A:模板、schema 配置与相关代码一并回退,保持版本组合一致。
10.2.1.5-013 模板评审与多人协作流程是什么?
一句话结论
提示变更走评审:作者提交改动与评测依据,评审人检查规则清晰度、一致性、隐私合规与schema 对齐;评审意见记录在案,复杂模板由任务负责人维护口径。
概念解释
- 评审要点:指令可执行、示例一致、无敏感信息、与 schema 对齐。
- 协作:口径统一,避免多人各写一份。
- 记录:评审结论与修改历史可追溯。
原理流程
- 作者提交模板改动与评测结果。
- 评审人按清单核对。
- 通过后入库发布,历史留痕。
代码 / 图示
提交: 模板改动 + 评测对比
评审: 规则/示例/隐私/schema 一致性
入库: 版本 + 变更记录
常见误区
- 误区:提示不需要代码评审;正解:提示直接影响线上输出,同样要评审与留痕。
- 误区:多人直接改同一模板;正解:通过变更分支与评审合并,保持口径单一来源。
追问
- Q:评审看什么清单? A:任务目标清晰、约束可执行、示例与 schema 一致、无敏感数据、例外路径完整。
- Q:业务规则谁确认? A:业务口径由业务负责人确认,工程负责人确认可落地性与校验实现。
10.2.1.5-014 模板片段如何复用(系统提示库)?
一句话结论
把稳定通用的片段(角色定位、安全边界、格式约定、术语声明)抽成共享片段库,按任务组合引用;片段版本独立维护,组合后整体回归,避免同一规则在各模板中重复抄写导致不一致。
概念解释
- 共享片段:跨任务不变的规则与格式。
- 组合:任务模板引用片段 + 专属指令。
- 维护:片段改动影响所有引用方,需回归。
原理流程
- 提炼高频稳定片段。
- 片段入库并版本化。
- 任务模板组合引用,整体评测。
代码 / 图示
片段库: safety.md / json_format.md / terminology.md
任务模板: 引用片段 + 本任务专属指令
常见误区
- 误区:共享片段随便被任务修改;正解:片段口径统一维护,任务差异通过参数或专属段处理。
- 误区:片段复用就不用测组合效果;正解:片段间可能冲突,组合后仍要整体回归。
追问
- Q:片段冲突怎么发现? A:评审时检查规则优先级,回归集覆盖组合场景。
- Q:片段粒度多细? A:按可独立复用的规则块划分,过细增加组合复杂度,过粗失去复用意义。
10.2.1.5-015 日志中记录完整 prompt 要注意什么?
一句话结论
日志用于排查与复现,需记录模板版本、变量摘要与关键上下文,但敏感信息按合规要求脱敏;完整 prompt 的留存范围与期限遵循数据处理约定,不在日志中写入密钥、个人信息与未公开机密。
概念解释
- 必记:版本标识、错误类型、用量、关键输入摘要。
- 脱敏:个人信息、凭据、机密字段掩码。
- 期限:按合规要求设置留存。
原理流程
- 记录可复现所需的最小信息。
- 敏感字段脱敏后入库。
- 按期限清理日志。
代码 / 图示
记录: 模板版本, 模型版本, 输入摘要, 输出, 错误类型, usage
脱敏: 手机/订单/身份证/密钥 → 掩码
常见误区
- 误区:为了排查把完整原文都存日志;正解:敏感数据留存有合规风险,最小化记录并脱敏。
- 误区:日志只存最终答案;正解:排查格式与规则问题需要输入上下文与模板版本摘要。
追问
- Q:复现问题需要完整输入怎么办? A:在受控、有权限的环境中按合规流程调取,不进入公开日志。
- Q:日志里能记提示全文吗? A:按数据分类判断,内部规则可记,用户敏感内容脱敏后再记。
10.2.1.5-016 重试改写 prompt 片段示例是什么?
一句话结论
重试反馈片段固定结构:指明上一次失败、具体字段问题、期望 schema 与合法取值,保留原始问题与目标格式;片段可直接组装进重试请求,避免每次手写错误说明。
概念解释
- 结构:失败说明 + 字段问题 + 修正要求。
- 配套:原输入、schema、示例保持一致。
- 克制:只指出问题,不重复整段规则。
原理流程
- 校验层生成错误清单。
- 填入重试反馈片段。
- 连同原输入重新请求。
代码 / 示例
【修正要求】
上次输出未通过校验:
1. 缺少必填字段 order_id
2. channel 取值 "微信" 不在枚举内
请依据原始问题, 按以下 schema 重新输出合法 JSON:
{schema 片段}
常见误区
- 误区:重试反馈把错误答案全文再贴一遍;正解:给问题定位即可,避免错误格式被再次模仿。
- 误区:反馈只重复"请输出 JSON";正解:必须指出具体失败字段与期望取值。
追问
- Q:多次重试反馈要累加吗? A:保留最近一次错误与关键历史,避免上下文过长;反复失败转兜底。
- Q:反馈字段用什么格式? A:结构化错误清单便于模型理解,也便于日志统计失败类型。
10.2.1.5-017 校验流水线的代码结构示例是什么?
一句话结论
校验流水线按函数分层组织:解析 → schema 校验 → 业务规则 → 证据核验,每层返回结构化结果与失败原因;流水线输出通过/失败与错误清单,驱动重试、兜底或放行。
概念解释
- 分层函数:每层职责单一、可独立测试。
- 结果对象:状态 + 错误清单 + 修正建议。
- 决策:按失败类型选择重试/拦截/兜底。
原理流程
- 解析输出得到对象。
- 逐层校验并收集错误。
- 根据结果进入对应处置流程。
代码 / 示例
validate(response):
parsed = parse_json(response)
errors += schema_check(parsed)
errors += business_rules(parsed)
errors += evidence_check(parsed, context)
return {ok, errors, suggestion}
常见误区
- 误区:校验写在一个大函数里;正解:分层后便于定位错误类型与单元测试。
- 误区:证据核验依赖模型自评;正解:关键断言由代码对照输入与证据材料检查。
追问
- Q:规则层怎么扩展? A:规则以可配置条目实现,新增业务规则不改主流水线结构。
- Q:校验结果怎么回流? A:失败类型与样本沉淀到评测集,用于提示与规则改进。
10.2.1.5-018 模板治理清单包含哪些项?
一句话结论
治理清单覆盖:模板标识与版本、片段复用关系、schema 对齐、评测记录、隐私脱敏、环境配置与回滚能力;新模板入库前过清单,存量模板定期复核。
概念解释
- 资产信息:标识、版本、负责人。
- 质量:评测通过、示例一致。
- 合规与运维:脱敏、配置分离、可回滚。
原理流程
- 新模板按清单核对入库。
- 变更走版本与评审流程。
- 定期复核存量模板有效性。
代码 / 图示
□ 标识版本清晰 □ 片段可追溯 □ schema 对齐
□ 评测有记录 □ 无敏感信息 □ 环境配置分离
□ 可回滚快照 □ 负责人明确
常见误区
- 误区:治理只在上线前做一次;正解:模型与业务规则变化后,存量模板要定期复核有效性。
- 误区:清单靠自觉填写;正解:入库流程强制核对,缺项不进入生产模板库。
追问
- Q:存量模板怎么盘点? A:按任务列出模板、版本、评测状态与负责人,标记过期与待复核项。
- Q:治理问题谁跟进? A:任务负责人维护模板,平台侧统一片段库与版本规范。