06.3 阶段 2:Prompt 工程与结构化输出
所属:全栈开发面试题库 / 学习路径 / 06 AI Agent
本页目录
一、阶段定位
阶段 1 你已经能控制模型的随机性与长度。本阶段解决的核心问题是:让模型输出从"一段自然语言"变成"程序可以直接消费的结构化数据"。这是从"聊天玩具"到"工程系统"的分水岭——下游要解析 JSON、要路由、要落库,模型输出不能是飘忽的散文。
为什么这是阶段 2:真实业务里模型输出要喂给代码。你要抽取订单号、要分类意图、要返回固定字段的 JSON。靠自然语言约束"请输出 JSON"成功率很低,必须用 JSON Schema、严格模式、few-shot 示例把输出契约钉死。同时 Prompt 本身是要版本化、要评测的资产,不能靠感觉改。
与前后阶段的衔接:往上接 阶段 1,那时你调 temperature 控制稳定性,本阶段你会发现光调温度不够,还要用 schema 约束结构;往下接 阶段 3 工具调用与 MCP,工具调用本质就是一种结构化输出(模型必须吐出 tool_calls),本阶段的 schema 能力直接复用。跳过本阶段直接写 Agent,常见后果是:模型输出 JSON 偶尔多一个逗号导致解析失败、改了 Prompt 没有回归用例好坏全凭感觉。
本阶段的卡点(判断依据):
- 提示词全靠自然语言堆砌,没有明确输出契约:现象是"请你用 JSON 格式回答",但没有定义字段名、类型、是否必填。判断标准:你能否写出一份字段级的 JSON Schema,而不是一句"输出 JSON"。
- 示例选择与真实分布不符:现象是 few-shot 里放的都是理想样本,真实输入一杂就出错。判断标准:你能否说清示例应覆盖哪些边界(空值、异常格式、歧义)。
- 把分步推理用于所有任务:现象是每个任务都加"请一步步思考",延迟和成本翻倍但正确率没提升。判断标准:你能否说出 CoT 对哪类任务有效、对哪类任务反而有害。
- 改了 Prompt 没有用例回归:现象是改完靠手测几条,线上随机崩。判断标准:你是否有一个固定用例集,每次改 Prompt 跑一遍对比成功率。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能用角色/任务/约束/输出格式四段式组织 Prompt | 对比"一句话指令"与四段式在同一抽取任务上的稳定性 |
| 能写出 JSON Schema 并启用严格模式约束输出 | 20 条用例结构化解析成功率不低于 90% |
| 能选择并布置 few-shot 示例,覆盖边界情况 | 示例集包含空值、异常格式、歧义样本 |
| 能判断何时用 CoT、何时不用 | 对分类任务不用 CoT,对数学/推理任务用 CoT,并说明理由 |
| 能把 Prompt 与代码分离、纳入版本管理 | Prompt 在独立文件,可独立回滚 |
| 能搭建最小 Prompt 评测集并打分 | 20 条用例自动判定结构化成功/失败 |
建议学时:
- 全职(每天 4–6 小时):2 周,约 50 小时。其中指令结构 8 小时、JSON Schema 与严格模式 14 小时、few-shot 10 小时、CoT 8 小时、版本化与评测 10 小时。
- 在职(每天 2 小时、周末补 4 小时):4–5 周,约 55 小时。JSON Schema 与评测是重点,要动手写。
学时分配:指令结构 15%、结构化输出 30%、few-shot 15%、CoT 10%、模板版本化 10%、评测集 20%。结构化输出是本阶段最硬的部分。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| chat completions 请求 | 能发请求并解析 choices[0].message.content |
06.1 阶段 0 |
| 采样参数 | 能用 temperature=0 拿到稳定输出 | 06.2 阶段 1 |
| JSON 语法 | 能写 JSON、区分对象/数组/字符串/数字 | 补 JSON 基础 |
| Python 解析 | 能用 json.loads 解析字符串并处理异常 |
补 Python 基础 |
经验判断:如果你写过传统后端接口,最容易理解的是"JSON Schema 就是接口契约";最容易犯的错是把 Prompt 当代码注释而不是当成可测试的输入。
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| 指令结构 | 角色、任务、约束、输出格式四段式 | 会用 | 10.2 Prompt 工程 |
| 结构化输出 | JSON Schema、function schema、严格模式、response_format |
能讲清原理 | 10.2 Prompt 工程 |
| few-shot | 示例选择、边界覆盖、示例数量与成本 | 会用 | 10.2 Prompt 工程 |
| CoT | 分步推理、何时有效、何时滥用 | 能讲清原理 | 10.2 Prompt 工程 |
| 模板与版本化 | Prompt 与代码分离、模板变量、版本管理 | 会用 | 10.2 Prompt 工程 |
| Prompt 评测 | 用例集、打分标准、回归对比 | 会用 | 10.2 Prompt 工程 |
进度管理建议:用一个真实的抽取任务贯穿本阶段——从写 Prompt 到 schema 到评测,全部围绕它。《知识点全清单》给全量条目,本页聚焦;术语查《术语表》。
五、分模块精讲
5.1 指令结构:角色、任务、约束、输出格式
为什么需要它:一段 Prompt 如果只有"帮我抽取信息",模型不知道你是谁、边界在哪、输出长什么样。结构化指令把这些固定下来,让输出可预期。
核心机制:
- 四段式结构:角色(你是谁)→ 任务(做什么)→ 约束(不做什么、边界)→ 输出格式(字段与示例)。
- 角色放在 system 消息里,长期稳定;任务与输入放在 user 消息里,随请求变化。
- 约束要写"不要做什么":不要编造、无法判断时返回 null、不要输出 JSON 以外的内容。
- 输出格式要具体到字段名和类型,不要只写"输出 JSON"。
最小可运行示例:
# prompt_structure.py:四段式抽取 Prompt
SYSTEM = """你是一个订单信息抽取助手。
你的任务:从用户文本中抽取订单相关字段。
约束:
- 无法确定的字段填 null,不要编造。
- 只输出 JSON,不要输出任何解释性文字。
输出格式:{"order_id": "string 或 null", "amount": number 或 null, "currency": "string 或 null"}"""
USER = "我的订单 A-10086 花了 128 元,麻烦查一下。"
payload = {
"model": MODEL,
"messages": [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": USER},
],
"temperature": 0,
"response_format": {"type": "json_object"}, # 配合 5.2 严格模式
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 模型在 JSON 前后加了说明文字 | 没明确说"只输出 JSON" | 约束里写明"不要输出任何 JSON 以外的内容" |
| 模型编造了不存在的订单号 | 没写"无法判断填 null" | 约束里加空值规则 |
| 字段名每次不一样 | 没在格式里写死字段名 | 用 JSON Schema 锁定字段名(5.2) |
面试考法:问"为什么 Prompt 要分角色、任务、约束、输出格式四段"。要点:角色放 system 稳定行为;约束显式写出"不做什么"防止模型自由发挥;输出格式具体到字段名才能被程序解析。追问常问"system 和 user 放反了会怎样",答到"system 是全局设定,user 是单次输入,放反会导致设定不生效或被覆盖"。
5.2 结构化输出与 JSON Schema / 严格模式
为什么需要它:光靠"请输出 JSON"成功率不够。严格模式(structured outputs)让模型只输出符合给定 JSON Schema 的内容,从概率采样变成受约束的生成,解析成功率从"偶尔失败"变成"几乎不失败"。
核心机制:
- OpenAI 兼容协议里,
response_format: {"type": "json_object"}开启 JSON 模式;更严格的是配合response_format传入 JSON Schema({"type":"json_schema", "json_schema":{...}})。 - JSON Schema 定义字段名、类型(
string/number/boolean/array/object)、是否必填(required)、枚举值(enum)。 - 严格模式下模型只输出 schema 允许的结构,多余字段、类型错误会被约束;但仍需
json.loads兜底。 - function schema(阶段 3 的工具定义)本质也是 JSON Schema,模型按 schema 生成参数。
- 注意:开启 JSON 模式时,system 或 user 里必须提到"JSON"字样,否则部分厂商会报错。
最小可运行示例:
# strict_json.py:用 JSON Schema 约束抽取
import json
import httpx
from config import BASE_URL, API_KEY, MODEL, auth_header
ORDER_SCHEMA = {
"type": "object",
"properties": {
"order_id": {"type": ["string", "null"], "description": "订单号,找不到填 null"},
"amount": {"type": ["number", "null"], "description": "金额数字,单位元"},
"currency": {"type": "string", "enum": ["CNY", "USD", "EUR"], "description": "币种"},
},
"required": ["order_id", "amount", "currency"],
"additionalProperties": False,
}
payload = {
"model": MODEL,
"messages": [
{"role": "system", "content": "你是订单抽取助手,只输出符合 JSON schema 的 JSON 对象。"},
{"role": "user", "content": "订单 B-2024 花了 99.5 美元。"},
],
"temperature": 0,
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "order_extraction",
"schema": ORDER_SCHEMA,
"strict": True,
},
},
}
r = httpx.post(f"{BASE_URL}/chat/completions", headers=auth_header(), json=payload, timeout=30.0)
obj = json.loads(r.json()["choices"][0]["message"]["content"])
print(obj)
# {'order_id': 'B-2024', 'amount': 99.5, 'currency': 'USD'}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
json.loads 报 Expecting value |
输出里混了说明文字 | 开 JSON 模式 + 约束"只输出 JSON" |
| 开启 JSON 模式报错 | 没在 prompt 里提"JSON" | system/user 里写明输出 JSON |
| 字段类型偶尔是字符串而非数字 | schema 类型约束不严 | 在 schema 里写 type: "number",禁用自由文本 |
| schema 太严格导致正常空值报错 | required 把可选字段也设为必填 |
可选字段不放进 required,类型用 ["string","null"] |
面试考法:问"为什么需要 JSON Schema,直接让模型输出 JSON 不行吗"。要点:自然语言约束下模型可能多字段、少字段、类型错、加解释文字;schema 把输出契约钉死,解析成功率从概率问题变成结构保证。追问常问"严格模式下还需要 json.loads 兜底吗",答到"需要,网络和解析异常仍要处理,schema 保证内容结构但不保证传输成功"。
5.3 few-shot 示例选择
为什么需要它:零样本(zero-shot)靠模型自己理解任务;给几个示例(few-shot)能显著对齐输出格式与风格。但示例不是越多越好,也不是随便找几个就行。
核心机制:
- few-shot 示例放在 user/assistant 轮次里,示范输入→期望输出。
- 示例要覆盖边界:正常值、空值、异常格式、歧义样本。只放理想样本会让模型对真实分布外的输入出错。
- 示例数量:一般 3–8 个足够;每个示例都计入输入 token,示例越多成本越高。
- 示例顺序有影响:把最相关的放前面;避免示例里的偏见(如性别倾向)。
- 当任务分布变化时,用动态示例选择(检索最相关的历史样本)比固定示例更省。
最小可运行示例:
# few_shot.py:带边界示例的分类
messages = [{"role": "system", "content": "你是意图分类器,输出 enum:查询/投诉/建议。"}]
# 边界示例:正常值 + 空值 + 歧义
examples = [
("我的快递到哪了", "查询"),
("东西坏了没人管", "投诉"),
("希望能增加夜间配送", "建议"),
("", "查询"), # 空输入兜底
("那个什么吧", "查询"), # 歧义输入
]
for text, label in examples:
messages.append({"role": "user", "content": text})
messages.append({"role": "assistant", "content": label})
# 真实输入
messages.append({"role": "user", "content": "账单好像多扣了钱"})
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 示例很完美但真实输入一杂就错 | 示例只覆盖理想样本 | 加入空值、异常、歧义样本 |
| 示例太多成本高 | 固定塞入大量示例 | 动态选择最相关的 3–5 个 |
| 模型学到示例里的偏见 | 示例分布不均 | 检查示例的类别与风格均衡 |
面试考法:问"few-shot 示例怎么选"。要点:覆盖边界(空值、异常、歧义),数量 3–8 个足够,按任务相关性动态选择;不要全放理想样本。追问常问"示例放 system 还是放 user/assistant 轮次",答到"用 user/assistant 对的形式示范输入输出,比在 system 里写死更有效"。
5.4 CoT:分步推理的使用与滥用
为什么需要它:Chain-of-Thought(分步推理)让模型先想再答,对数学、逻辑、多步任务能提升正确率。但对简单分类/抽取任务,它会白白增加 token 和延迟。
核心机制:
- CoT 通过"请一步步思考"或示例展示推理过程,让模型把中间步骤写出来。
- 有效场景:数学计算、逻辑推理、多步规划、需要拆解的问题。
- 有害场景:简单分类、抽取、改写——这些任务直接给答案更准,推理反而引入错误。
- 生产里常用"思考分开、答案分开":让模型先输出推理(隐藏),再输出最终结构化答案;或用专门的 reasoning 字段。
- 不要把 CoT 的推理过程暴露给终端用户,除非业务要求可解释。
最小可运行示例:
# cot_demo.py:对比直接答与分步推理
SYSTEM_MATH = """你是数学助手。
要求:先在 reason 字段写出推理过程,再在 answer 字段给出最终数字。
只输出 JSON:{"reason": "...", "answer": number}"""
# 简单分类任务不该用 CoT
SYSTEM_CLASSIFY = "直接输出分类标签,不要解释。输出 enum:查询/投诉/建议。"
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 分类任务又慢又飘 | 加了"请一步步思考" | 简单任务直接给答案,temperature=0 |
| CoT 推理过程被用户看到 | 没分离推理与答案 | 把推理放内部字段,只返回答案 |
| 推理错导致最终答案错 | 中间步骤出错 | 关键步骤用工具/代码执行(阶段 3),不靠模型心算 |
面试考法:问"CoT 什么时候该用,什么时候不该用"。要点:数学/逻辑/多步规划用 CoT 提升正确率;简单分类/抽取/改写不要用,避免增加延迟与引入错误。追问常问"生产里怎么让用户看到答案但不看到推理",答到"把推理放内部 JSON 字段,对外只返回 answer,或用专门的 reasoning 通道"。
5.5 Prompt 模板管理与版本化
为什么需要它:Prompt 是会反复改的资产。把它写死在 Python 字符串里,改一次要动代码、发版、无法回滚。模板化让 Prompt 可独立编辑、独立版本、可测试。
核心机制:
- Prompt 与代码分离:模板放
prompts/目录,用文件(.txt/.j2)存储,代码读取后填充变量。 - 模板变量用占位符(如
{{input}}),不要用字符串拼接混进敏感内容。 - 版本管理:Prompt 文件纳入 Git,每次修改写版本号(如
v3_order_extract.txt),与代码版本对应。 - Prompt 变更要走评测(5.6),不能改完直接上线。
最小可运行示例:
<!-- prompts/order_extract.v3.txt -->
你是订单信息抽取助手。从用户文本中抽取字段。
无法确定的字段填 null,不要编造。
只输出 JSON:{"order_id": "...", "amount": 0, "currency": "CNY"}
用户文本:{{input}}
# template.py:读取模板并填充
from pathlib import Path
def load_prompt(name: str, **vars) -> str:
tpl = Path("prompts", name).read_text(encoding="utf-8")
for k, v in vars.items():
tpl = tpl.replace("{{" + k + "}}", str(v))
return tpl
system = load_prompt("order_extract.v3.txt", input="订单 A-1 花了 50 元")
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| Prompt 改了不知道哪版生效 | 写死在代码里 | 模板文件带版本号,纳入 Git |
| 变量拼接破坏 JSON 结构 | 用户输入含引号 | 转义或走结构化输入,不要字符串拼 JSON |
| 多环境 Prompt 不一致 | 模板没统一管理 | 所有环境从同一模板加载 |
面试考法:问"为什么 Prompt 要版本化"。要点:Prompt 是影响输出的核心输入,改了要能回归、能回滚;和代码一样要纳入版本管理,变更要有评测背书。
5.6 Prompt 评测:用例集与打分标准
为什么需要它:没有评测集,改 Prompt 就是"玄学调参"——你不知道改好还是改坏。固定用例集让每次变更可量化对比。
核心机制:
- 评测集:固定的输入 + 期望输出,覆盖正常、边界、对抗样本。
- 打分:结构化任务看能否
json.loads且字段匹配;分类任务看标签准确率;开放任务用人工或模型打分。 - 每次改 Prompt 跑同一用例集,对比成功率;下降就回滚。
- 用例数量:20–50 条起步,覆盖主要边界;线上 bad case 持续回流(阶段 7)。
最小可运行示例:
# eval_prompt.py:最小回归评测
import json
# 用例:输入 + 期望 order_id
CASES = [
("订单 A-10086 花了 128 元", "A-10086"),
("我的快递 B-2 到哪了", "B-2"),
("今天天气不错", None), # 无订单号
("C-99 美元订单", "C-99"),
]
def run_one(text: str) -> str | None:
# 调用模型,返回抽取的 order_id(已 json.loads)
...
passed = 0
for text, expected in CASES:
got = run_one(text)
ok = got == expected
passed += ok
print(f"[{'OK' if ok else 'FAIL'}] {text} -> got={got} expected={expected}")
print(f"成功率 {passed}/{len(CASES)} = {passed/len(CASES):.0%}")
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 改完 Prompt 变好变坏说不清 | 没有固定用例集 | 建 20 条用例,每次回归跑 |
| 用例全是理想样本 | 没收集 bad case | 加入线上失败样本 |
| 成功率忽高忽低 | temperature 没固定 | 评测时 temperature=0 |
面试考法:问"怎么评估一个 Prompt 改得好不好"。要点:建固定用例集(含边界与 bad case),打分看结构化成功率/字段准确率,每次变更跑同一用例对比,下降就回滚。
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 四段式 Prompt | 把一句"抽取订单"改成四段式 | 对比前后输出稳定性 | 1.5 小时 |
| 启用 JSON Schema | 给抽取任务写 ORDER_SCHEMA 并开 strict | 10 次运行 json.loads 全部成功 |
2 小时 |
| few-shot 边界 | 给分类任务加空值/歧义示例 | 边界样本分类正确 | 1.5 小时 |
| CoT 对比 | 同一数学题用与不用 CoT | 记录正确率与 token 差异 | 1 小时 |
| Prompt 模板化 | 把 Prompt 移到 prompts/ 目录 | 代码从文件加载 | 1 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 从自然语言约束改为 schema | 给定"请输出 JSON"的脚本,改成 JSON Schema | 字段类型/必填被锁定 | 2 小时 |
| 给分类任务去掉 CoT | 给定带 CoT 的分类脚本,改为直接答 | 延迟下降、准确率不降 | 1.5 小时 |
| 建回归用例 | 给现有抽取任务建 20 条用例 | 输出成功率百分比 | 2 小时 |
| 加空值兜底 | 给定会编造字段的 Prompt,加 null 规则 | 无关输入返回 null 而非编造 | 1.5 小时 |
| Prompt 版本回滚 | 把模板改成 v2/v3 两版 | 能切换并对比结果 | 1 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 抽取任务完整闭环 | 选一个真实文本,设计 schema + few-shot + 评测 | 20 条用例成功率 ≥90% | 6 小时 |
| 动态示例选择 | 按输入相似度选 3 个最相关示例 | 比固定示例成本低且成功率不降 | 5 小时 |
| Prompt 评测看板 | 记录每次变更的成功率、平均 token | 能看到每次改Prompt的影响 | 4 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
json.loads 报 Expecting value |
输出混了说明文字 | 打印原始 content | 开 JSON 模式 + 约束"只输出 JSON" |
| 开启 JSON 模式报错 | prompt 里没提"JSON" | 看报错信息 | system/user 写明输出 JSON |
| 字段名每次不一致 | 没写死字段名 | 对比两次输出 key | 用 JSON Schema 锁定 |
| 模型编造不存在的字段 | 没写空值规则 | 看输出是否有多余字段 | 加"无法判断填 null"、additionalProperties: false |
| 改 Prompt 后变好变坏说不清 | 没有回归用例 | 跑固定用例集对比 | 建用例集,每次变更跑 |
| 分类任务又慢又飘 | 用了 CoT 或温度高 | 看是否有推理文字 | 直接给答案,temperature=0 |
| few-shot 后真实输入出错 | 示例只覆盖理想样本 | 检查示例分布 | 加空值/异常/歧义样本 |
| 变量拼进 JSON 破坏结构 | 用户输入含引号 | 打印拼接后的 JSON | 走结构化输入,不要字符串拼 JSON |
八、出口条件
全部勾选后再进入 阶段 3 工具调用与 MCP 协议。
- [ ] 能用角色/任务/约束/输出格式四段式组织 Prompt
- [ ] 能写出 JSON Schema 并用 strict 模式让 20 条用例解析成功率 ≥90%
- [ ] 能说明 few-shot 示例如何覆盖空值/异常/歧义边界
- [ ] 能判断何时用 CoT、何时不用,并解释对延迟与成本的影响
- [ ] Prompt 与代码分离,模板带版本号纳入 Git
- [ ] 有固定评测集,每次改 Prompt 跑回归对比成功率
- [ ] 排障表随机抽三个现象能在 5 分钟内定位
自测题(先自己想,再看要点):
- 为什么光说"请输出 JSON"不够,还要 JSON Schema?
- 要点:自然语言约束下模型可能多字段、少字段、类型错、加说明文字;schema 把字段名、类型、必填钉死,解析成功率从概率问题变成结构保证。
- JSON 模式为什么要求 prompt 里提到"JSON"?
- 要点:部分厂商要求模型明确知道要输出 JSON 才会进入结构化模式,否则报错。
- few-shot 示例应该放哪些样本?
- 要点:正常值 + 空值 + 异常格式 + 歧义样本,数量 3–8 个,按相关性动态选择,不要全放理想样本。
- CoT 对分类任务为什么有害?
- 要点:简单分类直接给答案更准,CoT 增加 token 和延迟,还可能在推理过程引入错误。
- Prompt 为什么要和代码分离?
- 要点:Prompt 是高频变更的核心输入,分离后可独立版本、独立回滚、走评测,不必每次改都发版代码。
- 怎么判断一次 Prompt 变更改得好不好?
- 要点:跑固定用例集(含边界与 bad case),对比结构化成功率/字段准确率,下降就回滚。
- strict 模式下还需要 json.loads 兜底吗?
- 要点:需要,schema 保证内容结构但不保证传输与解析成功,网络与异常仍要处理。