罗罗编程学习记录
本页内容 展开查看

06.3 阶段 2:Prompt 工程与结构化输出

所属:全栈开发面试题库 / 学习路径 / 06 AI Agent

本页目录

一、阶段定位

阶段 1 你已经能控制模型的随机性与长度。本阶段解决的核心问题是:让模型输出从"一段自然语言"变成"程序可以直接消费的结构化数据"。这是从"聊天玩具"到"工程系统"的分水岭——下游要解析 JSON、要路由、要落库,模型输出不能是飘忽的散文。

为什么这是阶段 2:真实业务里模型输出要喂给代码。你要抽取订单号、要分类意图、要返回固定字段的 JSON。靠自然语言约束"请输出 JSON"成功率很低,必须用 JSON Schema、严格模式、few-shot 示例把输出契约钉死。同时 Prompt 本身是要版本化、要评测的资产,不能靠感觉改。

与前后阶段的衔接:往上接 阶段 1,那时你调 temperature 控制稳定性,本阶段你会发现光调温度不够,还要用 schema 约束结构;往下接 阶段 3 工具调用与 MCP,工具调用本质就是一种结构化输出(模型必须吐出 tool_calls),本阶段的 schema 能力直接复用。跳过本阶段直接写 Agent,常见后果是:模型输出 JSON 偶尔多一个逗号导致解析失败、改了 Prompt 没有回归用例好坏全凭感觉。

本阶段的卡点(判断依据):

  • 提示词全靠自然语言堆砌,没有明确输出契约:现象是"请你用 JSON 格式回答",但没有定义字段名、类型、是否必填。判断标准:你能否写出一份字段级的 JSON Schema,而不是一句"输出 JSON"。
  • 示例选择与真实分布不符:现象是 few-shot 里放的都是理想样本,真实输入一杂就出错。判断标准:你能否说清示例应覆盖哪些边界(空值、异常格式、歧义)。
  • 把分步推理用于所有任务:现象是每个任务都加"请一步步思考",延迟和成本翻倍但正确率没提升。判断标准:你能否说出 CoT 对哪类任务有效、对哪类任务反而有害。
  • 改了 Prompt 没有用例回归:现象是改完靠手测几条,线上随机崩。判断标准:你是否有一个固定用例集,每次改 Prompt 跑一遍对比成功率。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能用角色/任务/约束/输出格式四段式组织 Prompt 对比"一句话指令"与四段式在同一抽取任务上的稳定性
能写出 JSON Schema 并启用严格模式约束输出 20 条用例结构化解析成功率不低于 90%
能选择并布置 few-shot 示例,覆盖边界情况 示例集包含空值、异常格式、歧义样本
能判断何时用 CoT、何时不用 对分类任务不用 CoT,对数学/推理任务用 CoT,并说明理由
能把 Prompt 与代码分离、纳入版本管理 Prompt 在独立文件,可独立回滚
能搭建最小 Prompt 评测集并打分 20 条用例自动判定结构化成功/失败

建议学时:

  • 全职(每天 4–6 小时):2 周,约 50 小时。其中指令结构 8 小时、JSON Schema 与严格模式 14 小时、few-shot 10 小时、CoT 8 小时、版本化与评测 10 小时。
  • 在职(每天 2 小时、周末补 4 小时):4–5 周,约 55 小时。JSON Schema 与评测是重点,要动手写。

学时分配:指令结构 15%、结构化输出 30%、few-shot 15%、CoT 10%、模板版本化 10%、评测集 20%。结构化输出是本阶段最硬的部分。

三、先修自检

先修项 合格标准 不合格时回到
chat completions 请求 能发请求并解析 choices[0].message.content 06.1 阶段 0
采样参数 能用 temperature=0 拿到稳定输出 06.2 阶段 1
JSON 语法 能写 JSON、区分对象/数组/字符串/数字 补 JSON 基础
Python 解析 能用 json.loads 解析字符串并处理异常 补 Python 基础

经验判断:如果你写过传统后端接口,最容易理解的是"JSON Schema 就是接口契约";最容易犯的错是把 Prompt 当代码注释而不是当成可测试的输入。

四、知识地图

模块 知识点 掌握程度 对应题库章节
指令结构 角色、任务、约束、输出格式四段式 会用 10.2 Prompt 工程
结构化输出 JSON Schema、function schema、严格模式、response_format 能讲清原理 10.2 Prompt 工程
few-shot 示例选择、边界覆盖、示例数量与成本 会用 10.2 Prompt 工程
CoT 分步推理、何时有效、何时滥用 能讲清原理 10.2 Prompt 工程
模板与版本化 Prompt 与代码分离、模板变量、版本管理 会用 10.2 Prompt 工程
Prompt 评测 用例集、打分标准、回归对比 会用 10.2 Prompt 工程

进度管理建议:用一个真实的抽取任务贯穿本阶段——从写 Prompt 到 schema 到评测,全部围绕它。《知识点全清单》给全量条目,本页聚焦;术语查《术语表》。

五、分模块精讲

5.1 指令结构:角色、任务、约束、输出格式

为什么需要它:一段 Prompt 如果只有"帮我抽取信息",模型不知道你是谁、边界在哪、输出长什么样。结构化指令把这些固定下来,让输出可预期。

核心机制:

  • 四段式结构:角色(你是谁)→ 任务(做什么)→ 约束(不做什么、边界)→ 输出格式(字段与示例)。
  • 角色放在 system 消息里,长期稳定;任务与输入放在 user 消息里,随请求变化。
  • 约束要写"不要做什么":不要编造、无法判断时返回 null、不要输出 JSON 以外的内容。
  • 输出格式要具体到字段名和类型,不要只写"输出 JSON"。

最小可运行示例:

# prompt_structure.py:四段式抽取 Prompt
SYSTEM = """你是一个订单信息抽取助手。
你的任务:从用户文本中抽取订单相关字段。
约束:
- 无法确定的字段填 null,不要编造。
- 只输出 JSON,不要输出任何解释性文字。
输出格式:{"order_id": "string 或 null", "amount": number 或 null, "currency": "string 或 null"}"""

USER = "我的订单 A-10086 花了 128 元,麻烦查一下。"

payload = {
    "model": MODEL,
    "messages": [
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": USER},
    ],
    "temperature": 0,
    "response_format": {"type": "json_object"},   # 配合 5.2 严格模式
}

常见坑:

现象 原因 修法
模型在 JSON 前后加了说明文字 没明确说"只输出 JSON" 约束里写明"不要输出任何 JSON 以外的内容"
模型编造了不存在的订单号 没写"无法判断填 null" 约束里加空值规则
字段名每次不一样 没在格式里写死字段名 用 JSON Schema 锁定字段名(5.2)

面试考法:问"为什么 Prompt 要分角色、任务、约束、输出格式四段"。要点:角色放 system 稳定行为;约束显式写出"不做什么"防止模型自由发挥;输出格式具体到字段名才能被程序解析。追问常问"system 和 user 放反了会怎样",答到"system 是全局设定,user 是单次输入,放反会导致设定不生效或被覆盖"。

5.2 结构化输出与 JSON Schema / 严格模式

为什么需要它:光靠"请输出 JSON"成功率不够。严格模式(structured outputs)让模型只输出符合给定 JSON Schema 的内容,从概率采样变成受约束的生成,解析成功率从"偶尔失败"变成"几乎不失败"。

核心机制:

  • OpenAI 兼容协议里,response_format: {"type": "json_object"} 开启 JSON 模式;更严格的是配合 response_format 传入 JSON Schema({"type":"json_schema", "json_schema":{...}})。
  • JSON Schema 定义字段名、类型(string/number/boolean/array/object)、是否必填(required)、枚举值(enum)。
  • 严格模式下模型只输出 schema 允许的结构,多余字段、类型错误会被约束;但仍需 json.loads 兜底。
  • function schema(阶段 3 的工具定义)本质也是 JSON Schema,模型按 schema 生成参数。
  • 注意:开启 JSON 模式时,system 或 user 里必须提到"JSON"字样,否则部分厂商会报错。

最小可运行示例:

# strict_json.py:用 JSON Schema 约束抽取
import json
import httpx
from config import BASE_URL, API_KEY, MODEL, auth_header

ORDER_SCHEMA = {
    "type": "object",
    "properties": {
        "order_id": {"type": ["string", "null"], "description": "订单号,找不到填 null"},
        "amount": {"type": ["number", "null"], "description": "金额数字,单位元"},
        "currency": {"type": "string", "enum": ["CNY", "USD", "EUR"], "description": "币种"},
    },
    "required": ["order_id", "amount", "currency"],
    "additionalProperties": False,
}

payload = {
    "model": MODEL,
    "messages": [
        {"role": "system", "content": "你是订单抽取助手,只输出符合 JSON schema 的 JSON 对象。"},
        {"role": "user", "content": "订单 B-2024 花了 99.5 美元。"},
    ],
    "temperature": 0,
    "response_format": {
        "type": "json_schema",
        "json_schema": {
            "name": "order_extraction",
            "schema": ORDER_SCHEMA,
            "strict": True,
        },
    },
}

r = httpx.post(f"{BASE_URL}/chat/completions", headers=auth_header(), json=payload, timeout=30.0)
obj = json.loads(r.json()["choices"][0]["message"]["content"])
print(obj)
# {'order_id': 'B-2024', 'amount': 99.5, 'currency': 'USD'}

常见坑:

现象 原因 修法
json.loads 报 Expecting value 输出里混了说明文字 开 JSON 模式 + 约束"只输出 JSON"
开启 JSON 模式报错 没在 prompt 里提"JSON" system/user 里写明输出 JSON
字段类型偶尔是字符串而非数字 schema 类型约束不严 在 schema 里写 type: "number",禁用自由文本
schema 太严格导致正常空值报错 required 把可选字段也设为必填 可选字段不放进 required,类型用 ["string","null"]

面试考法:问"为什么需要 JSON Schema,直接让模型输出 JSON 不行吗"。要点:自然语言约束下模型可能多字段、少字段、类型错、加解释文字;schema 把输出契约钉死,解析成功率从概率问题变成结构保证。追问常问"严格模式下还需要 json.loads 兜底吗",答到"需要,网络和解析异常仍要处理,schema 保证内容结构但不保证传输成功"。

5.3 few-shot 示例选择

为什么需要它:零样本(zero-shot)靠模型自己理解任务;给几个示例(few-shot)能显著对齐输出格式与风格。但示例不是越多越好,也不是随便找几个就行。

核心机制:

  • few-shot 示例放在 user/assistant 轮次里,示范输入→期望输出。
  • 示例要覆盖边界:正常值、空值、异常格式、歧义样本。只放理想样本会让模型对真实分布外的输入出错。
  • 示例数量:一般 3–8 个足够;每个示例都计入输入 token,示例越多成本越高。
  • 示例顺序有影响:把最相关的放前面;避免示例里的偏见(如性别倾向)。
  • 当任务分布变化时,用动态示例选择(检索最相关的历史样本)比固定示例更省。

最小可运行示例:

# few_shot.py:带边界示例的分类
messages = [{"role": "system", "content": "你是意图分类器,输出 enum:查询/投诉/建议。"}]
# 边界示例:正常值 + 空值 + 歧义
examples = [
    ("我的快递到哪了", "查询"),
    ("东西坏了没人管", "投诉"),
    ("希望能增加夜间配送", "建议"),
    ("", "查询"),                # 空输入兜底
    ("那个什么吧", "查询"),       # 歧义输入
]
for text, label in examples:
    messages.append({"role": "user", "content": text})
    messages.append({"role": "assistant", "content": label})
# 真实输入
messages.append({"role": "user", "content": "账单好像多扣了钱"})

常见坑:

现象 原因 修法
示例很完美但真实输入一杂就错 示例只覆盖理想样本 加入空值、异常、歧义样本
示例太多成本高 固定塞入大量示例 动态选择最相关的 3–5 个
模型学到示例里的偏见 示例分布不均 检查示例的类别与风格均衡

面试考法:问"few-shot 示例怎么选"。要点:覆盖边界(空值、异常、歧义),数量 3–8 个足够,按任务相关性动态选择;不要全放理想样本。追问常问"示例放 system 还是放 user/assistant 轮次",答到"用 user/assistant 对的形式示范输入输出,比在 system 里写死更有效"。

5.4 CoT:分步推理的使用与滥用

为什么需要它:Chain-of-Thought(分步推理)让模型先想再答,对数学、逻辑、多步任务能提升正确率。但对简单分类/抽取任务,它会白白增加 token 和延迟。

核心机制:

  • CoT 通过"请一步步思考"或示例展示推理过程,让模型把中间步骤写出来。
  • 有效场景:数学计算、逻辑推理、多步规划、需要拆解的问题。
  • 有害场景:简单分类、抽取、改写——这些任务直接给答案更准,推理反而引入错误。
  • 生产里常用"思考分开、答案分开":让模型先输出推理(隐藏),再输出最终结构化答案;或用专门的 reasoning 字段。
  • 不要把 CoT 的推理过程暴露给终端用户,除非业务要求可解释。

最小可运行示例:

# cot_demo.py:对比直接答与分步推理
SYSTEM_MATH = """你是数学助手。
要求:先在 reason 字段写出推理过程,再在 answer 字段给出最终数字。
只输出 JSON:{"reason": "...", "answer": number}"""

# 简单分类任务不该用 CoT
SYSTEM_CLASSIFY = "直接输出分类标签,不要解释。输出 enum:查询/投诉/建议。"

常见坑:

现象 原因 修法
分类任务又慢又飘 加了"请一步步思考" 简单任务直接给答案,temperature=0
CoT 推理过程被用户看到 没分离推理与答案 把推理放内部字段,只返回答案
推理错导致最终答案错 中间步骤出错 关键步骤用工具/代码执行(阶段 3),不靠模型心算

面试考法:问"CoT 什么时候该用,什么时候不该用"。要点:数学/逻辑/多步规划用 CoT 提升正确率;简单分类/抽取/改写不要用,避免增加延迟与引入错误。追问常问"生产里怎么让用户看到答案但不看到推理",答到"把推理放内部 JSON 字段,对外只返回 answer,或用专门的 reasoning 通道"。

5.5 Prompt 模板管理与版本化

为什么需要它:Prompt 是会反复改的资产。把它写死在 Python 字符串里,改一次要动代码、发版、无法回滚。模板化让 Prompt 可独立编辑、独立版本、可测试。

核心机制:

  • Prompt 与代码分离:模板放 prompts/ 目录,用文件(.txt/.j2)存储,代码读取后填充变量。
  • 模板变量用占位符(如 {{input}}),不要用字符串拼接混进敏感内容。
  • 版本管理:Prompt 文件纳入 Git,每次修改写版本号(如 v3_order_extract.txt),与代码版本对应。
  • Prompt 变更要走评测(5.6),不能改完直接上线。

最小可运行示例:

<!-- prompts/order_extract.v3.txt -->
你是订单信息抽取助手。从用户文本中抽取字段。
无法确定的字段填 null,不要编造。
只输出 JSON:{"order_id": "...", "amount": 0, "currency": "CNY"}

用户文本:{{input}}
# template.py:读取模板并填充
from pathlib import Path

def load_prompt(name: str, **vars) -> str:
    tpl = Path("prompts", name).read_text(encoding="utf-8")
    for k, v in vars.items():
        tpl = tpl.replace("{{" + k + "}}", str(v))
    return tpl

system = load_prompt("order_extract.v3.txt", input="订单 A-1 花了 50 元")

常见坑:

现象 原因 修法
Prompt 改了不知道哪版生效 写死在代码里 模板文件带版本号,纳入 Git
变量拼接破坏 JSON 结构 用户输入含引号 转义或走结构化输入,不要字符串拼 JSON
多环境 Prompt 不一致 模板没统一管理 所有环境从同一模板加载

面试考法:问"为什么 Prompt 要版本化"。要点:Prompt 是影响输出的核心输入,改了要能回归、能回滚;和代码一样要纳入版本管理,变更要有评测背书。

5.6 Prompt 评测:用例集与打分标准

为什么需要它:没有评测集,改 Prompt 就是"玄学调参"——你不知道改好还是改坏。固定用例集让每次变更可量化对比。

核心机制:

  • 评测集:固定的输入 + 期望输出,覆盖正常、边界、对抗样本。
  • 打分:结构化任务看能否 json.loads 且字段匹配;分类任务看标签准确率;开放任务用人工或模型打分。
  • 每次改 Prompt 跑同一用例集,对比成功率;下降就回滚。
  • 用例数量:20–50 条起步,覆盖主要边界;线上 bad case 持续回流(阶段 7)。

最小可运行示例:

# eval_prompt.py:最小回归评测
import json

# 用例:输入 + 期望 order_id
CASES = [
    ("订单 A-10086 花了 128 元", "A-10086"),
    ("我的快递 B-2 到哪了", "B-2"),
    ("今天天气不错", None),          # 无订单号
    ("C-99 美元订单", "C-99"),
]

def run_one(text: str) -> str | None:
    # 调用模型,返回抽取的 order_id(已 json.loads)
    ...

passed = 0
for text, expected in CASES:
    got = run_one(text)
    ok = got == expected
    passed += ok
    print(f"[{'OK' if ok else 'FAIL'}] {text} -> got={got} expected={expected}")
print(f"成功率 {passed}/{len(CASES)} = {passed/len(CASES):.0%}")

常见坑:

现象 原因 修法
改完 Prompt 变好变坏说不清 没有固定用例集 建 20 条用例,每次回归跑
用例全是理想样本 没收集 bad case 加入线上失败样本
成功率忽高忽低 temperature 没固定 评测时 temperature=0

面试考法:问"怎么评估一个 Prompt 改得好不好"。要点:建固定用例集(含边界与 bad case),打分看结构化成功率/字段准确率,每次变更跑同一用例对比,下降就回滚。

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
四段式 Prompt 把一句"抽取订单"改成四段式 对比前后输出稳定性 1.5 小时
启用 JSON Schema 给抽取任务写 ORDER_SCHEMA 并开 strict 10 次运行 json.loads 全部成功 2 小时
few-shot 边界 给分类任务加空值/歧义示例 边界样本分类正确 1.5 小时
CoT 对比 同一数学题用与不用 CoT 记录正确率与 token 差异 1 小时
Prompt 模板化 把 Prompt 移到 prompts/ 目录 代码从文件加载 1 小时

6.2 改造型

练习 要求 验收标准 预计耗时
从自然语言约束改为 schema 给定"请输出 JSON"的脚本,改成 JSON Schema 字段类型/必填被锁定 2 小时
给分类任务去掉 CoT 给定带 CoT 的分类脚本,改为直接答 延迟下降、准确率不降 1.5 小时
建回归用例 给现有抽取任务建 20 条用例 输出成功率百分比 2 小时
加空值兜底 给定会编造字段的 Prompt,加 null 规则 无关输入返回 null 而非编造 1.5 小时
Prompt 版本回滚 把模板改成 v2/v3 两版 能切换并对比结果 1 小时

6.3 设计型

练习 要求 验收标准 预计耗时
抽取任务完整闭环 选一个真实文本,设计 schema + few-shot + 评测 20 条用例成功率 ≥90% 6 小时
动态示例选择 按输入相似度选 3 个最相关示例 比固定示例成本低且成功率不降 5 小时
Prompt 评测看板 记录每次变更的成功率、平均 token 能看到每次改Prompt的影响 4 小时

七、排障表

现象 可能原因 排查步骤 解决办法
json.loads 报 Expecting value 输出混了说明文字 打印原始 content 开 JSON 模式 + 约束"只输出 JSON"
开启 JSON 模式报错 prompt 里没提"JSON" 看报错信息 system/user 写明输出 JSON
字段名每次不一致 没写死字段名 对比两次输出 key 用 JSON Schema 锁定
模型编造不存在的字段 没写空值规则 看输出是否有多余字段 加"无法判断填 null"、additionalProperties: false
改 Prompt 后变好变坏说不清 没有回归用例 跑固定用例集对比 建用例集,每次变更跑
分类任务又慢又飘 用了 CoT 或温度高 看是否有推理文字 直接给答案,temperature=0
few-shot 后真实输入出错 示例只覆盖理想样本 检查示例分布 加空值/异常/歧义样本
变量拼进 JSON 破坏结构 用户输入含引号 打印拼接后的 JSON 走结构化输入,不要字符串拼 JSON

八、出口条件

全部勾选后再进入 阶段 3 工具调用与 MCP 协议。

  • [ ] 能用角色/任务/约束/输出格式四段式组织 Prompt
  • [ ] 能写出 JSON Schema 并用 strict 模式让 20 条用例解析成功率 ≥90%
  • [ ] 能说明 few-shot 示例如何覆盖空值/异常/歧义边界
  • [ ] 能判断何时用 CoT、何时不用,并解释对延迟与成本的影响
  • [ ] Prompt 与代码分离,模板带版本号纳入 Git
  • [ ] 有固定评测集,每次改 Prompt 跑回归对比成功率
  • [ ] 排障表随机抽三个现象能在 5 分钟内定位

自测题(先自己想,再看要点):

  1. 为什么光说"请输出 JSON"不够,还要 JSON Schema?
    • 要点:自然语言约束下模型可能多字段、少字段、类型错、加说明文字;schema 把字段名、类型、必填钉死,解析成功率从概率问题变成结构保证。
  2. JSON 模式为什么要求 prompt 里提到"JSON"?
    • 要点:部分厂商要求模型明确知道要输出 JSON 才会进入结构化模式,否则报错。
  3. few-shot 示例应该放哪些样本?
    • 要点:正常值 + 空值 + 异常格式 + 歧义样本,数量 3–8 个,按相关性动态选择,不要全放理想样本。
  4. CoT 对分类任务为什么有害?
    • 要点:简单分类直接给答案更准,CoT 增加 token 和延迟,还可能在推理过程引入错误。
  5. Prompt 为什么要和代码分离?
    • 要点:Prompt 是高频变更的核心输入,分离后可独立版本、独立回滚、走评测,不必每次改都发版代码。
  6. 怎么判断一次 Prompt 变更改得好不好?
    • 要点:跑固定用例集(含边界与 bad case),对比结构化成功率/字段准确率,下降就回滚。
  7. strict 模式下还需要 json.loads 兜底吗?
    • 要点:需要,schema 保证内容结构但不保证传输与解析成功,网络与异常仍要处理。