10.2.1.3 CoT 与思维链边界
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.2 Prompt 工程 / 10.2.1 提示设计与结构化输出
10.2.1.3-001 什么是 CoT,解决什么问题?
一句话结论
CoT(Chain of Thought,思维链)让模型在给出最终答案前先展开中间推理步骤,把多步问题分解成可逐步推导的过程;它主要缓解单步直接预测时复杂推理跳步、结论缺乏依据的问题。
概念解释
- 思维链:中间步骤的文字或结构化推理记录。
- 作用:分步展开,降低一步到位的错误率。
- 定位:推理引导方式,不提供外部事实。
原理流程
- 提示要求先列步骤再给结论。
- 模型逐步组织条件、对照规则、推导。
- 最后汇总出答案。
代码 / 示例
请按以下步骤回答:
1. 提取关键条件
2. 对照给定规则
3. 给出结论与依据
常见误区
- 误区:CoT 让模型更有知识;正解:它只是组织推理顺序,事实仍来自上下文与模型能力。
- 误区:所有任务加 CoT 都变好;正解:简单任务收益有限甚至变慢变差,见适用边界条目。
追问
- Q:CoT 是模型内部机制吗? A:通过提示引导出显式步骤;模型内部计算过程不等于可见的思维链文本。
- Q:思维链一定要自然语言段落吗? A:可以是要点、表格等结构化形式,见结构化推理条目。
10.2.1.3-002 什么任务上 CoT 收益最大?
一句话结论
多步推理任务收益最明显:数学计算、逻辑判断、分类依据推导、方案规划、条件组合排查;这些任务需要中间衔接,直接跳步容易出错,分步展开能提高结论可追溯性。
概念解释
- 高收益:步骤间有依赖、需要对照多个条件。
- 中收益:需要解释依据的判断类任务。
- 低收益:简单抽取、单轮分类、固定模板应答。
原理流程
- 判断问题是否需要多步推导。
- 需要则引导分步。
- 简单任务保持直答以省成本。
代码 / 图示
数学/逻辑/规划/多条件判断 → CoT 收益高
单字段抽取/简单分类/模板回复 → CoT 收益低
常见误区
- 误区:复杂描述的任务就该加 CoT;正解:复杂不等于推理多步,只是信息多,可能仍属抽取类。
- 误区:CoT 对所有模型提升幅度相同;正解:效果随模型能力与任务类型变化,需实测对比。
追问
- Q:客服判断适用 CoT 吗? A:需要对照多条政策条件时适合分步列依据;简单查询直答即可。
- Q:怎么验证收益? A:同一评测集对比有无思维链的正确率与一致性。
10.2.1.3-003 简单任务加 CoT 为什么可能变差?
一句话结论
简单任务上多余步骤增加跑偏空间、拉长输出、放大无关联想,还提高 token 成本与延迟;模型在凑步骤过程中可能引入本不需要的解释或错误推断,反而降低直答稳定性。
概念解释
- 副作用:步骤化诱导模型展开多余联想。
- 成本:输出变长,延迟与费用上升。
- 稳定性:直答任务的格式约束被长叙述冲淡。
原理流程
- 评估任务是否真有步骤依赖。
- 无依赖则不加推理引导。
- 对比评测集上的直答与分步表现。
代码 / 图示
简单任务 + 强制分步 → 冗长 + 跑偏 + 成本上升
常见误区
- 误区:步骤越详细越严谨;正解:简单任务详细步骤是冗余,严谨性来自规则与校验。
- 误区:CoT 变差只是模型没跟上;正解:任务不匹配是常见原因,先检查适用性。
追问
- Q:怎么判断任务是否简单? A:答案可由单次匹配/抽取得到、无需多条件衔接,即偏简单。
- Q:输出变长影响什么? A:占用输出预算、增加截断风险与计费,界面响应也更慢。
10.2.1.3-004 显式分步提示怎么写?
一句话结论
分步提示明确列出步骤顺序、每步产出与最终汇总形式,步骤数量克制、结构固定;可以写成编号清单或固定字段,让模型按同一框架推导,而不是自由发挥长篇思考。
概念解释
- 步骤框架:条件提取 → 规则对照 → 结论。
- 每步产出:可检查的中间结果。
- 汇总:步骤后给最终答案与依据。
原理流程
- 定义本任务的推理步骤。
- 写入提示的固定顺序与格式。
- 示例中演示同样的步骤结构。
代码 / 示例
分析步骤:
1. 列出问题涉及的条件
2. 逐条对照资料中的规则
3. 指出满足/不满足的条款
4. 汇总结论
常见误区
- 误区:写"请仔细思考"就是分步提示;正解:模糊思考指令不如明确步骤框架可执行。
- 误区:步骤越多越细越好;正解:步骤贴合任务即可,过多层级增加成本与跑偏面。
追问
- Q:步骤结果要不要展示给用户? A:按场景决定,可只展示结论,内部保留步骤供核验。
- Q:步骤能结构化输出吗? A:可以,把每步作为 JSON 字段,便于程序检查依据。
10.2.1.3-005 让模型自检/复核的提示模式是什么?
一句话结论
在结论生成后追加一轮自检:核对条件是否遗漏、依据是否在资料中、结论是否与规则一致;自检可以由模型复述检查清单完成,高风险任务再交程序或人工复核。
概念解释
- 自检对象:条件完整性、依据对应、结论一致性。
- 形式:清单式自问自答或复核字段。
- 定位:生成后的第二道检查,不替代外部核验。
原理流程
- 先产出初步结论。
- 按检查清单逐项复核。
- 发现矛盾回到对应步骤修正。
代码 / 示例
复核:
- 是否所有条件都已考虑?
- 每条结论是否有资料依据?
- 结论与规则是否冲突?
确认无误后输出最终答案。
常见误区
- 误区:模型自检一定能发现错误;正解:自检基于同一上下文与能力,可能共同漏掉问题,关键场景仍需外部校验。
- 误区:自检可以替代事实核查;正解:它检查内部一致性,不能补外部缺失的证据。
追问
- Q:自检结果怎么留存? A:高风险链路把复核结论作为结构化字段记录,便于追溯。
- Q:自检发现不确定怎么办? A:按规则声明不足或转人工,不要强行给出确定结论。
10.2.1.3-006 CoT 的 token 成本与延迟代价是什么?
一句话结论
思维链显著拉长输出 token,直接提高生成费用与 decode 延迟;步骤越长代价越高,因此只在收益明确的任务启用,步骤保持精简,必要时用结构化要点替代长段落。
概念解释
- 输出增长:中间步骤全部计入输出 token。
- 延迟:步数越多,生成时间越长。
- 预算:长步骤占用输出窗口,增加截断风险。
原理流程
- 估算步骤长度与输出预算。
- 精简到必要步骤。
- 评测成本与正确率的平衡点。
代码 / 图示
CoT 输出 = 步骤 + 结论
成本/延迟随步骤长度上升
常见误区
- 误区:思维链不收费;正解:生成的步骤文本同样按输出 token 计费。
- 误区:内部思考不展示给用户就不占输出;正解:只要生成了 token 就计入输出与延迟。
追问
- Q:怎么压缩步骤成本? A:用要点/字段形式替代自然语言段落,只保留关键推导环节。
- Q:高并发场景怎么权衡? A:延迟敏感链路谨慎使用,必要时非关键步骤后置或离线生成。
10.2.1.3-007 推理过程被用户看到有什么风险?
一句话结论
可见的思维链可能泄露内部规则、敏感上下文、工具细节或错误推断;中间步骤也可能被用户当作承诺或事实引用,因此对外输出要区分"内部推理"与"对外答复",敏感链路不展示原始步骤。
概念解释
- 泄露面:提示规则、资料片段、内部术语、工具调用思路。
- 引用风险:中间草稿被当作最终结论。
- 控制:步骤与答复分层输出。
原理流程
- 区分内部步骤字段与对外可见文本。
- 敏感推理不进入对外响应。
- 对外只呈现核验后的结论。
代码 / 图示
内部: reasoning 字段(步骤/依据)
对外: answer 字段(经核验的答复)
常见误区
- 误区:把完整思考过程贴给用户更透明;正解:未核验的中间草稿与敏感内容不应直接外发。
- 误区:思维链内容不参与安全审查;正解:可见文本同样受内容合规约束。
追问
- Q:产品需要展示推理过程怎么办? A:只展示经过整理、与结论一致的依据要点,不暴露原始草稿与内部规则。
- Q:多轮中步骤会进历史吗? A:默认不把冗长步骤写入长期历史,保留结论与必要依据即可。
10.2.1.3-008 CoT 编造中间步骤怎么识别?
一句话结论
编造步骤表现为:步骤引用不存在的条款、条件与输入不符、推理链与结论脱节、数字或事实对不上;识别方式是把步骤与原始输入、证据逐条对照,检查依据是否真实存在、推导是否连贯。
概念解释
- 编造信号:无依据引用、条件错配、跳步矛盾。
- 对照对象:输入文本、检索证据、工具返回。
- 核验:步骤到依据的可追溯性。
原理流程
- 抽取步骤中的条件与引用。
- 回溯原始材料核对是否存在。
- 检查步骤能否推到结论,不一致则标记。
代码 / 图示
步骤断言 → 证据中可找到?
否 → 编造/错配
是 → 推导链条是否连贯
常见误区
- 误区:步骤写得详细就说明推理可靠;正解:详细的编造步骤同样不可信,必须核对依据。
- 误区:结论对了步骤就不用看;正解:错误步骤可能在其他样本上产出错误结论,链路仍需改进。
追问
- Q:怎么减少编造步骤? A:要求步骤只引用给定资料、标注依据来源,外部事实走工具,不凭记忆补条款。
- Q:自动能识别多少? A:条款编号、数字、条件匹配可规则核对;语义跳步需人工或更强模型复核。
10.2.1.3-009 结构化推理(要点/表格)如何替代冗长自然语言?
一句话结论
把推理压成固定字段或表格:条件、对照规则、判断、结论分列记录,既保留可追溯性又压缩篇幅;结构化推理更易程序校验,也避免长段落跑题。
概念解释
- 形式:要点列表、对照表、JSON 字段。
- 收益:短、整齐、可解析。
- 适用:多条件对照、依据说明类任务。
原理流程
- 设计推理字段结构。
- 模型按字段填条件与判断。
- 程序逐字段核对后汇总结论。
代码 / 示例
{
"conditions": ["会员", "7 天内"],
"checks": [{"rule": "7 天无理由", "match": true}],
"conclusion": "符合退货条件"
}
常见误区
- 误区:结构化推理失去思考深度;正解:字段强制覆盖关键环节,深度由条件与规则对照保证。
- 误区:表格适合所有推理;正解:开放规划类任务仍可能需要自然语言要点,按任务选形式。
追问
- Q:结构化推理与最终输出冲突吗? A:可分字段存放,推理字段内部核验,结论字段对外展示。
- Q:字段设计依据什么? A:任务需要核对的条件清单,缺什么补什么。
10.2.1.3-010 自一致性(self-consistency)思路在提示层怎么用?
一句话结论
对同一问题多次生成推理路径,比较结论是否一致;一致度高则提高置信,分歧大则标记复核或补充证据;提示层可要求多次独立推导后汇总,但成本随次数成倍上升,只用于高风险场景。
概念解释
- 多次采样:不同路径得到候选结论。
- 聚合:比对关键结论,取多数或一致项。
- 局限:共同前提错误时一致也不可靠。
原理流程
- 同输入生成 N 条推理与结论。
- 抽取结论字段比对一致性。
- 高一致放行,低分歧复核。
代码 / 图示
问题 → 路径1 / 路径2 / 路径3 → 结论比对
一致 → 采纳; 分歧 → 标记待核
常见误区
- 误区:多数投票等于正确;正解:多路可能共享同一错误假设,一致性只降低随机错误。
- 误区:自一致性适合所有线上请求;正解:成本高,限定在高风险或离线评测链路使用。
追问
- Q:多次结果措辞不同怎么判一致? A:先抽取规范化结论字段再比对,不按字面相似度。
- Q:分歧时怎么处理? A:补充证据、换工具核对或转人工,不强行选一。
10.2.1.3-011 CoT 与 ReAct 的区别是什么?
一句话结论
CoT 只在上下文内展开推理;ReAct 把推理与行动交替:思考 → 调用工具/检索 → 观察结果 → 继续推理,推理链结合外部动作;CoT 依赖已有上下文,ReAct 主动获取新信息。
概念解释
- CoT:思考 + 结论,无外部动作。
- ReAct:Thought → Action → Observation 循环。
- 关系:ReAct 可看作带工具介入的推理框架。
原理流程
- CoT:条件都在上下文内,分步推导。
- ReAct:需要外部信息时先思考动作,调工具,读观察结果再推。
- 循环直到可结论。
代码 / 图示
CoT: 思考步骤 → 结论
ReAct: 思考 → 工具调用 → 观察 → 再思考 → 结论
常见误区
- 误区:ReAct 就是带 CoT 的工具调用;正解:区别在于推理与动作交替循环,观察结果进入下一步推理。
- 误区:所有任务都该用 ReAct;正解:上下文信息足够时 CoT 更轻,需要查外部数据才走 ReAct。
追问
- Q:ReAct 属于 Agent 范畴吗? A:是 Agent 循环的早期模式之一,详见 Agent 架构章节。
- Q:ReAct 失败点在哪? A:工具选择错误、参数错误、观察结果被误读,需要工具层校验。
10.2.1.3-012 数学、代码、规划、分类各自适用什么推理形式?
一句话结论
数学适合分步计算并交工具核验;代码适合先列方案再写实现;规划适合列步骤、约束与备选;分类适合列判断依据后给类别;不同任务的推理形式按可核验性选择,不套用同一种长段落。
概念解释
- 数学:分步演算,数值交计算器。
- 代码:方案 → 实现 → 自检。
- 规划:目标 → 步骤 → 风险与备选。
- 分类:依据条目 → 类别结论。
原理流程
- 按任务类型选推理结构。
- 可计算环节交确定性工具。
- 结论与依据一并留存。
代码 / 图示
数学: 列式 → 计算 → 校验
代码: 思路 → 实现 → 检查边界
规划: 目标 → 步骤 → 风险
分类: 依据 → 类别
常见误区
- 误区:数学题让模型心算更直接;正解:复杂计算应工具核验,避免算术幻觉。
- 误区:分类也要长篇推理;正解:分类列关键依据即可,长段落增加跑偏面。
追问
- Q:代码任务思维链写在哪? A:方案说明与实现分离,先确认思路再给代码,便于评审。
- Q:规划类怎么校验可行性? A:步骤对应资源与约束,不确定项标注依赖条件。
10.2.1.3-013 分步后答案仍错怎么兜底?
一句话结论
先定位错误环节:条件提取错、依据缺失/错配、还是推导跳步;对应修正输入证据、提示步骤或工具校验,重试仍不达标走规则兜底或人工,不要只让模型"再想一遍"。
概念解释
- 错误归因:按步骤环节定位。
- 修复手段:补证据、改提示、加工具。
- 兜底:规则结果、人工复核。
原理流程
- 复核步骤找到出错环节。
- 针对性修复后重试。
- 多次失败降级到确定性方案。
代码 / 图示
答案错 → 定位步骤环节 → 补证据/改提示/工具核验
仍失败 → 规则兜底 / 转人工
常见误区
- 误区:答案错就要求模型重新思考;正解:根因可能是证据不足或工具错误,重复推理不解决输入问题。
- 误区:兜底方案影响体验就不用;正解:高风险场景宁可保守答复,也不放行错误结论。
追问
- Q:怎么记录错误环节? A:评测集标注错误类型(条件/依据/推导/格式),按类型改进提示与证据链。
- Q:工具计算错误怎么回退? A:核对工具输入参数,必要时重试工具,模型不自行覆盖工具结果。
10.2.1.3-014 "先列假设再结论"的提示怎么写?
一句话结论
要求模型先列出基于资料的假设与不确定点,再给结论,并标注哪些结论有依据、哪些待确认;这种结构避免模型把推测包装成确定事实,适合证据不充分的判断场景。
概念解释
- 假设层:可能成立的解释与依据。
- 结论层:有依据的判断。
- 标记:待确认项单独列出。
原理流程
- 提示区分假设、依据、结论。
- 不确定内容标注待确认。
- 结论只基于已确认依据。
代码 / 示例
1. 已知条件
2. 可能的解释(标注假设)
3. 有依据的结论
4. 待确认事项
常见误区
- 误区:列假设等于鼓励猜测;正解:假设必须标注且与结论分离,不进入确定答复。
- 误区:待确认项可以省略;正解:显式标出不确定点,比笼统"可能"更可控。
追问
- Q:假设被用户当真怎么办? A:对外答复只展示结论与待确认项,假设内部留存。
- Q:证据不足时结论怎么写? A:给倾向性判断时附依据与缺口,不能确定则声明无法判断。
10.2.1.3-015 长推理对上下文窗口有什么压力?
一句话结论
思维链占用输出与上下文预算,多轮累计的步骤记录还会推高后续输入长度;应控制步骤长度、不在历史中保留冗长草稿,必要时分段推理并及时清理中间记录。
概念解释
- 输出压力:步骤长度占 max_tokens。
- 输入压力:历史携带旧步骤重复计费。
- 清理:只保留结论与关键依据。
原理流程
- 估算步骤输出预算。
- 历史中压缩早期推理。
- 超长任务分段处理。
代码 / 图示
步骤草稿 → 结论与要点留存, 长草稿不进历史
常见误区
- 误区:把每次思考过程都存进对话历史;正解:重复携带旧步骤膨胀上下文、增加成本。
- 误区:分步任务不受窗口限制;正解:步骤同样计入序列长度,超长会截断。
追问
- Q:多步任务上下文不够怎么办? A:分段推进,每段结论压缩后进入下一段,详见上下文窗口子页。
- Q:中间结果需要留存吗? A:高风险任务保留结构化要点备查,冗长自然语言草稿不落历史。
10.2.1.3-016 外部工具介入推理链的位置在哪里?
一句话结论
推理链中遇到需要事实、计算或状态查询的环节时,暂停自然语言推理,调用工具取确定性结果,把观察结果作为下一步依据;工具结果回传后再继续推导,模型不替代工具做确定性判断。
概念解释
- 介入点:事实缺失、需要计算、需要查系统状态。
- 结果角色:观察证据进入推理链。
- 边界:工具结果优先于模型记忆。
原理流程
- 思考判断当前环节需要外部信息。
- 发起工具调用并校验参数。
- 观察结果进入下一步推理。
代码 / 图示
推理 → 需要查询? → 工具调用 → 观察结果 → 继续推理
常见误区
- 误区:工具结果可以被模型随意改写;正解:事实性结果应原样引用,模型只做解释组织。
- 误区:每个推理环节都调工具;正解:只在确定性信息缺失时调用,避免工具往返过多。
追问
- Q:工具返回与模型常识冲突怎么办? A:以工具/系统数据为准,提示中注明数据来源优先级。
- Q:工具调用参数怎么保证正确? A:schema 校验后执行,详见结构化输出与工具调用子页。
10.2.1.3-017 CoT 提示片段示例(数学/诊断类)是什么样?
一句话结论
可复用片段固定"条件提取 → 规则/证据对照 → 推导 → 结论"结构,数学类附计算核验要求,诊断/判断类附依据编号与待确认标记;片段与输出 schema 配套使用。
概念解释
- 片段结构:步骤标题 + 产出要求。
- 配套:结论字段与依据引用。
- 克制:步骤数量固定,不写自由发挥长文。
原理流程
- 按任务套步骤框架。
- 示例演示每步产出。
- 结论按 schema 输出。
代码 / 示例
请按步骤分析:
1. 条件: 列出已知条件
2. 对照: 引用资料条款编号
3. 推导: 说明条件如何匹配条款
4. 结论: 给出判断, 不确定项标注"待确认"
常见误区
- 误区:片段里写大量示范推理全文;正解:框架 + 简短示例即可,全文靠模型生成。
- 误区:结论与步骤分开两个请求;正解:同一响应内分字段输出,保证步骤与结论对应。
追问
- Q:数学类片段加什么约束? A:要求列式,计算结果以工具核验为准,不心算给最终数值。
- Q:诊断类依据怎么追溯? A:每条对照附资料编号,结论可回溯到具体片段。
10.2.1.3-018 CoT 有效性的判断清单是什么?
一句话结论
上线前用清单判断:任务是否多步依赖、评测集上有无正确率提升、成本延迟是否可接受、步骤是否可核验、敏感内容是否隔离;任一项不满足就调整形式或放弃思维链。
概念解释
- 适用性:步骤依赖是否真实存在。
- 收益:评测指标对比。
- 代价:成本、延迟、泄露风险。
原理流程
- 核对任务类型与步骤结构。
- 对比有无 CoT 的评测结果。
- 评估成本、可核验性与安全边界。
代码 / 图示
□ 多步依赖真实存在 □ 正确率提升 □ 成本可接受
□ 步骤可核对 □ 敏感内容已隔离
常见误区
- 误区:清单走形式即可;正解:指标对比必须基于评测集,不能凭主观感受认定有效。
- 误区:一次判断永久有效;正解:模型版本或任务分布变化后重新评估。
追问
- Q:CoT 有效但成本过高怎么办? A:精简步骤、结构化要点、只在高风险链路启用。
- Q:评测下降说明什么? A:可能任务不匹配或步骤引导跑偏,回到提示与示例修正后再测。