罗罗编程学习记录
本页内容 展开查看

10.4.1.1 ReAct 与规划循环

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.4 Agent 架构 / 10.4.1 Agent 循环与工具调用

10.4.1.1-001 什么是 Agent,与单次问答有何区别?

一句话结论

Agent 是以大模型为决策核心,能感知输入、规划步骤、调用工具、根据观察结果继续推进直到完成目标的执行体;单次问答只产出一次回答,Agent 具备多步循环、状态维护与动作执行能力。

概念解释

  • 决策核心:模型理解目标与当前状态。
  • 循环:思考 → 行动 → 观察 → 再思考。
  • 动作:调用工具或输出最终答案。

原理流程

  1. 接收目标与上下文。
  2. 循环决策下一步动作。
  3. 工具结果回传,直到给出最终答案或终止。

代码 / 图示

目标 → 思考 → 行动(工具/回答) → 观察 → 思考 ... → 最终答案

常见误区

  • 误区:Agent 就是套壳聊天机器人;正解:区别在于工具调用闭环与多步状态推进。
  • 误区:Agent 能自主完成任意任务;正解:能力受工具集、权限与模型规划水平约束。

追问

  • Q:Agent 必备组件有哪些? A:模型决策、工具集、状态/上下文管理、循环控制与终止条件。
  • Q:简单任务需要 Agent 吗? A:能直接回答或单次工具调用解决的任务不必引入复杂循环。

10.4.1.1-002 ReAct 循环由哪几个环节组成?

一句话结论

ReAct 把推理(Thought)与行动(Action)交替进行:Thought 分析当前状态与下一步,Action 选择工具与参数,Observation 回传工具结果,循环直到模型给出最终答案。

概念解释

  • Thought:推理与决策。
  • Action:工具调用或答复动作。
  • Observation:工具返回结果。

原理流程

  1. 模型基于历史输出 Thought。
  2. 决定 Action(工具名 + 参数)。
  3. 执行工具得到 Observation,回入上下文继续循环。

代码 / 图示

Thought: 下一步需要查订单
Action: get_order(order_id=...)
Observation: {...}
Thought: 信息足够, 给出答案

常见误区

  • 误区:Thought 必须展示给用户;正解:内部推理可留存审计,对外回答不必暴露全部中间步骤。
  • 误区:每一步都要调用工具;正解:模型判断信息足够时应直接进入最终回答。

追问

  • Q:ReAct 相比纯推理好在哪? A:通过工具观察获取外部事实,减少凭记忆推断的错误。
  • Q:Action 除了工具还能是什么? A:也可以是向用户澄清、输出中间结果或终止任务。

10.4.1.1-003 Plan-and-Execute 与 ReAct 有什么区别?

一句话结论

Plan-and-Execute 先整体规划出任务步骤,再逐步执行;ReAct 边走边想,根据观察动态决定下一步。前者计划清晰、便于分解与跟踪,后者灵活应对未知结果;复杂任务可先规划再在执行中调整。

概念解释

  • 先规划:任务列表一次性分解。
  • 边执行边调整:ReAct 动态决策。
  • 结合:计划作为主线,执行中允许修订。

原理流程

  1. 规划者生成子任务清单。
  2. 执行者逐步完成并回传状态。
  3. 偏离计划时修订计划。

代码 / 图示

Plan: 步骤1 → 步骤2 → 步骤3
Execute: 逐步骤执行, 观察结果, 必要时调整计划

常见误区

  • 误区:计划一旦生成不能改;正解:执行中发现前提变化时应允许修订计划。
  • 误区:ReAct 不需要任何前置规划;正解:多步任务缺少主线容易跑偏,至少要有目标与约束。

追问

  • Q:哪种方式更适合长任务? A:长任务先规划分解便于跟踪,ReAct 适合步骤依赖实时结果的场景。
  • Q:计划步骤存哪里? A:结构化任务状态中,便于进度跟踪与中断恢复。

10.4.1.1-004 Agent 循环如何维护状态?

一句话结论

状态包括目标、计划、已执行步骤与结果、当前约束与中间产物;以结构化形式记录在上下文或外部存储,每轮循环读取更新;状态不依赖模型记忆口头保留,避免多步后丢失。

概念解释

  • 目标与约束:初始输入。
  • 进度:已完成步骤与结果。
  • 中间产物:工具返回、草稿结论。

原理流程

  1. 初始化目标与计划状态。
  2. 每轮执行后更新状态记录。
  3. 下一轮基于结构化状态决策。

代码 / 图示

state = { goal, plan, steps: [...], results: [...], constraints }
每轮: 读 state → 决策 → 执行 → 更新 state

常见误区

  • 误区:把所有历史消息当状态;正解:消息历史只是载体之一,结构化进度更可靠。
  • 误区:状态全放模型上下文;正解:长任务关键状态应落外部存储,上下文只带必要部分。

追问

  • Q:状态怎么持久化? A:任务状态可存数据库/会话存储,支持中断恢复与审计。
  • Q:状态过多怎么办? A:压缩已完成步骤为要点,保留关键结果与当前计划。

10.4.1.1-005 循环如何防止死循环与无限制执行?

一句话结论

设置最大步数、执行超时、重复动作检测与预算上限;连续重复相同工具调用或无进展时终止并上报;循环控制在代码层强制生效,不能依赖模型自行停止。

概念解释

  • 步数上限:最大迭代次数。
  • 超时:墙钟时间限制。
  • 重复检测:相同动作/参数连续出现。
  • 预算:调用次数与成本上限。

原理流程

  1. 初始化计数器与预算。
  2. 每轮检查步数、时间、重复动作。
  3. 超限终止,返回状态与原因。

代码 / 图示

while steps < max_steps and not timeout:
  检测重复动作 → 终止
  执行一步, 更新预算
超限 → 终止并上报未完成原因

常见误区

  • 误区:模型会自己判断何时结束;正解:模型可能陷入循环,硬上限必须由代码控制。
  • 误区:只设步数不设超时;正解:单工具长耗时或网络挂起需要时间兜底。

追问

  • Q:重复动作怎么识别? A:比较工具名、参数与近期结果,连续相同且无进展即判定卡住。
  • Q:终止后用户体验怎么处理? A:返回已完成部分与卡点原因,必要时转人工。

10.4.1.1-006 Observation 结果太长怎么处理?

一句话结论

工具返回过大时摘要、截断或结构化提取关键字段后再进入上下文;保留原始结果在外部存储备查,上下文只放决策所需信息;避免长结果挤占窗口并引入噪声。

概念解释

  • 压缩:摘要/字段提取。
  • 留存:原始结果外部可查。
  • 按需:后续步骤需要时再回取。

原理流程

  1. 判断结果大小与决策相关性。
  2. 提取关键字段或摘要。
  3. 原始结果存外部,上下文带引用标识。

代码 / 图示

工具大结果 → 提取关键字段/摘要 → 入上下文
原始结果 → 存储 + 引用 ID, 按需回取

常见误区

  • 误区:工具结果原样全量塞上下文;正解:大结果稀释注意力、占满窗口,应结构化压缩。
  • 误区:截断后不保留原始;正解:后续步骤可能需要完整字段,原始结果要可回取。

追问

  • Q:摘要丢信息怎么办? A:保留结构化关键字段与引用,关键数值不摘要掉。
  • Q:哪些结果不能压缩? A:错误信息、权限结果、关键状态码应完整保留供判断。

10.4.1.1-007 反思(reflection)在 Agent 中起什么作用?

一句话结论

反思是在行动后检查结果是否满足目标、假设是否成立、是否需要修正计划;可由模型自评或独立评审角色执行;反思结论需要外部证据校验,避免模型自我合理化放大幻觉。

概念解释

  • 结果检查:是否达成子目标。
  • 假设复核:前提与证据是否成立。
  • 修正:调整计划或换路径。

原理流程

  1. 执行后对照目标检查结果。
  2. 识别缺口与错误假设。
  3. 修订计划或请求新工具。

代码 / 图示

执行结果 → 对照目标检查 → 满足? 否: 找原因 → 修正计划/换工具

常见误区

  • 误区:反思能替代外部验证;正解:模型自评可能确认错误结论,关键结果要有工具/数据佐证。
  • 误区:每步都反思拖慢任务;正解:在关键节点或失败后反思,简单步骤不必额外评审。

追问

  • Q:反思由谁执行? A:主模型自评或独立评审 Agent,高风险任务用独立角色更客观。
  • Q:反思发现矛盾怎么办? A:回到证据核对,不接受无依据的自我肯定。

10.4.1.1-008 Agent 如何决定终止并给出最终答案?

一句话结论

终止条件:目标达成、信息充分、预算耗尽或失败无法继续;模型在循环中输出最终答复动作,代码层确认终止条件后结束会话;最终答案基于已观察到的证据,而非循环中的臆测。

概念解释

  • 达成:子目标全部完成。
  • 充分:证据足够回答。
  • 兜底:超限/失败终止。

原理流程

  1. 每轮判断是否满足终止条件。
  2. 满足则生成最终答案动作。
  3. 代码层校验终止状态并收尾。

代码 / 图示

信息充分 → 最终回答动作
目标完成 → 结束
超限/失败 → 终止 + 状态说明

常见误区

  • 误区:只要模型输出文字就终止;正解:要区分中间答复与最终答案动作,避免提前结束。
  • 误区:终止后还能追加工具调用;正解:终止状态明确,后续动作需新会话或显式恢复。

追问

  • Q:最终答案依据什么组织? A:已回传的工具结果与上下文证据,缺证据时声明不足。
  • Q:任务部分完成怎么收尾? A:返回已完成部分、未完成项与原因,不伪装全部完成。

10.4.1.1-009 什么情况下用单 Agent,什么情况下需要多 Agent?

一句话结论

任务步骤线性、工具集中、上下文可控时单 Agent 足够;任务可拆分出独立子任务、需要不同角色视角或并行处理时引入多 Agent;多 Agent 增加编排与通信成本,不为架构复杂而拆分。

概念解释

  • 单 Agent:一个决策体走完全程。
  • 多 Agent:角色分工、并行/接力。
  • 成本:编排、状态同步、通信开销。

原理流程

  1. 评估任务耦合度与子任务独立性。
  2. 单 Agent 能胜任则不拆分。
  3. 独立子任务与角色需求明确时再编排。

代码 / 图示

线性/耦合/上下文小 → 单 Agent
独立子任务/多视角/并行 → 多 Agent 编排

常见误区

  • 误区:多 Agent 一定更智能;正解:协调成本与失败点增加,简单任务单 Agent 更稳。
  • 误区:按工具数量决定是否多 Agent;正解:工具多可分组挂载,不一定需要独立 Agent。

追问

  • Q:多 Agent 适合哪些场景? A:研究汇总、编码审查、分工客服等角色边界清晰的任务。
  • Q:单 Agent 上下文装不下怎么办? A:先压缩状态与检索式回忆,再考虑拆分。

10.4.1.1-010 Agent 循环里的错误如何恢复与重试?

一句话结论

区分错误类型:工具临时故障可重试(带退避),参数错误回传让模型修正,前提错误需要调整计划,权限/安全类错误不可重试绕过;重试有次数上限,失败转人工或返回明确状态。

概念解释

  • 临时故障:网络/超时,可重试。
  • 参数错误:校验反馈修正。
  • 不可恢复:权限拒绝、高危拦截。

原理流程

  1. 解析错误类型与信息。
  2. 可重试则退避重试。
  3. 不可恢复则终止上报,不绕过限制。

代码 / 图示

错误 → 临时? 退避重试(上限)
        参数? 反馈修正
        权限/安全? 终止, 不重试绕过

常见误区

  • 误区:所有错误都重试几次;正解:权限拒绝、参数非法重试无意义,还可能触发安全风险。
  • 误区:重试不带退避;正解:连续重试会放大故障,需要间隔与上限。

追问

  • Q:重试次数设多少? A:按任务与工具稳定性定,设硬上限并记录失败原因。
  • Q:参数错误怎么反馈给模型? A:把校验错误与期望格式回传上下文,让模型重新生成调用。

10.4.1.1-011 循环上下文如何控制规模?

一句话结论

每轮只保留必要的状态、近期动作与关键结果;已完成步骤压缩为要点,大结果外部留存引用;按上下文窗口预算裁剪历史,关键计划与结论优先保留,避免循环越跑上下文越长。

概念解释

  • 保留:计划、关键结果、当前状态。
  • 压缩:历史步骤摘要。
  • 外部留存:大结果按需回取。

原理流程

  1. 维护结构化状态而非全量历史。
  2. 定期压缩已完成步骤。
  3. 超预算时裁剪低相关历史。

代码 / 图示

上下文 = 目标/约束 + 当前计划 + 近期动作 + 关键结果摘要
大结果: 外部引用, 不全文保留

常见误区

  • 误区:循环历史全部保留;正解:多轮后上下文爆炸,关键信息被挤出窗口。
  • 误区:压缩丢掉工具结果;正解:关键数值与结论保留,冗长过程可摘要。

追问

  • Q:压缩后需要原始结果怎么办? A:按引用 ID 从外部存储回取。
  • Q:哪些信息不能压缩? A:目标、约束、权限状态与未解决的问题必须保留。

10.4.1.1-012 Agent 动作有哪些类型?

一句话结论

动作包括:调用工具、向用户提问澄清、输出中间结果、修订计划、终止任务;并非所有动作都是外部工具调用,对话澄清与状态调整也是循环中的合法动作。

概念解释

  • 工具动作:执行外部操作。
  • 对话动作:澄清、确认、答复。
  • 内部动作:计划修订、状态更新。

原理流程

  1. 模型决策动作类型。
  2. 代码路由到对应处理。
  3. 结果回入循环。

代码 / 图示

action: tool_call / ask_user / revise_plan / final_answer / abort

常见误区

  • 误区:Agent 动作只能是工具调用;正解:信息不足时提问澄清是重要动作类型。
  • 误区:中间结果直接当最终答案;正解:动作类型要区分,避免流程提前收尾。

追问

  • Q:高危动作为什么需要确认? A:删除、支付、外发等动作应经用户或审批确认,见工具安全章节。
  • Q:动作结果如何记录? A:每种动作的输入输出与状态变更写入审计轨迹。

10.4.1.1-013 如何评估一个 Agent 循环的执行效果?

一句话结论

指标包括任务完成率、步数/工具调用次数、成功率、失败原因分布、平均耗时与成本;分环节看规划准确性、工具选择正确率与结果利用率;不只看最终回答是否生成。

概念解释

  • 结果指标:完成率、成功率。
  • 过程指标:步数、调用次数、耗时、成本。
  • 环节指标:规划、选工具、用结果。

原理流程

  1. 定义任务成功标准。
  2. 统计结果与过程指标。
  3. 失败案例按环节归因。

代码 / 图示

完成率 · 步数 · 工具调用数 · 耗时 · 成本
失败归因: 规划错/选错工具/参数错/结果没用好

常见误区

  • 误区:回答生成了就算成功;正解:任务目标达成且结果正确才算成功。
  • 误区:只看成功率不看成本;正解:步数与工具调用成本是 Agent 运营的重要指标。

追问

  • Q:规划准确性怎么评? A:对照人工规划清单,看子任务拆分与顺序是否合理。
  • Q:低完成率先查什么? A:先区分是工具能力不足、规划跑偏还是上下文状态丢失。

10.4.1.1-014 规划分解的粒度如何把握?

一句话结论

子任务应可独立执行与验证,粒度既不太粗(一步内含多个不确定动作)也不太细(拆成无意义琐碎步骤);每步有明确输入、动作与完成判据,便于跟踪进度与失败定位。

概念解释

  • 可执行:单步可调用工具或回答。
  • 可验证:有明确完成标准。
  • 粒度平衡:避免过粗过细。

原理流程

  1. 把目标拆成有序子任务。
  2. 每步定义输入与完成判据。
  3. 执行中按结果调整粒度。

代码 / 图示

子任务: 输入 → 动作 → 完成判据
过粗: 多动作耦合; 过细: 琐碎无独立价值

常见误区

  • 误区:任务拆得越细越可控;正解:过细步骤增加循环开销与状态管理复杂度。
  • 误区:子任务不需要完成判据;正解:无法验证的步骤无法判断是否达成。

追问

  • Q:子任务依赖关系怎么处理? A:标注先后依赖,前置未完成不进入后置步骤。
  • Q:分解不合理怎么修正? A:执行中观察卡点,合并过细步骤或拆开过粗步骤。

10.4.1.1-015 Agent 如何处理用户中途澄清或变更需求?

一句话结论

循环状态保留原始目标与最新变更;新输入到达时更新计划与约束,已完成的有效结果保留,受变更影响的步骤标记重做;需求冲突时向用户确认优先级,不自行取舍。

概念解释

  • 状态更新:目标与约束随输入修订。
  • 结果复用:有效中间产物保留。
  • 冲突确认:优先级交用户决定。

原理流程

  1. 接收新输入。
  2. 更新状态与计划,标记受影响步骤。
  3. 冲突无法自行判断时澄清。

代码 / 图示

新输入 → 更新 goal/constraints → 保留有效结果 → 受影响步骤重做
冲突 → 询问用户优先级

常见误区

  • 误区:变更后从头重做;正解:未受影响的已完成结果应复用。
  • 误区:模型自行判断新旧需求优先级;正解:冲突业务取舍需用户确认。

追问

  • Q:变更记录怎么留? A:状态中保留需求版本与变更时间,便于审计追溯。
  • Q:历史步骤与新需求矛盾怎么办? A:标记矛盾结论,按新需求重新核实,不沿用旧前提。

10.4.1.1-016 工具观察结果与模型记忆冲突时以谁为准?

一句话结论

以工具/系统返回的外部数据为准,模型先验常识只作辅助;提示与状态中明确数据来源优先级,冲突时回查工具结果;防止模型用记忆覆盖系统返回的事实。

概念解释

  • 外部数据:工具查询、数据库、系统接口。
  • 先验知识:模型训练记忆。
  • 优先级:外部事实高于记忆。

原理流程

  1. 标注结果来源。
  2. 冲突时回查外部数据。
  3. 答案基于外部证据组织。

代码 / 图示

工具结果(事实) > 模型记忆(先验)
冲突 → 以工具数据为准, 必要时复核工具输入

常见误区

  • 误区:模型判断与工具结果不一致时信模型;正解:业务事实以系统数据为准。
  • 误区:不标注结果来源;正解:无法区分事实与推断,容易误用记忆。

追问

  • Q:工具结果本身可疑怎么办? A:核对工具输入与数据源,必要时换工具复核,而非直接采信或否定。
  • Q:常识性问题也必须查工具吗? A:通用知识可直接答,涉及业务数据与实时信息走工具。

10.4.1.1-017 Agent 轨迹(trajectory)如何记录与用于复盘?

一句话结论

轨迹记录每轮的 Thought、Action、工具输入输出、状态变更与终止原因;留存用于成功率分析、失败归因与提示/工具改进;敏感信息脱敏,轨迹可回放以复现问题。

概念解释

  • 轨迹:完整决策与动作序列。
  • 用途:归因、复盘、回归样本。
  • 脱敏:个人与机密信息处理。

原理流程

  1. 每步写入轨迹记录。
  2. 失败案例回放归因。
  3. 沉淀为评测与改进样本。

代码 / 图示

trajectory: [{thought, action, tool, input, output, state, ts}]

常见误区

  • 误区:只记录最终答案;正解:缺中间动作无法定位是规划、工具还是参数环节出错。
  • 误区:轨迹全量明文长期留存;正解:按合规要求脱敏并设留存期限。

追问

  • Q:轨迹怎么进评测集? A:成功轨迹作参考,失败轨迹标注错误类型进回归集。
  • Q:轨迹体积大怎么办? A:结构化关键字段留存,大结果外部引用。

10.4.1.1-018 什么是 Agent 的护栏(guardrail)?

一句话结论

护栏是循环内外的约束机制:输入输出检查、工具权限边界、危险动作确认、步数预算与安全回归样本;护栏在代码与配置层强制,不依赖模型自觉遵守提示中的限制。

概念解释

  • 输入输出:内容与风险检查。
  • 动作边界:权限、确认、限流。
  • 强制层:代码/配置兜底。

原理流程

  1. 明确允许的动作范围。
  2. 各环节接入检查与拦截。
  3. 对抗样本回归验证护栏。

代码 / 图示

输入检查 → 动作权限/确认 → 输出过滤 → 预算终止

常见误区

  • 误区:把护栏写进系统提示就够了;正解:提示可被绕过,执行层必须有强制校验。
  • 误区:护栏只防外部攻击;正解:也包括步数失控、越权动作与错误输出。

追问

  • Q:护栏与灵活性如何平衡? A:安全与权限硬约束不放宽,体验层面的限制可按任务调整。
  • Q:护栏规则在哪维护? A:与工具配置、权限策略一起版本化管理。

10.4.1.1-019 规划类任务常见失败模式有哪些?

一句话结论

常见失败:目标理解偏差、子任务遗漏、步骤顺序错误、依赖未满足就执行、循环无进展、误用工具结果、状态丢失;每种都可通过轨迹回放定位,并对应到规划提示、工具描述或状态管理改进。

概念解释

  • 规划失败:理解、分解、顺序。
  • 执行失败:依赖、工具、参数。
  • 状态失败:进度与结果丢失。

原理流程

  1. 回放轨迹对照目标。
  2. 定位首个出错环节。
  3. 归类失败模式并改进。

代码 / 图示

理解偏差 / 子任务遗漏 / 顺序错 / 依赖未满足 / 无进展 / 误用结果 / 状态丢失

常见误区

  • 误区:规划失败都换更强模型;正解:先检查任务分解提示、工具描述与状态记录是否清晰。
  • 误区:失败只记最终未完成;正解:记录首个出错环节才能针对性修复。

追问

  • Q:子任务遗漏怎么发现? A:对照目标要点清单,检查是否有未覆盖的必要步骤。
  • Q:状态丢失怎么改善? A:关键进度落结构化存储,不依赖上下文口头保留。

10.4.1.1-020 Agent 循环落地清单是什么?

一句话结论

清单:目标与状态结构、循环控制(步数/超时/重复检测/预算)、动作类型路由、工具结果压缩与留存、终止条件、错误分类重试、轨迹记录、护栏强制、成功率与成本指标、失败归因回流。

概念解释

  • 循环控制:边界与终止。
  • 状态与轨迹:可跟踪可复盘。
  • 护栏与指标:安全与效果。

原理流程

  1. 实现状态机与循环路由。
  2. 接入预算、护栏与轨迹。
  3. 指标监控,失败案例回流改进。

代码 / 图示

□ 状态结构  □ 步数/超时/重复/预算  □ 动作路由  □ 结果压缩留存
□ 终止条件  □ 错误重试分类  □ 轨迹记录  □ 护栏强制
□ 成功率/成本指标  □ 失败归因回流

常见误区

  • 误区:先跑通循环再补控制;正解:步数、超时与权限护栏应在上线前就位。
  • 误区:循环架构固定不变;正解:任务类型变化后复盘轨迹,调整规划与分工方式。

追问

  • Q:下一环节衔接? A:循环中调用工具的 schema、参数与安全细节,见 10.4.1.2 与 10.4.1.3。
  • Q:如何验证循环稳定? A:在任务标注集上跑成功率与步数分布,边界样本检查护栏触发。