罗罗编程学习记录

06.15 常见误区与避坑

所属:全栈开发面试题库 / 学习路径 / 06 AI Agent

序号 误区与卡点 为什么会卡 正确做法
1 先啃 Transformer 论文和深度学习再动手 理论链条长、反馈慢,迟迟跑不出可运行应用,学习动力耗尽;工程岗位对底层推导要求不高 先用 API 跑通带工具调用的最小 Agent,再按需要回头补注意力、分词等原理概念
2 把模型当知识库,追问私有或过期信息仍指望它作答 模型只掌握训练数据内的通用知识,没有企业私有数据,也不实时更新,强行提问只会得到编造答案 私有知识走 RAG 检索;实时数据走工具调用;明确模型能力边界与训练时间范围
3 提示词靠自然语言堆砌,没有输出契约 没有 Schema 约束时模型输出格式不稳定,程序解析经常失败,返工全在格式对齐上 用 JSON Schema / function schema 定义输出结构,严格模式兜底;提示词与代码分离并版本化
4 不做评测集,改提示词后好坏全凭感觉 没有固定用例回归,一次修改可能修好一类问题又弄坏另一类,无法判断真实收益 从阶段 2 起维护固定评测集,自动打分加人工抽检,每次改动跑回归对比
5 工具不做幂等与错误处理,重试后产生重复副作用 网络抖动与模型重试会重复调用工具,写操作不幂等就会重复下单、重复创建记录;错误只抛异常模型无法修正 工具设计幂等键,失败返回可读错误信息;设置重试次数与退避;写操作加确认环节
6 RAG 只做向量检索,切分与重排都不讲究 纯向量对精确术语匹配弱,切分不当会切断表格与语义,召回差时模型只能基于不完整资料作答 混合检索 BM25 加向量,按文档结构切分,召回后重排;答案必须带引用并支持拒答
7 Agent 上下文只累加不压缩,也不设停止条件 历史消息堆满上下文窗口导致报错或成本暴涨;没有步数与预算上限时 Agent 进入空转循环 按策略压缩摘要历史,配置步数、token、时间、成本上限;达到预算安全收尾
8 记忆不分区、不隔离,跨用户串数据 长期记忆直接挂在全局上下文中,不同用户的偏好与事实互相污染,造成隐私与正确性问题 记忆按用户与会话隔离,长期记忆检索时带身份过滤;敏感内容不入长期记忆
9 原型跑通就当生产可用,缺鉴权、trace 与降级 本地单用户演示与线上多用户服务差距很大,线上问题无法回放,模型抖动时接口整体不可用 阶段 6 起补齐服务化结构、trace 回放、超时降级、限流与模型分级;线上问题可定位到具体调用链
10 默认模型输出可信,工具权限给得过大 模型可被输入或资料中的注入内容诱导,越权调用写工具会造成数据破坏与外泄 模型输出按不可信处理;工具最小权限、工具级鉴权;敏感操作人工确认;审计日志留痕
11 所有请求都调用最贵模型,成本失控 简单分类、抽取、问答用强模型性价比极低,叠加长上下文后单次成本与延迟都偏高 按任务难度做模型分级路由,简单任务走小模型;接入语义缓存;统计单次成本并持续优化
12 上线后不回收 bad case,同类问题反复出现 线上出错样本没有回流到评测集,提示词、检索与工具的缺陷无法被系统发现和修复 建立 bad case 回流闭环:线上样本入库、回归复现、修复后纳入评测集长期守护