06.16 自测清单
所属:全栈开发面试题库 / 学习路径 / 06 AI Agent
阶段 0:环境、语言基础与第一次模型调用
- [ ] 本地环境可隔离管理依赖,API Key 通过环境变量注入,代码与仓库中无硬编码密钥
- [ ] 能独立构造模型请求并解析 JSON 响应,处理鉴权与网络错误
- [ ] 理解流式响应的读取方式,能逐段获取输出
- [ ] 练习代码纳入 Git 管理,有清晰提交记录
阶段 1:LLM 基础与输出控制
- [ ] 能用自然语言解释注意力机制与上下文变长导致成本上升的原因
- [ ] 理解 token、分词与上下文窗口,超长输入能给出截断或压缩策略
- [ ] 掌握 temperature、top_p、max_tokens、stop 的作用与典型取值
- [ ] 能按能力、延迟、成本与合规要求做模型选型,并估算单次调用成本
阶段 2:Prompt 工程与结构化输出
- [ ] 提示词按角色、任务、约束、输出格式组织,与代码分离并可版本化
- [ ] 能用 JSON Schema / function schema 约束输出,结构化解析成功率达标
- [ ] 会选择 few-shot 示例,并说清 CoT 的适用场景与滥用代价
- [ ] 维护固定评测集与打分标准,提示词改动可做回归对比
阶段 3:工具调用与 MCP 协议
- [ ] 理解工具定义、模型返回调用、结果回填的完整消息流
- [ ] 工具描述、参数 Schema、粒度与幂等设计合理
- [ ] 工具失败返回可读信息,支持重试或改道,无重复副作用
- [ ] 理解 MCP 客户端/服务端、资源与工具划分,工具在沙箱中按最小权限执行
阶段 4:RAG 检索增强
- [ ] 能完成文档解析、清洗与切分,按文档结构选择切分策略
- [ ] 理解 embedding、向量相似度、元数据过滤与向量库取舍
- [ ] 实现 BM25 + 向量混合检索与 rerank,检索结果可拼装上下文并标注引用
- [ ] 具备拒答与幻觉抑制逻辑,文档更新可增量重建索引
- [ ] 能解释 RAGAS 等评测指标含义并完成一套 RAG 评测
阶段 5:Agent 架构与编排
- [ ] 能对比 ReAct、Plan-Execute、Reflection 三种模式的适用场景与代价
- [ ] 掌握 subagent 委派、通信与冲突处理,职责划分清晰
- [ ] 具备上下文压缩、短期与长期记忆管理,记忆按用户隔离
- [ ] 长任务支持检查点与断点续跑,配置步数、token、时间、成本预算上限
阶段 6:工程化框架与服务化
- [ ] 理解 LangChain/LangGraph 的状态图、节点、边与检查点抽象,了解其他框架定位
- [ ] Agent 逻辑封装为异步 HTTP 服务,支持 SSE 流式返回
- [ ] 关键链路有 trace 可回放,数据集可沉淀用于评测
- [ ] 接入语义缓存与模型分级路由,具备超时、限流、降级与灰度回滚能力
阶段 7:安全、评测体系与生产落地
- [ ] 能识别直接与间接提示注入,并按输入指令分层隔离防御
- [ ] 工具调用做用户级鉴权与最小权限授权,敏感操作有人工确认
- [ ] 敏感信息有识别、脱敏与输出过滤,审计日志完整留痕
- [ ] 评测集覆盖正常、边界与对抗用例,指标包含准确率、任务完成率、幻觉率、P95 延迟与单次成本
- [ ] 线上 bad case 进入回流与回归流程,支持 A/B 与灰度发布