06.9 阶段 8:进阶方向(可选)
所属:全栈开发面试题库 / 学习路径 / 06 AI Agent
在以上阶段完成后,按岗位需要拓展:自托管推理服务与模型部署简述、微调与领域适配的适用边界、多模态 Agent、语音 Agent、Agent 协议生态演进。这一部分对应题库第 10 分册进阶题目与第 12 分册新技术观察,不要求初学者一次性掌握。
本页目录
一、阶段定位
这是可选阶段,不是上岗必需项。前面七个阶段已经覆盖"接入 API、RAG、Agent、工程化、安全评测"的完整链路,足以应对大多数 AI 应用开发岗位。本阶段按岗位方向选择性拓展:如果岗位要求本地部署,补自托管推理;如果要求多模态或语音,补对应方向;如果要求模型适配,补微调边界。
为什么放在最后:这些方向要么涉及模型训练/部署(超出应用开发范畴),要么是细分领域(语音、视觉),学习成本高且岗位相关性差异大。建议先把前面七阶段练扎实,再按招聘要求挑一两个方向深入,不要贪多。
与前后阶段的衔接:往上接 阶段 7 安全与生产落地,那时你的应用已经能上生产;本阶段是在"用云端 API"之外的备选——数据不能出域时自托管、领域知识用 RAG 不够时考虑微调、交互形式要扩展到语音视觉时加多模态。每一节都讲清"什么时候该用、什么时候不该用",避免过度工程。
本阶段的判断依据:
- 自托管 vs 云端 API:判断标准是数据能否出域、成本是否敏感。数据敏感、高频简单任务走本地;复杂任务仍上云。
- 微调 vs RAG vs Prompt:判断标准是知识更新频率与风格适配。频繁更新的私有知识用 RAG,固定风格/格式用 Prompt 微调,领域数据量大且稳定才考虑微调。
- 多模态/语音是否必需:判断标准是任务是否真的需要图片/语音输入,纯文本任务不要为概念上多模态。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能说清自托管推理的适用场景与主要组件 | 列出 vLLM/Ollama 的适用区别 |
| 能判断何时该微调、何时该用 RAG 或 Prompt | 给一个需求选对方案并说明理由 |
| 能描述多模态与语音 Agent 的基本链路 | 画出 ASR→模型→TTS 的数据流 |
| 能说出 MCP 协议生态解决的问题 | 解释为什么需要标准化工具协议 |
建议学时:
- 本阶段按方向选修,不需要全部学完。每个方向 8–12 小时即可建立认知,不要求上手生产部署。
- 在职:每个方向利用业余时间 1–2 周了解即可。
- 重点:判断"什么时候该用什么方案",而不是精通部署细节。
学时分配:按岗位方向选 1–2 个深入;其余方向建立概念认知即可。不要把五个方向全学一遍。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| 完整 AI 应用链路 | 已跑通 RAG + Agent + 服务化 | 06.5 RAG 起补齐 |
| 成本结构 | 知道云端 API 计费方式 | 06.2 阶段 1 |
| 部署基础 | 会基本命令行与服务运行 | 06.1 阶段 0 |
经验判断:自托管和微调涉及 GPU、模型权重、训练框架,与"应用开发"是不同工种;应用工程师只需能判断边界、能对接,不必成为训练专家。
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| 自托管推理 | vLLM、Ollama、量化、GPU 资源 | 了解 | 10.5 LLM 工程化 |
| 微调边界 | SFT、LoRA、与 RAG/Prompt 的取舍 | 了解 | 10.1 LLM 基础 |
| 多模态 Agent | 视觉输入、图文理解、多模态模型 | 了解 | 10 AI 应用开发 |
| 语音 Agent | ASR、TTS、实时对话、打断 | 了解 | 10 AI 应用开发 |
| 协议生态 | MCP、A2A、标准化工具与智能体通信 | 了解 | 10.4 Agent 架构 |
进度管理建议:本页全部为"了解"档,不要求"能讲清原理"。具体新技术观察另见第 12 分册与《官方文档与权威资料索引》。
五、分模块精讲
5.1 自托管推理服务与模型部署
为什么需要它:云端 API 方便,但数据不能出域、或高频简单任务长期成本高时,需要本地部署开源模型。
核心机制:
- 推理框架:vLLM(生产高吞吐,PagedAttention)、Ollama(本地开发友好,一行命令起模型)。
- 量化:把模型权重从 FP16 压到 INT8/INT4,降低显存占用,代价是精度略降。
- 模型选择:7B/14B 小模型适合本地,能力有限;大模型本地部署需要多卡 GPU。
- 适用场景:敏感数据不出内网、高频简单任务走本地降本;复杂任务仍可路由到云端大模型兜底。
- 与应用开发的关系:应用层用 OpenAI 兼容接口调用,本地推理服务同样暴露
/v1/chat/completions,代码几乎不用改。
最小可运行示例:
# Ollama 本地起一个模型(开发体验)
# ollama run qwen2.5:7b
# 它会暴露 http://localhost:11434/v1/chat/completions
# 应用层把 base_url 指向本地即可,请求格式与云端一致
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 本地小模型能力不够 | 选了太小的模型 | 复杂任务路由到云端大模型 |
| 显存不够 | 模型太大没量化 | 用 INT4 量化或换小模型 |
面试考法:问"什么时候用云端 API,什么时候自托管"。要点:数据合规要求、成本与频率、能力要求;自托管用 OpenAI 兼容接口,应用代码可平滑切换。
5.2 微调与领域适配的适用边界
为什么需要它:不是所有"模型不懂我的领域"都该微调。微调成本高、迭代慢,多数场景 RAG 或 Prompt 就够。
核心机制:
- 微调(SFT/LoRA):用领域数据继续训练模型,改变模型行为与风格。LoRA 只训少量参数,成本较低。
- 取舍优先级:
- 先调 Prompt 与 few-shot。
- 知识更新用 RAG(检索最新文档)。
- 固定输出格式/风格用 Prompt 工程。
- 领域数据量大、稳定、且前三种都不够,才考虑微调。
- 微调的代价:需要标注数据、训练与评测流程、模型版本管理;知识更新时要重训。
最小可运行示例:
# 决策流程(伪代码)
如果问题是"缺最新知识" -> RAG
如果问题是"输出格式不稳定" -> Prompt + JSON Schema
如果问题是"风格/语气不对" -> few-shot 示例
如果问题是"领域术语理解差且数据量大稳定" -> 才考虑微调
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 一上来就微调 | 没先试 Prompt/RAG | 按优先级先试低成本方案 |
| 知识更新了微调模型还是旧的 | 微调不擅长存新知识 | 知识用 RAG,微调只管风格 |
面试考法:问"微调、RAG、Prompt 怎么选"。要点:知识更新用 RAG,格式风格用 Prompt,领域数据量大且稳定才微调;微调不擅长存储频繁更新的知识。
5.3 多模态 Agent
为什么需要它:任务需要看图片、读文档扫描件、理解界面截图时,纯文本模型不够,需要多模态模型。
核心机制:
- 多模态模型:接受图片/视频输入,输出文本。常见方式是把图片转成 URL 或 base64 放进 messages。
- 典型链路:用户上传截图 → 多模态模型理解内容 → 决定调用工具或回答。
- 适用:图文问答、OCR 辅助、界面理解、视觉问答;纯文本任务不必用。
最小可运行示例:
# multimodal.py:图片放进 messages(OpenAI 兼容格式)
payload = {
"model": "gpt-4o-mini",
"messages": [{
"role": "user",
"content": [
{"type": "text", "text": "这张图里有什么?"},
{"type": "image_url", "image_url": {"url": "https://example.com/a.jpg"}},
],
}],
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 纯文本任务用多模态模型 | 成本高 | 纯文本走文本模型 |
| 图片过大导致超时 | 没压缩 | 压缩或用低分辨率 |
面试考法:问"什么时候该用多模态模型"。要点:任务真需要看图/读扫描件/理解界面时用;纯文本任务用文本模型更便宜更快。
5.4 语音 Agent
为什么需要它:客服、语音助手场景需要实时语音对话,不是文本一来一回。
核心机制:
- 链路:语音输入 → ASR(语音转文字)→ LLM 处理 → TTS(文字转语音)→ 语音输出。
- 实时对话:需要低延迟、支持打断(用户说话时停止播放)、流式 ASR/TTS。
- 与文本 Agent 的区别:核心 LLM 决策逻辑相同,只是输入输出换成了语音通道。
最小可运行示例:
语音链路(概念)
麦克风 → ASR 流式转写 → 文本 messages → LLM → 文本回复 → TTS 合成 → 扬声器
关键指标:端到端延迟、打断响应、识别准确率
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 端到端延迟高 | ASR+LLM+TTS 串行 | 流式处理,边识别边生成 |
| 用户插话时机器人不停 | 没做打断检测 | VAD 检测人声,停止 TTS |
面试考法:问"语音 Agent 和文本 Agent 的差别"。要点:核心 LLM 决策相同,差别在输入输出通道(ASR/TTS)与实时性要求(低延迟、打断)。
5.5 Agent 协议生态演进
为什么需要它:前面学了 MCP(阶段 3)。工具如何被标准化发现和调用、智能体之间如何通信,正在形成协议生态,了解即可。
核心机制:
- MCP:标准化工具/资源的暴露与发现(已学)。
- A2A(Agent-to-Agent):不同厂商 Agent 之间的通信协议,让一个 Agent 能委托另一个 Agent 完成任务。
- 趋势:工具生态从"每个应用自己对接"走向"标准化协议即插即用"。
- 应用工程师只需理解:协议层让工具和 Agent 可复用,不必关心具体实现。
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 盲目追新协议 | 业务不需要 | 按实际对接需求选,不为概念引入 |
面试考法:问"MCP 解决什么问题"。要点:工具暴露与发现的标准化,让任意 Agent 客户端接任意工具服务器,生态可复用;A2A 进一步解决 Agent 间通信。
5.6 选型与学习路径建议
为什么需要它:方向多、迭代快,关键是知道自己该补什么,而不是全都学。
核心机制:
- 按招聘要求倒推:岗位 JD 写"本地部署"补自托管;写"多模态"补视觉;写"客服"补语音。
- 应用工程师的护城河是工程化(RAG、Agent、评测、部署),不是模型训练。
- 新技术先看官方文档与权威资料(见《官方文档与权威资料索引》),不要被营销稿带偏。
六、分层练习
6.1 复现型(每个方向选做)
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 本地起 Ollama | 一行命令起一个 7B 模型 | 能通过 OpenAI 兼容接口调用 | 1 小时 |
| 写微调决策流程 | 列 Prompt/RAG/微调的选择条件 | 给需求能选对 | 1 小时 |
| 多模态图片问答 | 用多模态模型描述一张图 | 正确识别图中内容 | 1.5 小时 |
| 画语音链路图 | 画出 ASR→LLM→TTS | 标注关键指标 | 0.5 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 云端切本地模型 | 改 base_url 指向本地 | 同一套代码跑通本地模型 | 1.5 小时 |
| 把"该微调"改成"该 RAG" | 给定一个误判场景 | 说明知识更新不该微调 | 1 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 混合架构选型 | 给一个企业需求,设计本地+云端路由 | 说清什么走本地、什么上云 | 3 小时 |
| 岗位能力对照 | 按目标 JD 列要补的方向 | 有优先级,不贪多 | 2 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| 本地模型能力不够 | 模型太小 | 看任务复杂度 | 复杂任务路由到云端大模型 |
| 显存不足 | 模型太大没量化 | 看显存占用 | INT4 量化或换小模型 |
| 一上来就微调 | 没先试 Prompt/RAG | 走决策流程 | 优先低成本方案 |
| 纯文本用多模态模型 | 没必要 | 看输入类型 | 纯文本走文本模型降本 |
| 语音延迟高 | ASR/TTS 串行 | 测端到端延迟 | 流式处理 |
八、出口条件
全部勾选后,本学习路径核心阶段即完成。本页为可选,不要求每项都精通。
- [ ] 能说清自托管推理与云端 API 的适用场景
- [ ] 能按 Prompt/RAG/微调的优先级判断一个需求该用什么
- [ ] 能描述多模态与语音 Agent 的基本数据流
- [ ] 能说出 MCP 协议生态解决的问题
- [ ] 能按目标岗位 JD 选出要补的方向,不盲目追新
- [ ] 能把一个本地推理服务(如 Ollama)通过 OpenAI 兼容接口接入现有应用,仅改 base_url 就让同一套请求代码跑通
- [ ] 能给一个具体业务需求写出 Prompt/RAG/微调三选一的决策理由,并说清所选方案在知识更新与迭代成本上的代价
自测题(先自己想,再看要点):
- 什么时候该自托管模型,什么时候用云端 API?
- 要点:数据不能出域、高频简单任务走本地;复杂任务、能力要求高走云端;本地推理用 OpenAI 兼容接口,代码可平滑切换。
- 微调、RAG、Prompt 三者怎么选?
- 要点:知识更新用 RAG,格式风格用 Prompt/few-shot,领域数据量大且稳定才微调;微调不擅长存频繁更新的知识。
- 语音 Agent 比文本 Agent 多了哪些环节?
- 要点:ASR(语音转文字)与 TTS(文字转语音),以及实时性要求(低延迟、打断检测);核心 LLM 决策逻辑相同。
- 多模态模型什么时候才该用?
- 要点:任务真需要看图/读扫描件/理解界面时;纯文本任务用文本模型更便宜更快。
- 应用工程师为什么不必精通模型训练?
- 要点:岗位护城河是 RAG、Agent、评测、部署等工程化能力;训练是另一工种,应用工程师只需能判断边界与对接。