罗罗编程学习记录
本页内容 展开查看

06.9 阶段 8:进阶方向(可选)

所属:全栈开发面试题库 / 学习路径 / 06 AI Agent

在以上阶段完成后,按岗位需要拓展:自托管推理服务与模型部署简述、微调与领域适配的适用边界、多模态 Agent、语音 Agent、Agent 协议生态演进。这一部分对应题库第 10 分册进阶题目与第 12 分册新技术观察,不要求初学者一次性掌握。

本页目录

一、阶段定位

这是可选阶段,不是上岗必需项。前面七个阶段已经覆盖"接入 API、RAG、Agent、工程化、安全评测"的完整链路,足以应对大多数 AI 应用开发岗位。本阶段按岗位方向选择性拓展:如果岗位要求本地部署,补自托管推理;如果要求多模态或语音,补对应方向;如果要求模型适配,补微调边界。

为什么放在最后:这些方向要么涉及模型训练/部署(超出应用开发范畴),要么是细分领域(语音、视觉),学习成本高且岗位相关性差异大。建议先把前面七阶段练扎实,再按招聘要求挑一两个方向深入,不要贪多。

与前后阶段的衔接:往上接 阶段 7 安全与生产落地,那时你的应用已经能上生产;本阶段是在"用云端 API"之外的备选——数据不能出域时自托管、领域知识用 RAG 不够时考虑微调、交互形式要扩展到语音视觉时加多模态。每一节都讲清"什么时候该用、什么时候不该用",避免过度工程。

本阶段的判断依据:

  • 自托管 vs 云端 API:判断标准是数据能否出域、成本是否敏感。数据敏感、高频简单任务走本地;复杂任务仍上云。
  • 微调 vs RAG vs Prompt:判断标准是知识更新频率与风格适配。频繁更新的私有知识用 RAG,固定风格/格式用 Prompt 微调,领域数据量大且稳定才考虑微调。
  • 多模态/语音是否必需:判断标准是任务是否真的需要图片/语音输入,纯文本任务不要为概念上多模态。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能说清自托管推理的适用场景与主要组件 列出 vLLM/Ollama 的适用区别
能判断何时该微调、何时该用 RAG 或 Prompt 给一个需求选对方案并说明理由
能描述多模态与语音 Agent 的基本链路 画出 ASR→模型→TTS 的数据流
能说出 MCP 协议生态解决的问题 解释为什么需要标准化工具协议

建议学时:

  • 本阶段按方向选修,不需要全部学完。每个方向 8–12 小时即可建立认知,不要求上手生产部署。
  • 在职:每个方向利用业余时间 1–2 周了解即可。
  • 重点:判断"什么时候该用什么方案",而不是精通部署细节。

学时分配:按岗位方向选 1–2 个深入;其余方向建立概念认知即可。不要把五个方向全学一遍。

三、先修自检

先修项 合格标准 不合格时回到
完整 AI 应用链路 已跑通 RAG + Agent + 服务化 06.5 RAG 起补齐
成本结构 知道云端 API 计费方式 06.2 阶段 1
部署基础 会基本命令行与服务运行 06.1 阶段 0

经验判断:自托管和微调涉及 GPU、模型权重、训练框架,与"应用开发"是不同工种;应用工程师只需能判断边界、能对接,不必成为训练专家。

四、知识地图

模块 知识点 掌握程度 对应题库章节
自托管推理 vLLM、Ollama、量化、GPU 资源 了解 10.5 LLM 工程化
微调边界 SFT、LoRA、与 RAG/Prompt 的取舍 了解 10.1 LLM 基础
多模态 Agent 视觉输入、图文理解、多模态模型 了解 10 AI 应用开发
语音 Agent ASR、TTS、实时对话、打断 了解 10 AI 应用开发
协议生态 MCP、A2A、标准化工具与智能体通信 了解 10.4 Agent 架构

进度管理建议:本页全部为"了解"档,不要求"能讲清原理"。具体新技术观察另见第 12 分册与《官方文档与权威资料索引》。

五、分模块精讲

5.1 自托管推理服务与模型部署

为什么需要它:云端 API 方便,但数据不能出域、或高频简单任务长期成本高时,需要本地部署开源模型。

核心机制:

  • 推理框架:vLLM(生产高吞吐,PagedAttention)、Ollama(本地开发友好,一行命令起模型)。
  • 量化:把模型权重从 FP16 压到 INT8/INT4,降低显存占用,代价是精度略降。
  • 模型选择:7B/14B 小模型适合本地,能力有限;大模型本地部署需要多卡 GPU。
  • 适用场景:敏感数据不出内网、高频简单任务走本地降本;复杂任务仍可路由到云端大模型兜底。
  • 与应用开发的关系:应用层用 OpenAI 兼容接口调用,本地推理服务同样暴露 /v1/chat/completions,代码几乎不用改。

最小可运行示例:

# Ollama 本地起一个模型(开发体验)
# ollama run qwen2.5:7b
# 它会暴露 http://localhost:11434/v1/chat/completions
# 应用层把 base_url 指向本地即可,请求格式与云端一致

常见坑:

现象 原因 修法
本地小模型能力不够 选了太小的模型 复杂任务路由到云端大模型
显存不够 模型太大没量化 用 INT4 量化或换小模型

面试考法:问"什么时候用云端 API,什么时候自托管"。要点:数据合规要求、成本与频率、能力要求;自托管用 OpenAI 兼容接口,应用代码可平滑切换。

5.2 微调与领域适配的适用边界

为什么需要它:不是所有"模型不懂我的领域"都该微调。微调成本高、迭代慢,多数场景 RAG 或 Prompt 就够。

核心机制:

  • 微调(SFT/LoRA):用领域数据继续训练模型,改变模型行为与风格。LoRA 只训少量参数,成本较低。
  • 取舍优先级:
    1. 先调 Prompt 与 few-shot。
    2. 知识更新用 RAG(检索最新文档)。
    3. 固定输出格式/风格用 Prompt 工程。
    4. 领域数据量大、稳定、且前三种都不够,才考虑微调。
  • 微调的代价:需要标注数据、训练与评测流程、模型版本管理;知识更新时要重训。

最小可运行示例:

# 决策流程(伪代码)
如果问题是"缺最新知识"      -> RAG
如果问题是"输出格式不稳定"    -> Prompt + JSON Schema
如果问题是"风格/语气不对"     -> few-shot 示例
如果问题是"领域术语理解差且数据量大稳定" -> 才考虑微调

常见坑:

现象 原因 修法
一上来就微调 没先试 Prompt/RAG 按优先级先试低成本方案
知识更新了微调模型还是旧的 微调不擅长存新知识 知识用 RAG,微调只管风格

面试考法:问"微调、RAG、Prompt 怎么选"。要点:知识更新用 RAG,格式风格用 Prompt,领域数据量大且稳定才微调;微调不擅长存储频繁更新的知识。

5.3 多模态 Agent

为什么需要它:任务需要看图片、读文档扫描件、理解界面截图时,纯文本模型不够,需要多模态模型。

核心机制:

  • 多模态模型:接受图片/视频输入,输出文本。常见方式是把图片转成 URL 或 base64 放进 messages。
  • 典型链路:用户上传截图 → 多模态模型理解内容 → 决定调用工具或回答。
  • 适用:图文问答、OCR 辅助、界面理解、视觉问答;纯文本任务不必用。

最小可运行示例:

# multimodal.py:图片放进 messages(OpenAI 兼容格式)
payload = {
    "model": "gpt-4o-mini",
    "messages": [{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张图里有什么?"},
            {"type": "image_url", "image_url": {"url": "https://example.com/a.jpg"}},
        ],
    }],
}

常见坑:

现象 原因 修法
纯文本任务用多模态模型 成本高 纯文本走文本模型
图片过大导致超时 没压缩 压缩或用低分辨率

面试考法:问"什么时候该用多模态模型"。要点:任务真需要看图/读扫描件/理解界面时用;纯文本任务用文本模型更便宜更快。

5.4 语音 Agent

为什么需要它:客服、语音助手场景需要实时语音对话,不是文本一来一回。

核心机制:

  • 链路:语音输入 → ASR(语音转文字)→ LLM 处理 → TTS(文字转语音)→ 语音输出。
  • 实时对话:需要低延迟、支持打断(用户说话时停止播放)、流式 ASR/TTS。
  • 与文本 Agent 的区别:核心 LLM 决策逻辑相同,只是输入输出换成了语音通道。

最小可运行示例:

语音链路(概念)
麦克风 → ASR 流式转写 → 文本 messages → LLM → 文本回复 → TTS 合成 → 扬声器
关键指标:端到端延迟、打断响应、识别准确率

常见坑:

现象 原因 修法
端到端延迟高 ASR+LLM+TTS 串行 流式处理,边识别边生成
用户插话时机器人不停 没做打断检测 VAD 检测人声,停止 TTS

面试考法:问"语音 Agent 和文本 Agent 的差别"。要点:核心 LLM 决策相同,差别在输入输出通道(ASR/TTS)与实时性要求(低延迟、打断)。

5.5 Agent 协议生态演进

为什么需要它:前面学了 MCP(阶段 3)。工具如何被标准化发现和调用、智能体之间如何通信,正在形成协议生态,了解即可。

核心机制:

  • MCP:标准化工具/资源的暴露与发现(已学)。
  • A2A(Agent-to-Agent):不同厂商 Agent 之间的通信协议,让一个 Agent 能委托另一个 Agent 完成任务。
  • 趋势:工具生态从"每个应用自己对接"走向"标准化协议即插即用"。
  • 应用工程师只需理解:协议层让工具和 Agent 可复用,不必关心具体实现。

常见坑:

现象 原因 修法
盲目追新协议 业务不需要 按实际对接需求选,不为概念引入

面试考法:问"MCP 解决什么问题"。要点:工具暴露与发现的标准化,让任意 Agent 客户端接任意工具服务器,生态可复用;A2A 进一步解决 Agent 间通信。

5.6 选型与学习路径建议

为什么需要它:方向多、迭代快,关键是知道自己该补什么,而不是全都学。

核心机制:

  • 按招聘要求倒推:岗位 JD 写"本地部署"补自托管;写"多模态"补视觉;写"客服"补语音。
  • 应用工程师的护城河是工程化(RAG、Agent、评测、部署),不是模型训练。
  • 新技术先看官方文档与权威资料(见《官方文档与权威资料索引》),不要被营销稿带偏。

六、分层练习

6.1 复现型(每个方向选做)

练习 要求 验收标准 预计耗时
本地起 Ollama 一行命令起一个 7B 模型 能通过 OpenAI 兼容接口调用 1 小时
写微调决策流程 列 Prompt/RAG/微调的选择条件 给需求能选对 1 小时
多模态图片问答 用多模态模型描述一张图 正确识别图中内容 1.5 小时
画语音链路图 画出 ASR→LLM→TTS 标注关键指标 0.5 小时

6.2 改造型

练习 要求 验收标准 预计耗时
云端切本地模型 改 base_url 指向本地 同一套代码跑通本地模型 1.5 小时
把"该微调"改成"该 RAG" 给定一个误判场景 说明知识更新不该微调 1 小时

6.3 设计型

练习 要求 验收标准 预计耗时
混合架构选型 给一个企业需求,设计本地+云端路由 说清什么走本地、什么上云 3 小时
岗位能力对照 按目标 JD 列要补的方向 有优先级,不贪多 2 小时

七、排障表

现象 可能原因 排查步骤 解决办法
本地模型能力不够 模型太小 看任务复杂度 复杂任务路由到云端大模型
显存不足 模型太大没量化 看显存占用 INT4 量化或换小模型
一上来就微调 没先试 Prompt/RAG 走决策流程 优先低成本方案
纯文本用多模态模型 没必要 看输入类型 纯文本走文本模型降本
语音延迟高 ASR/TTS 串行 测端到端延迟 流式处理

八、出口条件

全部勾选后,本学习路径核心阶段即完成。本页为可选,不要求每项都精通。

  • [ ] 能说清自托管推理与云端 API 的适用场景
  • [ ] 能按 Prompt/RAG/微调的优先级判断一个需求该用什么
  • [ ] 能描述多模态与语音 Agent 的基本数据流
  • [ ] 能说出 MCP 协议生态解决的问题
  • [ ] 能按目标岗位 JD 选出要补的方向,不盲目追新
  • [ ] 能把一个本地推理服务(如 Ollama)通过 OpenAI 兼容接口接入现有应用,仅改 base_url 就让同一套请求代码跑通
  • [ ] 能给一个具体业务需求写出 Prompt/RAG/微调三选一的决策理由,并说清所选方案在知识更新与迭代成本上的代价

自测题(先自己想,再看要点):

  1. 什么时候该自托管模型,什么时候用云端 API?
    • 要点:数据不能出域、高频简单任务走本地;复杂任务、能力要求高走云端;本地推理用 OpenAI 兼容接口,代码可平滑切换。
  2. 微调、RAG、Prompt 三者怎么选?
    • 要点:知识更新用 RAG,格式风格用 Prompt/few-shot,领域数据量大且稳定才微调;微调不擅长存频繁更新的知识。
  3. 语音 Agent 比文本 Agent 多了哪些环节?
    • 要点:ASR(语音转文字)与 TTS(文字转语音),以及实时性要求(低延迟、打断检测);核心 LLM 决策逻辑相同。
  4. 多模态模型什么时候才该用?
    • 要点:任务真需要看图/读扫描件/理解界面时;纯文本任务用文本模型更便宜更快。
  5. 应用工程师为什么不必精通模型训练?
    • 要点:岗位护城河是 RAG、Agent、评测、部署等工程化能力;训练是另一工种,应用工程师只需能判断边界与对接。