罗罗编程学习记录
本页内容 展开查看

10.5.1 LLM 工程化

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化

这个知识域解决什么问题

模型接入业务后,工程侧要回答:要不要改模型、怎么把模型跑稳跑便宜、上线前如何证明质量达标、线上如何控成本与限流、风险与合规如何守住。本知识域按「适配对齐 → 推理部署 → 评测门禁 → 成本路由 → 安全风控」组织完整工程链路。

知识地图

任务需求
  → 1 微调与对齐(SFT/LoRA/DPO 取舍与数据构造)
  → 2 推理优化与部署(量化/批处理/KV Cache/推理框架)
  → 3 评估体系与离线评测(数据集/指标/回归门禁)
  → 4 成本、限流与多模型路由(缓存/路由/降级/配额)
  → 5 安全、合规与内容风控(注入防护/PII/审计)

子主题

编号 子主题 核心内容 题数
10.5.1.1 微调与对齐 微调 vs RAG/Prompt 取舍、SFT 样本构造、LoRA/QLoRA、DPO/RLHF 偏好对齐、数据质量与遗忘守护 18
10.5.1.2 推理优化与部署 瓶颈分段、量化、KV Cache 复用、连续批处理、PagedAttention、投机解码、推理框架与压测 18
10.5.1.3 评估体系与离线评测 评测集分层构造、任务指标、人工 rubric、LLM-as-judge 偏差、版本回归与质量门禁 18
10.5.1.4 成本、限流与多模型路由 token 成本拆解、前缀/语义缓存、模型分级路由、降级链路、限流配额、吞吐成本监控 18
10.5.1.5 安全、合规与内容风控 输入输出双层过滤、直接/间接注入、工具最小权限、PII 脱敏、留存审计与合规边界 18

合计 90 题。 每题按「一句话结论 → 概念解释 → 原理流程 → 代码/图示 → 常见误区 → 追问(带答案)」组织;模型能力、价格、上下文长度、量化位宽与框架能力均以官方文档/当前版本为准,不编造固定数值。

学习路径

先 1 判断是否需要适配并会构造数据,再 2 掌握部署侧显存与吞吐优化,然后 3 用离线评测守住发布质量,4 在线上做成本、路由与限流治理,最后 5 覆盖安全、隐私与审计合规。

自检

  • [ ] 能对比全参微调、LoRA、QLoRA 与 DPO/RLHF 的适用场景和代价
  • [ ] 能解释量化、KV Cache、连续批处理与投机解码分别优化的瓶颈
  • [ ] 能构造分层评测集并定义任务指标与门禁阈值,识别 LLM-as-judge 偏差
  • [ ] 能设计缓存、分级路由与降级限流策略,并说明成本观测口径
  • [ ] 能说明提示注入攻击方式、工具权限控制与 PII/审计合规要求