罗罗编程学习记录
本页内容 展开查看

10.8.5 本地化部署与隐私合规

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化

覆盖范围

  • 本地化部署的驱动因素(隐私、成本、离线)
  • 本地化部署方案选型(Ollama/llama.cpp/vLLM)
  • 数据不出域的架构设计
  • 合规要求(数据安全法、个人信息保护法)
  • 私有化部署 vs 云 API 的取舍
  • 本地化部署的运维挑战

高频题速览

编号 题目 难度 频率
10.8.5-001 为什么要本地化部署? 基础 ★★★★
10.8.5-002 本地化部署有哪些方案? 基础 ★★★★
10.8.5-003 数据不出域怎么设计? 进阶 ★★★★
10.8.5-004 私有化部署和云 API 怎么选? 基础 ★★★★
10.8.5-005 本地化部署有哪些合规要求? 进阶 ★★★
10.8.5-006 本地化部署的运维挑战? 进阶 ★★★
10.8.5-007 敏感数据怎么处理? 进阶 ★★★
10.8.5-008 端侧部署(手机/边缘)有什么不同? 高级 ★★★

10.8.5-001 为什么要本地化部署?

频率 ★★★★ | 难度 基础

一句话结论

本地化部署的核心驱动:隐私合规(数据不出企业)、成本控制(长期大量调用成本更低)、离线可用(无网络环境)、定制化(可微调、可改造);金融、医疗、政务等行业是刚需。

概念解释

  • 隐私合规:敏感数据不能发送到外部 API,必须本地处理。
  • 成本:大量调用时,自建 GPU 的单位成本可能低于云 API。
  • 离线:内网环境、无外网访问的场景。
  • 定制化:可以微调模型、改造推理流程、集成内部系统。

原理流程

  1. 业务场景涉及敏感数据(客户信息、商业机密)。
  2. 数据不能出域,云 API 不可用。
  3. 选择本地化部署方案。
  4. 部署模型在企业内网,数据不出企业。

代码 / 示例

本地化部署的典型场景:
  - 金融: 客户交易数据、风控模型
  - 医疗: 病历、诊断数据
  - 政务: 内部公文、敏感信息
  - 法律: 案件资料、合同
  - 企业: 内部代码、商业文档

驱动因素:
  1. 合规要求 (数据安全法/个保法)
  2. 成本 (长期大量调用)
  3. 离线可用
  4. 定制化需求

常见误区

  • 误区:本地化部署一定比云 API 便宜;正解:初期投入大(GPU 采购、运维),只有调用量足够大时才划算。
  • 误区:本地化部署就是把模型下载到本地;正解:本地化部署是一套完整方案,包括模型、推理引擎、API 层、监控、运维。

追问

  • Q:怎么算本地化 vs 云 API 的成本? A:云 API 按 token 计费,量大时成本线性增长;本地化是固定成本(GPU + 运维),量大时单位成本更低。
  • Q:哪些行业必须本地化? A:金融、医疗、政务、军工等受监管行业,数据不能出境或出域。

10.8.5-002 本地化部署有哪些方案?

频率 ★★★★ | 难度 基础

一句话结论

本地化部署方案按复杂度和性能分层:个人/开发用 Ollama(一键启动),中小团队用 llama.cpp(轻量),生产级用 vLLM(高并发),极致性能用 TensorRT-LLM;按硬件选 CPU/GPU 方案。

概念解释

  • Ollama:一键安装,适合开发测试和小团队。
  • llama.cpp:纯 C++,轻量,适合 CPU 和边缘设备。
  • vLLM:生产级,高并发,适合有 GPU 的企业部署。
  • TensorRT-LLM:极致性能,适合大规模生产。

原理流程

  1. 确定场景:开发测试还是生产。
  2. 确定硬件:有 GPU 还是只有 CPU。
  3. 确定并发量:小团队还是高并发。
  4. 选对应方案。

代码 / 示例

本地化部署方案选型:

场景                          推荐方案
----------------------------  ----------------
个人开发/快速原型              Ollama
CPU/低资源服务器               llama.cpp
中小团队 GPU 部署              vLLM
大规模生产 GPU                vLLM 或 TensorRT-LLM
边缘设备/嵌入式                llama.cpp (GGUF)
Mac M 系列本地                 Ollama

常见误区

  • 误区:本地化部署一定要 GPU;正解:小模型(7B 量化后)在 CPU 上也能跑,只是速度慢,适合低并发场景。
  • 误区:Ollama 不能生产用;正解:Ollama 可以用于中小规模生产,但高并发场景性能不如 vLLM。

追问

  • Q:怎么部署多个模型? A:Ollama 可以同时管理多个模型,按需加载;vLLM 每个实例一个模型,多模型需要多实例。
  • Q:本地化部署怎么做 API 网关? A:前面加一层 Nginx/网关,统一暴露 OpenAI 兼容 API,做鉴权、限流、日志。

10.8.5-003 数据不出域怎么设计?

频率 ★★★★ | 难度 进阶

一句话结论

数据不出域的核心架构:模型和推理服务部署在企业内网,所有数据流转都在内部网络完成;不调用外部 API,不向外部发送任何数据;对外只暴露内部 API。

概念解释

  • 内网部署:模型、推理服务、数据库都在企业内网。
  • 无外部调用:不调用 OpenAI、Claude 等外部 API。
  • 数据闭环:数据采集、处理、推理、存储都在内部。
  • 审计日志:所有请求和响应都记录审计日志。

原理流程

  1. 模型部署在内网 GPU 服务器。
  2. 应用通过内网 API 调用推理服务。
  3. 数据在企业内网流转,不出域。
  4. 所有操作记录审计日志。
  5. 对外不暴露任何端口。

代码 / 示例

数据不出域架构:

  应用层 (内网)
    ↓
  API 网关 (内网, 鉴权/限流)
    ↓
  推理服务 (内网 GPU, vLLM/Ollama)
    ↓
  模型文件 (内网存储)
    ↓
  向量库/知识库 (内网)

  禁止:
    - 调用外部 LLM API
    - 模型文件外传
    - 日志外传

常见误区

  • 误区:数据不出域就是不能联网;正解:是不能把数据发到外部,内部可以有网络访问(如更新模型、下载依赖),但要走审批。
  • 误区:用了外部模型就不合规;正解:如果外部模型做了数据脱敏和审批,某些场景也可以,但风险高。

追问

  • Q:怎么验证数据真的不出域? A:网络审计、流量监控,确保推理服务器没有对外出站连接(除了运维需要的白名单)。
  • Q:需要更新模型怎么办? A:走审批流程,在隔离环境更新模型,验证后再上线,不能直接从外网拉取。

10.8.5-004 私有化部署和云 API 怎么选?

频率 ★★★★ | 难度 基础

一句话结论

数据敏感、调用量大、需要定制化选私有化;数据不敏感、调用量小、快速上线选云 API;两者不是二选一,可以混合用(敏感数据走私有化,通用请求走云 API)。

概念解释

  • 私有化:数据在自己服务器,可控性强,成本固定。
  • 云 API:快速接入,按量付费,成本随用量增长。
  • 混合模式:按数据敏感度和场景分流。
  • 选择依据:合规要求、成本、定制化需求、上线时间。

原理流程

  1. 看合规:敏感数据必须私有化。
  2. 看成本:量大选私有化,量小选云 API。
  3. 看定制化:需要微调、特殊功能选私有化。
  4. 看上线时间:快速验证选云 API,长期方案选私有化。

代码 / 示例

私有化 vs 云 API 对比:

维度          私有化部署              云 API
------------  --------------------    ----------------
数据安全      数据不出域, 可控       数据发送到外部
成本          固定成本, 量大划算     按量付费, 量小划算
上线速度      慢 (采购/部署/运维)    快 (API 调用即可)
定制化        可微调, 可改造        只能调 prompt
运维          需要自己运维           服务商负责
性能          自己控制, 可优化       受服务商限制

常见误区

  • 误区:私有化一定比云 API 便宜;正解:初期投入大(GPU 采购、运维团队),只有月调用量很大时才划算。
  • 误区:云 API 数据不安全;正解:主流云厂商有严格的数据保护和合规认证,对非敏感数据是安全的。

追问

  • Q:怎么从云 API 迁移到私有化? A:通过 OpenAI 兼容 API 抽象,业务代码不改,只换 base_url,平滑迁移。
  • Q:混合模式怎么设计? A:API 网关按数据敏感度路由——敏感请求走私有化模型,非敏感走云 API,用户无感知。

10.8.5-005 本地化部署有哪些合规要求?

频率 ★★★ | 难度 进阶

一句话结论

本地化部署的合规要求主要来自:数据安全法(数据分类分级)、个人信息保护法(PII 处理)、网络安全法(等保)、以及行业监管规定(金融/医疗特定要求);核心是数据全生命周期可管可控。

概念解释

  • 数据安全法:数据分类分级,重要数据保护。
  • 个人信息保护法:PII 收集、存储、使用的合规。
  • 网络安全法:等保要求,系统安全防护。
  • 行业监管:金融(央行/银保监)、医疗(卫健委)、政务(等保三级)。

原理流程

  1. 数据分类分级:哪些是敏感数据,哪些是重要数据。
  2. 访问控制:谁能访问,怎么访问。
  3. 审计日志:所有操作可追溯。
  4. 数据加密:存储和传输加密。
  5. 合规审查:定期审计,满足监管要求。

代码 / 示例

本地化部署合规清单:
  [ ] 数据分类分级完成
  [ ] PII 数据脱敏或加密
  [ ] 访问控制 (RBAC, 最小权限)
  [ ] 审计日志 (所有请求/响应记录)
  [ ] 数据加密 (存储加密, 传输 TLS)
  [ ] 等保测评 (按行业要求)
  [ ] 数据留存策略 (多久后删除)
  [ ] 模型输出安全审核 (防止生成违规内容)

常见误区

  • 误区:本地化部署就自动合规了;正解:本地化只是部署方式,还要满足数据安全、访问控制、审计等合规要求。
  • 误区:合规是法务的事,技术不用管;正解:技术架构要满足合规要求,如数据加密、访问控制、审计日志。

追问

  • Q:等保是什么? A:网络安全等级保护,中国的网络安全合规要求,分五级,三级以上要求严格。
  • Q:模型输出要合规吗? A:是的,模型生成的内容也要符合内容合规要求(不生成违法违规内容),需要加输出审核。

10.8.5-006 本地化部署的运维挑战?

频率 ★★★ | 难度 进阶

一句话结论

本地化部署的运维挑战:GPU 硬件维护、模型版本管理、监控告警、扩容升级、故障排查;相比云 API"服务商负责一切",本地化需要自己有运维能力。

概念解释

  • 硬件维护:GPU 服务器采购、保养、故障更换。
  • 模型管理:模型版本、更新、回滚。
  • 监控:GPU 利用率、显存、延迟、错误率。
  • 扩容:业务增长时怎么加 GPU、加实例。

原理流程

  1. 硬件:采购 GPU 服务器,机房托管。
  2. 模型:模型文件版本管理,更新流程。
  3. 监控:部署 Prometheus/Grafana 监控 GPU 和服务。
  4. 告警:显存不足、延迟升高、错误率上升时告警。
  5. 故障排查:GPU 故障、OOM、服务崩溃。

代码 / 示例

本地化运维清单:
  - GPU 监控: 利用率, 显存, 温度, 功耗
  - 服务监控: QPS, 延迟, 错误率
  - 模型管理: 版本号, 更新记录, 回滚方案
  - 日志: 请求日志, 错误日志, 审计日志
  - 备份: 模型文件备份, 配置备份
  - 容灾: 主备节点, 故障切换

常见误区

  • 误区:部署完就不用管了;正解:本地化部署需要持续运维,GPU 会坏、模型要更新、服务要监控。
  • 误区:运维成本很低;正解:一个 GPU 服务器的年运维成本(电费、机房、人力)可能占硬件成本的 20%~30%。

追问

  • Q:怎么降低运维复杂度? A:用容器化(Docker)、用编排工具(K8s)、用开源监控(Prometheus),减少手动操作。
  • Q:没有运维团队怎么办? A:选托管式私有化方案(如云厂商提供的私有化部署),或用云 API 过渡。

10.8.5-007 敏感数据怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

敏感数据处理:输入前脱敏(PII 替换)、推理时隔离(不出域)、输出后审核(防止泄露)、存储加密(数据库加密);核心是最小化数据暴露面。

概念解释

  • 输入脱敏:姓名、身份证、手机号等 PII 替换为占位符。
  • 推理隔离:数据只在本地推理,不外发。
  • 输出审核:检查模型输出是否泄露敏感信息。
  • 存储加密:日志和数据库中的敏感数据加密存储。

原理流程

  1. 输入:识别 PII,替换为占位符(如 [姓名]、[手机])。
  2. 推理:脱敏后的 prompt 送入模型,模型不知道真实 PII。
  3. 输出:检查输出是否包含敏感信息。
  4. 存储:日志和数据库加密,访问需审批。

代码 / 示例

敏感数据处理流程:
  用户输入: "张三的手机号是 13800138000"
    ↓ PII 识别与脱敏
  脱敏后: "[姓名]的手机号是[手机号]"
    ↓ 送入模型推理
  模型输出: "[姓名]的联系方式已记录"
    ↓ 输出审核 (无泄露)
  返回用户 (或替换回真实值, 仅在用户端显示)

常见误区

  • 误区:模型不会泄露数据;正解:模型可能通过 prompt 注入或上下文泄露训练数据或输入数据。
  • 误区:脱敏后就安全了;正解:脱敏要彻底,不能只替换明显的 PII,还要注意间接标识(如出生日期+性别可能识别个人)。

追问

  • Q:怎么识别 PII? A:用 NER 模型或规则识别姓名、身份证、手机号、地址等,再替换为占位符。
  • Q:模型训练数据会不会有敏感数据? A:公开模型的训练数据可能包含从网上爬取的 PII,需要评估和清洗,或用自己的数据微调。

10.8.5-008 端侧部署(手机/边缘)有什么不同?

频率 ★★★ | 难度 高级

一句话结论

端侧部署在手机/边缘设备上运行模型,受限于内存、算力、电池;需要小模型(1B~7B)、极致量化(4bit/3bit)、优化推理引擎;优势是隐私(数据不出设备)、离线可用、零服务器成本。

概念解释

  • 端侧模型:1B~7B 小模型,量化到 4bit 以下。
  • 内存限制:手机内存有限,模型 + 系统 + App 不能超。
  • 算力限制:手机 NPU/GPU 算力远低于数据中心 GPU。
  • 功耗:推理耗电,影响续航。
  • 隐私优势:数据在设备上,不上传。

原理流程

  1. 选小模型(1B~3B)。
  2. 极致量化(4bit 甚至 3bit)。
  3. 用移动端推理引擎(llama.cpp、MLC、MNN)。
  4. 优化模型加载和推理速度。
  5. 控制功耗和发热。

代码 / 示例

端侧部署特点:
  模型大小: 1B~3B, 量化到 4bit
  模型体积: 0.5~2 GB
  内存占用: 1~3 GB
  推理速度: 5~20 token/s (手机 NPU)
  功耗: 推理时耗电明显

适用场景:
  - 离线助手
  - 隐私敏感场景
  - 低延迟 (无网络)

常见误区

  • 误区:端侧跑 7B 模型没问题;正解:手机内存和算力有限,7B 4bit 模型约 4GB,加上系统和其他 App,内存紧张。
  • 误区:端侧部署就是缩小模型;正解:还需要优化推理引擎、模型结构、量化方案,才能在端侧跑得动。

追问

  • Q:端侧和云端怎么结合? A:简单任务端侧处理,复杂任务云端处理,端云协同,平衡隐私和能力。
  • Q:端侧模型有哪些? A:Qwen、Phi、Gemma 等都有小尺寸版本,专门优化端侧部署。

待整理清单

  • [ ] 私有化部署的网络架构设计
  • [ ] 模型更新与版本管理流程
  • [ ] 安全审计与渗透测试
  • [ ] 容灾与高可用方案
  • [ ] 端侧部署的模型压缩技术