罗罗编程学习记录
本页内容 展开查看

10.1.1.4 模型选型与能力边界

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础 / 10.1.1 模型与推理基础

10.1.1.4-001 模型选型时要评估哪些维度?

一句话结论

选型至少覆盖任务能力、延迟、上下文长度、成本、合规与数据边界、工具调用/结构化输出能力、可用性与供应商锁定风险;最终按业务权重在候选模型间对照打分,而不是只看排行榜名次。

概念解释

  • 能力:通用与领域任务表现。
  • 工程:延迟、并发、上下文、输出格式支持。
  • 商务与合规:价格、数据使用、协议、可替换性。

原理流程

  1. 列出任务类型与硬性约束。
  2. 选 2~4 个候选模型。
  3. 用自有样本评测,按权重对照。
  4. 准备降级备选与切换预案。

代码 / 示例

评估表(示意): 能力 / 延迟 / 上下文 / 成本 / 合规 / 工具调用 / 稳定性
每个维度按业务权重打分, 不引入未验证的绝对排名结论

常见误区

  • 误区:排行榜第一就选它;正解:榜单任务与你的领域、格式、延迟要求未必一致,必须用自有样本验证。
  • 误区:选型只看单次回答效果;正解:成本、并发、合规与可迁移性同样决定长期可行性。

追问

  • Q:权重怎么定? A:按业务 SLA 定,例如客服场景延迟与稳定优先,分析场景能力优先;权重在需求阶段确认。
  • Q:什么时候需要多模型组合? A:不同子任务(抽取、推理、创意)各选适配模型,通过路由层分发,优于单模型硬扛全部场景。

10.1.1.4-002 闭源 API 与自托管开源模型如何取舍?

一句话结论

闭源 API 省运维、能力通常更强、接入快,但受供应商条款、数据出境与锁定约束;自托管可控数据、可定制、长期成本结构不同,但要承担 GPU 运维、推理优化与质量波动;取舍看数据敏感度、能力要求与团队运维能力。

概念解释

  • 闭源 API:按调用付费,能力由服务商维护。
  • 自托管:部署开源权重模型,硬件与运维自理。
  • 中间形态:私有云托管、专有部署实例等,条款以供应商为准。

原理流程

  1. 判断数据能否出域、合规要求多严。
  2. 评估自有样本上开源模型是否达标。
  3. 估算硬件、运维与推理优化成本。
  4. 决定主用形态与备选路径。

代码 / 图示

闭源 API: 接入快 / 能力强 / 数据走供应商 / 受条款约束
自托管:   数据可控 / 可微调 / 需 GPU 与运维 / 能力上限受权重限制

常见误区

  • 误区:自托管一定更便宜;正解:硬件、闲置率、运维与推理调优都要计入,低调用量下 API 可能更省。
  • 误区:开源模型能力永远落后一截;正解:差距因任务而异,垂直场景小模型加适配可能达标,必须实测。

追问

  • Q:敏感数据怎么选? A:先看合规要求与数据分类,能不出域优先自托管或私有部署;对外公开数据可评估闭源 API。
  • Q:混合架构可行吗? A:常见做法是敏感链路自托管,通用能力走 API,通过抽象层切换,避免单点绑定。

10.1.1.4-003 模型参数规模与能力、成本是什么关系?

一句话结论

通常更大规模模型在复杂推理、知识广度上表现更好,但推理算力、显存与成本更高;规模不是唯一决定因素,数据质量、对齐方式与任务匹配度同样关键;具体参数量、能力对比以官方文档与当前版本为准,不背固定数字。

概念解释

  • 参数规模:模型权重体量的标称指标。
  • 能力趋势:规模增大一般提升复杂任务表现,存在边际递减。
  • 成本:推理资源与延迟随规模上升。

原理流程

  1. 按任务复杂度分层候选规模。
  2. 用自有样本对比大小模型表现。
  3. 在达标前提下选最省资源的档位。

代码 / 图示

规模 ↑ → 复杂能力通常 ↑, 推理成本与延迟 ↑
规模 ↓ → 成本低, 简单任务可能已够用

常见误区

  • 误区:参数越大面试/生产越好;正解:简单分类、抽取任务小模型可能足够且更便宜更快。
  • 误区:规模数字能直接横向对比不同家族模型;正解:架构、训练数据与对齐不同,同参数量表现可以差异很大。

追问

  • Q:怎么判断任务是否需要大模型? A:先在小模型上跑评测集,不达标再升级;能用规则、小模型解决的不必上大模型。
  • Q:规模与上下文长度是一回事吗? A:不是,上下文能力由位置编码、训练长度与工程支持决定,选型时分开评估。

10.1.1.4-004 延迟敏感场景怎么选模型?

一句话结论

延迟敏感场景优先选响应快、首 token 稳定的档位,控制输入长度与输出长度,能用小模型/专用模型就不上大模型;同时看供应商的地域部署、并发保障与 SLA,而不仅看模型标称能力。

概念解释

  • 指标:TTFT、TPOT、端到端 P95/P99。
  • 约束:输入短、输出短、调用链同步还是异步。
  • 部署:就近接入、并发规格、限流策略。

原理流程

  1. 定 SLA:首 token 与总时长上限。
  2. 在真实输入长度下测候选延迟分布。
  3. 选达标模型并控制 prompt/输出预算。
  4. 准备超时降级路径。

代码 / 图示

同步场景: 输入短 + 输出短 + 快模型
异步场景: 可容忍较长推理, 优先能力
超时: 降级到小模型/规则/提示稍后重试

常见误区

  • 误区:只看平均延迟;正解:P95/P99 与排队抖动决定用户体验,高峰期表现必须压测。
  • 误区:模型快不快只看参数量;正解:部署规格、批处理策略、网络距离都影响实测延迟。

追问

  • Q:输出长度不可控怎么办? A:在提示中限定格式与长度,配合 max_tokens 与后处理截断;长答案场景改异步。
  • Q:API 延迟波动怎么兜底? A:设置超时与重试预算,准备降级模型或静态答案,避免链路无限等待。

10.1.1.4-005 成本口径:输入 token、输出 token、缓存命中分别怎么计费?

一句话结论

计费通常区分输入与输出 token(输出单价一般更高),部分供应商提供上下文缓存命中折扣;成本测算要按真实输入构成(含历史、系统提示、检索片段)与平均输出长度估算,具体单价与折扣以官方账单文档为准。

概念解释

  • 输入 token:每次请求发送的全部内容。
  • 输出 token:生成的回答与工具调用参数。
  • 缓存命中:重复前缀命中缓存时按折扣口径计费(如有)。

原理流程

  1. 统计单轮输入构成与平均输出长度。
  2. 按各口径单价估算单次成本。
  3. 乘以日调用量与轮次,得到月度预算。

代码 / 示例

单次成本 ≈ 输入 token × 输入单价 + 输出 token × 输出单价
缓存命中部分按供应商折扣口径另计
(单价、阈值、折扣规则以官方文档为准)

常见误区

  • 误区:成本只看回答字数;正解:多轮历史每轮重复发送,输入 token 常被低估。
  • 误区:缓存命中自动生效不用管;正解:前缀稳定性、缓存有效期与命中口径由机制决定,重复稳定前缀才容易命中。

追问

  • Q:怎么降输入成本? A:裁剪历史、压缩检索片段、复用稳定系统前缀、去掉重复上下文;优先压缩占比最大的部分。
  • Q:输出成本怎么控? A:限定回答长度与格式,避免冗长自由文本;让模型先给要点再按需展开。

10.1.1.4-006 上下文长度与选型是什么关系?

一句话结论

按单轮需要容纳的系统提示、历史、检索片段与输出预留选择上下文档位;宣称窗口还要结合有效长度、成本与延迟实测,不是越长越好——超用窗口会截断,长窗口也伴随更高成本。

概念解释

  • 窗口组成:输入 + 输出共享上限。
  • 有效长度:宣称长度内实际保持引用准确的范围,需实测。
  • 成本:长上下文占用更多 KV 与 prefill 算力。

原理流程

  1. 估算典型请求的输入预算与输出预留。
  2. 留余量选择窗口档位。
  3. 用长文档测试验证有效长度与引用准确性。

代码 / 图示

所需窗口 = 系统提示 + 历史 + 检索片段 + 输出预留 + 余量
不足 → 截断风险; 过大 → 成本与延迟上升

常见误区

  • 误区:窗口宣称多长就能放心塞多长;正解:有效注意力范围、位置外推与质量衰减要实测确认。
  • 误区:长窗口可以替代 RAG;正解:全量塞长文档既贵又可能中段遗漏,定位检索仍是主流方案。

追问

  • Q:窗口刚好够用怎么配? A:按峰值历史长度留余量,输出上限单独预留;超限走裁剪或摘要,不要贴边运行。
  • Q:长上下文模型成本一定更高吗? A:通常推理资源占用更大,具体价格以供应商档位为准,选型时一并比较。

10.1.1.4-007 合规与数据出境要考虑什么?

一句话结论

先明确业务数据的分类与合规要求:能否发送给外部 API、是否允许供应商用于训练、存储地域与保留期限、审计与删除条款;敏感链路优先可控部署,选型阶段把合同与数据处理条款作为硬性条件。

概念解释

  • 数据分类:公开、内部、敏感、个人信息等。
  • 条款:训练使用、留存期限、跨境传输、日志共享。
  • 部署形态:公有 API、专有实例、自托管。

原理流程

  1. 梳理进入 prompt 与输出的数据类型。
  2. 对照合规要求确定可出域范围。
  3. 核对供应商数据处理条款。
  4. 敏感链路选择可控部署并加脱敏。

代码 / 图示

数据分级 → 允许的处理形态 → 供应商条款核对 → 脱敏/隔离措施

常见误区

  • 误区:调用 API 不涉及合规问题;正解:prompt 中可能带个人信息、业务机密,发送前必须过数据分类与条款审查。
  • 误区:合同条款上线后再看;正解:数据使用与留存条款属于选型硬约束,后期补签成本高。

追问

  • Q:prompt 里能带个人信息吗? A:按业务合规要求脱敏或去标识化;必要时走私有部署,具体口径由合规与业务确认。
  • Q:供应商日志能关吗? A:能力与期限以合同文档为准,选型时确认日志保留、访问权限与删除机制。

10.1.1.4-008 能力评测:通用与领域任务怎么做小样本验证?

一句话结论

用贴近真实业务的样本集做对照评测:构造覆盖典型输入、边界情况与失败类型的样本,标注期望输出,对比候选模型的准确率、格式合规与引用正确率,再决定档位;榜单结果只作参考。

概念解释

  • 样本来源:真实请求脱敏后抽样。
  • 标注:黄金答案或可判定的规则标准。
  • 指标:按任务选准确率、字段抽取正确率、格式通过率等。

原理流程

  1. 收集业务典型样本与边界样本。
  2. 标注期望结果与判定规则。
  3. 候选模型同题跑批,统计指标。
  4. 结合成本延迟定稿。

代码 / 示例

评测集 = 典型样本 + 边界样本 + 历史失败案例
指标: 字段正确率 / 格式合规率 / 引用正确率 / 拒答合理性

常见误区

  • 误区:拿几个演示问题试一下就定;正解:演示样本不覆盖边界与失败类型,结论不可靠。
  • 误区:通用榜单分数可代表领域表现;正解:垂直术语、格式与业务规则必须用自有样本验证。

追问

  • Q:样本量多少合适? A:按任务风险定,先覆盖关键路径与主要失败类型,规模随迭代补充;没有通用固定条数。
  • Q:怎么避免样本泄漏到模型训练? A:评测样本注意保密,尤其自托管继续训练场景;定期更新样本集。

10.1.1.4-009 多模态需求如何影响选型?

一句话结论

需要图片、音频、视频或文档版面理解时,要选明确支持对应模态输入输出的模型,并验证多模态任务的实测表现;纯文本模型不能靠 prompt 弥补视觉/音频输入能力。

概念解释

  • 输入模态:文本、图像、音频、视频、扫描件。
  • 输出模态:文本为主,部分模型支持图像/语音生成。
  • 能力差异:同一家族不同档位支持的模态不同。

原理流程

  1. 列出实际需要的输入输出模态。
  2. 核对候选模型能力说明。
  3. 用真实多模态样本验证识别与描述质量。

代码 / 图示

需求: 截图识别 / 票据 OCR / 语音转写 / 视频理解
→ 选对应多模态模型, 纯文本模型不承担该输入

常见误区

  • 误区:大语言模型天然能看图;正解:视觉理解需要专门的多模态结构与训练,文本接口收不到图像内容。
  • 误区:多模态模型文本能力一定更强;正解:能力侧重不同,文本任务应分开评测。

追问

  • Q:图片先 OCR 再喂文本可行吗? A:可行的折中方案,版面、图表关系可能丢失;复杂版面评估多模态直读。
  • Q:多模态成本怎么估? A:除文本 token 外,图像/音频/视频有各自计费口径,以官方文档为准并按样本实测。

10.1.1.4-010 函数调用与结构化输出能力如何比较?

一句话结论

比较候选模型对 JSON Schema、枚举约束、工具选择与参数填充的稳定程度:用同一批工具定义与抽取任务测试格式通过率、参数正确率与拒选合理性,而不只看是否宣称支持 function calling。

概念解释

  • 结构化输出:受 schema 约束生成合法 JSON。
  • 工具调用:选对工具、填对参数、参数类型正确。
  • 稳定性:多次重复调用结果一致、少臆造字段。

原理流程

  1. 准备工具定义与 schema 测试集。
  2. 跑候选模型,检查格式合法率与参数正确率。
  3. 测试歧义场景下的拒选/追问行为。

代码 / 示例

测试项: schema 合法 / 必填字段齐全 / 枚举值正确 /
        工具选择正确 / 参数类型正确 / 无多余臆造字段

常见误区

  • 误区:支持 function calling 就参数一定填对;正解:选择与填充仍可能出错,必须用测试集验收稳定性。
  • 误区:JSON 模式等于业务正确性;正解:格式合法只保证可解析,字段语义对错仍需业务校验。

追问

  • Q:模型不支持 schema 约束怎么办? A:降级为提示约束 + 代码侧严格校验重试,详见结构化输出相关子页。
  • Q:多工具选择怎么测? A:构造相近工具、歧义问题与不该调用的场景,看误选率与合理拒选表现。

10.1.1.4-011 模型版本漂移是什么,如何锁定?

一句话结论

同一模型名称随服务商更新版本,输出行为、价格与能力可能变化;版本漂移会让线上效果与评测结果不可复现,因此应尽量锁定明确版本快照,并在升级前跑回归评测。

概念解释

  • 浮动标签:如默认指向最新版本的别名。
  • 版本快照:固定日期/版本号的模型标识。
  • 漂移:更新后回答风格、格式、拒答策略变化。

原理流程

  1. 接入时记录实际模型版本标识。
  2. 关键链路使用可锁定的版本。
  3. 计划升级时先跑评测集对照,再切流。

代码 / 图示

浮动别名(可能自动更新) → 行为不可复现
固定版本快照 → 可控升级, 回归通过后切换

常见误区

  • 误区:模型名不变行为就不变;正解:服务商静默更新常见,同样 prompt 输出可能随版本变化。
  • 误区:锁定版本就不用管更新;正解:旧版本可能停服或下线,需要按生命周期计划升级。

追问

  • Q:怎么发现线上漂移? A:监控格式通过率、拒答率、用户反馈与抽样对比;回归评测集定期跑批。
  • Q:API 不提供版本快照怎么办? A:记录调用时间与返回元数据,保留评测基线,升级窗口集中对照。

10.1.1.4-012 备选模型与降级策略怎么设计?

一句话结论

主选模型之外准备至少一个备选,按超时、错误率、质量信号或成本触发降级;抽象模型调用层隔离差异,降级路径要提前演练,包括切到更小模型、规则引擎或人工兜底。

概念解释

  • 触发条件:超时、限流、错误率升高、质量抽检异常。
  • 降级目标:保可用优先于保效果。
  • 抽象层:统一消息、schema 与错误处理,屏蔽供应商差异。

原理流程

  1. 定义主备模型与切换条件。
  2. 调用层封装接口与错误分类。
  3. 演练降级路径与回切条件。

代码 / 图示

主模型 → 超时/错误率异常 → 备选模型 / 规则 / 人工
降级后记录原因, 恢复后按策略回切

常见误区

  • 误区:备选只写在文档里;正解:切换逻辑、超时预算与回切条件要在代码与运维流程中落地演练。
  • 误区:降级模型能力不用测;正解:备选也要过基本评测集,避免降级时格式与字段直接崩溃。

追问

  • Q:成本异常要不要降级? A:可设置预算告警与限流,必要时降级到便宜档位,但区分预算保护与故障切换。
  • Q:多供应商怎么抽象? A:统一请求/响应结构,工具 schema 与错误码做适配转换,业务代码不直连特定厂商 SDK 细节。

10.1.1.4-013 开源模型许可协议要注意什么?

一句话结论

自托管开源权重前核对许可证:商用授权、署名义务、衍生作品开放要求、使用限制与地域条款;不同协议对商用、二次分发与 SaaS 提供方式约束不同,法律问题需以协议文本与法务意见为准。

概念解释

  • 许可类型:宽松型、copyleft 型、带使用限制的开放许可等。
  • 关注点:商用是否允许、修改分发义务、署名与开源回馈要求。
  • 权重与代码许可可能不同。

原理流程

  1. 获取模型权重与配套代码的许可证文本。
  2. 核对商用场景是否被允许。
  3. 记录义务(署名、回馈等),存档备查。

代码 / 图示

核对: 商用权限 / 分发义务 / 署名要求 / 附加限制 / 地域条款
权重许可 ≠ 代码许可, 分别核对

常见误区

  • 误区:能下载权重就可以随便商用;正解:部分开放许可附带使用场景或分发限制,必须逐条核对。
  • 误区:模型卡上写"开源"就等同宽松许可;正解:具体义务以许可证法律文本为准,不看宣传措辞。

追问

  • Q:微调后分发受什么约束? A:跟随基础模型许可与衍生作品条款,需法务确认回馈与分发范围。
  • Q:数据集许可也要看吗? A:要,训练/微调所用数据的授权范围同样影响商用合规。

10.1.1.4-014 私有部署的硬件与运维成本怎么估?

一句话结论

自托管成本包括 GPU 采购/租赁、显存与并发容量、推理框架调优、监控扩容与模型升级;按峰值并发与上下文长度估算资源,再叠加闲置率与运维人力,不能只按模型权重体积算账。

概念解释

  • 资源:GPU 规格、显存、并发上限。
  • 软件:推理服务、批处理、量化与调度优化。
  • 运维:监控、版本升级、容量扩容、故障恢复。

原理流程

  1. 估算峰值 QPS、平均输入输出长度。
  2. 按单请求显存与并发上限推资源需求。
  3. 叠加闲置冗余与运维成本。
  4. 与 API 成本按周期对比。

代码 / 图示

资源需求 = 并发上限 × 单请求显存/算力 + 冗余
成本 = 硬件/租赁 + 推理调优 + 运维 + 升级迭代

常见误区

  • 误区:能跑起来就行,不用压测;正解:并发、长上下文与峰值流量必须压测,否则线上容量预估失真。
  • 误区:自托管没有按量费用;正解:硬件折旧/租赁、电力、闲置率与人力都是持续成本。

追问

  • Q:小团队怎么起步? A:先用 API 验证业务,数据量与调用量稳定后再评估自托管,避免过早承担运维。
  • Q:推理优化需要多少投入? A:量化、批处理、分页调度等都需要工程调优与回归,应计入人力成本。

10.1.1.4-015 小模型加 RAG/工具能否替代大模型?

一句话结论

可以在部分场景替代:事实性问答交给检索提供证据,确定性操作交给工具/规则,小模型负责理解与组织;复杂推理、开放创作仍可能需要大模型,替代与否用评测集对比,而不是假设小模型一定够用。

概念解释

  • RAG:补足外部事实知识,降低参数记忆压力。
  • 工具:计算、查询、格式转换交给确定性程序。
  • 边界:多步推理、模糊判断、创意表达仍是大模型优势区。

原理流程

  1. 拆分任务:哪些事实走检索,哪些动作走工具。
  2. 小模型在该架构上跑评测集。
  3. 不达标环节再升级模型或增强检索/工具。

代码 / 图示

小模型 + 检索证据 + 工具调用 + 规则校验
对照: 大模型直答
比较: 正确率 / 成本 / 延迟

常见误区

  • 误区:RAG 能让小模型具备所有能力;正解:检索只补事实,推理与组织能力仍受模型本身限制。
  • 误区:上了工具就不需要模型判断;正解:工具选择、参数解释与异常处理仍由模型完成。

追问

  • Q:哪些任务最适合小模型路线? A:限定领域问答、结构化抽取、固定流程分类与客服引导,规则清晰、证据可检索的场景。
  • Q:效果不够先加模型还是先改架构? A:先优化检索质量、工具覆盖与提示规则,再评估升级模型;避免盲目加参数。

10.1.1.4-016 模型蒸馏、量化在选型后期处于什么位置?

一句话结论

蒸馏与量化是选定基础模型之后的压缩优化手段:蒸馏把大模型能力迁到小模型,量化降低精度占用;它们服务于成本与部署约束,不替代前期能力选型,压缩后必须回归评测。

概念解释

  • 蒸馏:用大模型输出训练小模型。
  • 量化:低精度表示权重/KV。
  • 定位:优化环节,不是模型能力来源。

原理流程

  1. 先选达标基础模型。
  2. 按部署约束决定蒸馏/量化方案。
  3. 评测压缩后质量与资源收益。

代码 / 图示

选型(能力达标) → 压缩(蒸馏/量化) → 回归评测 → 部署
压缩不改变任务能力上限的来源

常见误区

  • 误区:蒸馏出的小模型等于大模型;正解:能力是迁移结果,覆盖范围与边界样本可能丢失。
  • 误区:量化属于选型阶段要定的事;正解:先确认基础能力,压缩是后期工程权衡。

追问

  • Q:什么时候考虑蒸馏? A:自有领域数据多、固定任务明确、需要稳定小模型部署时;通用多变任务收益有限。
  • Q:压缩质量怎么验收? A:同一评测集对比压缩前后指标,敏感任务加边界样本与人工抽检。

10.1.1.4-017 选型如何避免被单一供应商绑定?

一句话结论

通过抽象调用层、保持提示与 schema 可移植、避免依赖厂商专有特性锁定业务逻辑;保留备选模型与可迁移的评测集,使切换只发生在适配层而不重写业务。

概念解释

  • 绑定来源:专有接口、私有格式、工具定义、内嵌业务逻辑。
  • 解耦:标准消息结构、通用 JSON Schema、独立评测资产。
  • 切换成本:主要在适配层而非业务代码。

原理流程

  1. 封装统一调用接口与错误模型。
  2. 提示模板与 schema 按通用规范维护。
  3. 保留跨模型评测集与备选路线。

代码 / 图示

业务代码 → 统一抽象层 → 供应商适配 A / B
提示、schema、评测集 与厂商解耦

常见误区

  • 误区:用同一家 SDK 就被绑定;正解:绑定的是专有能力与数据格式,抽象层与通用规范可以降低迁移成本。
  • 误区:备选模型永远不会用到;正解:议价、故障切换与合规调整都依赖可迁移性。

追问

  • Q:哪些特性最容易形成锁定? A:私有工具协议、专有记忆/知识库能力、专属微调接口;能通用化的部分尽量通用化。
  • Q:评测集为什么要独立保存? A:它是切换模型时的回归基准,放在厂商平台内会随账号与配置丢失。

10.1.1.4-018 灰度切换与 A/B 对比怎么做?

一句话结论

模型切换先小流量灰度,新旧模型在同一批请求上对比指标与人工抽检,达标后逐步扩量;记录版本、提示版本与评测结果,出现回退可快速切回。

概念解释

  • 灰度:按比例或部门逐步切流。
  • 对比:线上指标 + 离线评测 + 人工抽检。
  • 回退:保留旧模型通路与配置快照。

原理流程

  1. 离线评测通过后小流量上线。
  2. 收集质量、延迟、成本与反馈。
  3. 达标扩量,异常回退。

代码 / 图示

离线回归 → 灰度 5% → 指标对照 → 扩量 / 回退
记录: 模型版本, 提示版本, 样本批次

常见误区

  • 误区:灰度只看错误率;正解:格式通过率、字段正确率、用户满意度与延迟都要对照,隐性质量下降容易被平均指标掩盖。
  • 误区:A/B 两组样本可以不同;正解:对比要尽量同源请求,避免流量分布差异污染结论。

追问

  • Q:线上怎么收集对比样本? A:抽样记录两侧输入输出与后处理结果,标注或人工复核,沉淀进回归集。
  • Q:灰度回退条件怎么定? A:预设关键指标阈值(错误率、格式合规率、投诉率),触发即切回旧版本。

10.1.1.4-019 什么样的任务不该用大模型?

一句话结论

规则明确、确定性要求高、可由程序精确计算的任务(确定性换算、精确查表、强一致事务、简单关键词路由)不该交给概率生成模型;能用规则、数据库或传统程序解决的,优先确定性方案。

概念解释

  • 不适合:精确算术、强一致状态变更、严格匹配、低容错决策。
  • 适合:理解归纳、开放生成、模糊分类、草稿组织。
  • 混合:模型负责理解,程序负责执行与校验。

原理流程

  1. 判断任务是否要求确定性结果。
  2. 规则/程序可达则不走生成。
  3. 模型只承担它擅长的理解与组织环节。

代码 / 图示

精确计算/状态变更 → 程序/数据库
意图理解/文案草稿/归纳 → 模型
边界: 模型输出必须经程序校验后再执行

常见误区

  • 误区:大模型能处理一切流程;正解:涉及金额、库存、权限的确定性操作必须走程序,模型输出只作为输入建议。
  • 误区:简单任务用大模型显得先进;正解:成本、延迟与不可控性都不划算,传统方案更稳。

追问

  • Q:模型参与决策怎么控风险? A:关键动作加规则校验、二次确认与审计日志,不让生成结果直接落库执行。
  • Q:意图识别这种轻量任务怎么选? A:简单关键词/分类器可解决时不必上大模型;语义复杂再评估模型。

10.1.1.4-020 选型清单模板包含哪些落地项?

一句话结论

落地选型清单按任务定义、候选对照、评测结果、工程约束、合规商务与降级预案组织:每项有结论、依据与负责人,避免凭印象定稿;清单随模型版本定期复核。

概念解释

  • 任务侧:输入输出形态、SLA、风险等级。
  • 模型侧:能力评测、延迟成本、上下文、格式与工具能力。
  • 保障侧:合规条款、备选方案、回退与监控。

原理流程

  1. 写清任务与硬约束。
  2. 候选模型逐项对照并附评测证据。
  3. 记录选型结论、风险与复核周期。

代码 / 示例

1. 任务描述与风险等级
2. 候选模型及版本
3. 评测集指标(正确率/格式/延迟/成本)
4. 合规与商务条款结论
5. 备选与降级方案
6. 上线后监控与复核计划

常见误区

  • 误区:选型文档只留模型名字;正解:必须附评测依据、版本快照与降级预案,便于后续复核与切换。
  • 误区:清单一次定稿长期不动;正解:模型版本与业务需求变化后要定期重评。

追问

  • Q:选型结论谁确认? A:业务、工程与合规按各自维度签字确认,风险高的链路保留人工评审记录。
  • Q:清单放哪里维护? A:与项目文档同仓管理,评测集与版本记录可追溯,不依赖个人本地笔记。