罗罗编程学习记录
本页内容 展开查看

10.6.1.3 多模态与流式体验

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.6 AI 全栈场景题 / 10.6.1 AI 全栈场景

10.6.1.3-001 多模态输入在工程链路上如何处理?

一句话结论

链路:采集与格式校验 → 预处理(压缩、裁剪、降噪、格式转换)→ 按通道处理(图像理解、OCR、语音转写、文档解析)→ 结构化描述进入 LLM 上下文 → 生成回答;不同模态产物分别标注来源与置信度;预处理参数与通道选型按任务评测确定。

概念解释

  • 预处理:格式与质量整理。
  • 通道处理:各模态专用模型。
  • 结构化描述:转为 LLM 可读文本/特征。

原理流程

  1. 校验文件类型与大小限制。
  2. 预处理后送对应通道。
  3. 描述结果带来源与置信度入上下文。

代码 / 图示

图片/文档/语音 → 格式校验 → 预处理 → 通道处理
→ 结构化描述(来源/置信度) → LLM 上下文 → 回答

常见误区

  • 误区:多模态模型直接吞原始文件即可;正解:格式、大小与质量问题需要预处理层兜底。
  • 误区:各模态描述同等可信度;正解:OCR/转写存在误差,需标注置信度并提示核对。

追问

  • Q:文件限制怎么定? 答:按模型支持的格式、大小与分辨率上限,以官方文档为准。
  • Q:多模态产物如何引用? 答:回答中标注来自哪张图/哪段转写,便于回溯核对。

10.6.1.3-002 图片类输入如何选择处理方案?

一句话结论

按目标拆分:整体理解用视觉模型描述场景与关系;文字内容用 OCR 提取文本与位置;表格/票据用结构化抽取;截图界面可结合控件与文字;方案可组合(OCR 文本 + 视觉描述);识别准确率按样本评测,模糊图降级提示重新上传。

概念解释

  • 视觉理解:内容与关系。
  • OCR:文字定位提取。
  • 结构化抽取:票据表格字段。

原理流程

  1. 判断图片信息类型。
  2. 选择对应通道或组合。
  3. 抽取结果校验后入上下文。

代码 / 图示

图片 → 视觉描述 / OCR 文本 / 表格字段抽取
组合结果 → 标注来源 → LLM

常见误区

  • 误区:所有图片只走视觉对话;正解:票据字段、编号等精确信息 OCR/抽取更可靠。
  • 误区:低分辨率图硬识别;正解:质量不足应提示重拍,不把模糊猜测当结论。

追问

  • Q:OCR 结果带什么? 答:文本、位置与置信度,低置信片段标记人工核对。
  • Q:模型视觉能力边界? 答:细节精度、长文本识别能力以官方文档与实测为准。

10.6.1.3-003 扫描文档与图片表格如何纳入 RAG?

一句话结论

扫描件先 OCR 转为文本并校验质量,保留页码与区块定位;表格图做结构识别保留行列关系;识别结果作为文档片段入库,同时保留原图定位;低质量页标记待人工复核;纯 OCR 文本不丢弃原始结构信息,避免数字与列错配。

概念解释

  • OCR 转文本:可检索化。
  • 结构识别:行列与区块。
  • 原图定位:回溯核对。

原理流程

  1. 扫描件 OCR 与质量评分。
  2. 表格结构识别保留行列。
  3. 片段入库带页码与原图定位。

代码 / 图示

扫描页 → OCR 文本 + 置信度 → 表格结构识别 → 片段(页码/定位) 入库

常见误区

  • 误区:OCR 文本直接入库不保留结构;正解:表格行列关系丢失会导致答案数字错配。
  • 误区:OCR 错误不标记;正解:低置信片段应在答案中提示核对原文。

追问

  • Q:OCR 错误如何发现? 答:抽样人工校对,关键字段(金额、编号)重点复核。
  • Q:图片本身需要入库吗? 答:保留定位链接,必要时回显原图供核对。

10.6.1.3-004 语音输入如何接入,转写误差怎么处理?

一句话结论

语音链路:录音采集 → 降噪/断句 → ASR 转写为文本 → 结合上下文校正术语 → 进入对话;转写结果带置信度,专有名词可对接词表校正;低置信句子回显确认;ASR 方言、口音与噪声表现以实测为准;语音不直接作为 LLM 输入。

概念解释

  • ASR:语音转文本。
  • 术语校正:词表与上下文。
  • 置信回显:低确认度核对。

原理流程

  1. 音频预处理与断句。
  2. ASR 转写并标注置信度。
  3. 校正后进入对话链路。

代码 / 图示

音频 → 降噪断句 → ASR 转写(置信度) → 术语校正 → 文本入上下文

常见误区

  • 误区:转写文本直接当真;正解:口音噪声下存在错字,关键信息应回显确认。
  • 误区:术语校正交给 LLM 自由猜;正解:业务词表与已知实体先做约束校正。

追问

  • Q:转写置信度低怎么办? 答:回显转写文本让用户确认或修改后再提交。
  • Q:语音会话状态? 答:与文本会话共用同一套状态存储,见 10.6.1.2-007。

10.6.1.3-005 多模态生成结果需要校验哪些方面?

一句话结论

校验:识别内容是否与输入一致、抽取字段是否完整合法、描述是否超出图像/音频证据、关键数值是否可回溯原图;低置信结果标记;多模态错误按通道归因(识别错还是生成错);关键场景人工抽检;校验口径写进评测集。

概念解释

  • 一致性:结论对照输入。
  • 不超证据:描述基于可见内容。
  • 通道归因:识别/生成分层。

原理流程

  1. 结果对照原始模态产物。
  2. 检查字段完整性与一致性。
  3. 低置信标记并归因复盘。

代码 / 图示

原始输入 ↔ 识别结果 ↔ 最终回答
校验: 一致 / 完整 / 有据 / 可回溯

常见误区

  • 误区:多模态回答通顺即通过;正解:图像细节识别错误会直接导致结论错误。
  • 误区:不区分识别错误与生成错误;正解:分层归因才能决定优化通道还是提示。

追问

  • Q:关键数值如何核对? 答:回到原图/原音频定位,答案标注来源位置。
  • Q:抽检比例? 答:按风险等级设定,高风险抽取更高比例人工复核。

10.6.1.3-006 流式输出的工程原理是什么?

一句话结论

流式把生成 token 分批推送给前端,常见基于 SSE(Server-Sent Events)或分块传输;服务侧从模型接收增量内容,逐块转发;前端增量渲染;相比一次性返回,首字等待更短但连接与状态管理更复杂;传输协议与模型流式能力以所用平台为准。

概念解释

  • 增量推送:分批发送片段。
  • 连接保持:长连接持续写回。
  • 体验差异:首字快、整体同。

原理流程

  1. 建立流式连接。
  2. 模型增量输出逐块转发。
  3. 前端增量渲染直到结束标记。

代码 / 图示

模型 token 流 → 服务侧缓冲/转发 → SSE 分块 → 前端增量渲染
结束: 完成标记 + usage/状态信息

常见误区

  • 误区:流式能缩短总生成时间;正解:总耗时不变,改善的是首字等待与感知体验。
  • 误区:每来一个字符就推一次;正解:需要合理分块与缓冲,避免前端频繁重排。

追问

  • Q:分块多大合适? 答:在首字延迟与渲染频率之间权衡,按前端表现调试。
  • Q:结束信号带什么? 答:完成状态、用量统计与错误标识,便于前端收尾。

10.6.1.3-007 前端流式渲染要处理哪些细节?

一句话结论

处理:Markdown/代码块/表格随片段逐步解析、未闭合标签不报错、分段渲染与滚动跟随、引用与结构化字段在完整后再定型、用户中断按钮、重新生成与重试状态;渲染层不能假设一次拿到完整文本;表格与代码块在流式过程中先占位后补全。

概念解释

  • 增量解析:片段级容错。
  • 状态标识:生成中/完成/中断/失败。
  • 占位补全:结构完整后定型。

原理流程

  1. 接收片段追加到内容缓冲。
  2. 容错解析增量渲染。
  3. 结束后定型结构化组件。

代码 / 图示

片段 → 缓冲追加 → 容错 Markdown 渲染 → 结构组件补全
状态: 生成中 / 完成 / 中断 / 失败 / 重新生成

常见误区

  • 误区:按完整文档解析器处理流式片段;正解:未闭合代码块、表格行需要增量容错。
  • 误区:表格流式逐行直接渲染;正解:列宽与对齐在表完整后再计算。

追问

  • Q:用户中途停止怎么办? 答:保留已生成内容,标记中断状态,可续接或重新生成。
  • Q:代码块高亮? 答:代码块闭合前先纯文本展示,闭合后再高亮。

10.6.1.3-008 流式请求中断后如何恢复?

一句话结论

记录请求标识与已生成进度;连接断开时前端可凭标识续接剩余流,或服务侧保留最近结果供重新拉取;模型生成不支持断点续传时,走重新生成并说明;中断已产生的工具调用状态需持久化,避免重复执行写操作;恢复策略在设计阶段确定。

概念解释

  • 进度标识:请求与片段位置。
  • 续接/重拉:恢复通道。
  • 状态持久化:防重复副作用。

原理流程

  1. 中断时保存请求状态与进度。
  2. 重连时优先续接或重拉。
  3. 不支持续传则重新生成。

代码 / 图示

中断 → 保存(请求id/进度/已完成工具动作)
重连 → 续接流 / 拉取已生成结果 / 重新生成

常见误区

  • 误区:断连后让用户从头再说一遍;正解:会话状态与已生成内容应保留。
  • 误区:恢复时重放全部工具调用;正解:写入类动作需先核对是否已执行,保证幂等。

追问

  • Q:哪些状态必须持久化? 答:任务目标、已完成工具动作、已生成内容与中断原因。
  • Q:续接能力依赖什么? 答:模型与服务侧的流保持能力,不支持时降级为重新生成。

10.6.1.3-009 长输出在流式链路中如何分段管理?

一句话结论

按结构分段:标题、段落、列表、代码块分别缓冲与渲染;超长输出设长度上限与截断策略;多段内容约定状态边界(完成/继续);服务侧可在段落边界落盘或缓存,支持后续读取;分段避免一次性缓冲全部内容占用内存。

概念解释

  • 结构分段:按语义块缓冲。
  • 长度上限:截断与提示。
  • 边界状态:段完成标记。

原理流程

  1. 按结构块缓冲片段。
  2. 段落边界固化与落盘。
  3. 超限时按策略截断并提示。

代码 / 图示

片段流 → 结构块缓冲(标题/段落/列表/代码) → 段边界固化
超长 → 截断 + 提示继续/分段获取

常见误区

  • 误区:把全部输出缓存在服务内存;正解:长输出应分段落盘或缓存,控制内存占用。
  • 误区:截断后不告知用户;正解:需说明输出被截断及获取剩余内容的方式。

追问

  • Q:输出长度上限怎么设? 答:结合任务类型与 max_tokens 配置,见 10.5.1.2 推理优化。
  • Q:分段读取接口? 答:按段标识拉取剩余内容,状态可回溯。

10.6.1.3-010 流式过程中的工具调用如何展示与协调?

一句话结论

工具调用在流式答复前或并行阶段执行;前端展示「正在查询/处理」状态与工具名称;工具结果回灌后再生成最终流式回答;调用过程与结果摘要纳入轨迹;流式回答中不暴露内部实现细节;高危动作在执行前先经确认,不放在流式输出中隐式完成。

概念解释

  • 阶段状态:思考/工具/生成。
  • 轨迹展示:动作与结果摘要。
  • 确认前置:高危先确认。

原理流程

  1. 决策调用工具并更新前端状态。
  2. 执行校验后调用并等待结果。
  3. 结果回灌后流式生成回答。

代码 / 图示

[调用工具: 查询订单] → 执行 → 结果回灌 → 流式生成答复
前端状态: 处理中 / 工具执行中 / 生成中 / 完成

常见误区

  • 误区:工具调用藏在生成流里不告知;正解:用户应能看到正在执行的动作,尤其涉及写入时。
  • 误区:流式片段中直接展示工具原始返回;正解:展示摘要,原始结果留存在轨迹。

追问

  • Q:并行工具调用如何展示? 答:分别显示各动作状态,结果合并后生成答复。
  • Q:工具失败时前端表现? 答:展示失败状态与兜底说明,不输出半成品结论。

10.6.1.3-011 首字延迟(TTFT)与缓冲之间如何权衡?

一句话结论

TTFT 是从请求到首个内容片段的等待;缓冲过小推送频繁、渲染抖动;缓冲过大首字变慢;权衡点放在检索、工具与生成各阶段:检索/工具阶段先给状态反馈,生成阶段按小缓冲尽快出字;TTFT 与端到端耗时分别监控,不能只优化其一。

概念解释

  • TTFT:首片到达时间。
  • 缓冲粒度:推送频率。
  • 阶段反馈:等待期可见状态。

原理流程

  1. 分解各阶段耗时。
  2. 等待阶段推送状态反馈。
  3. 生成阶段按缓冲策略出字。

代码 / 图示

请求 → 检索/工具等待(状态反馈) → 首片 → 增量出字
指标: TTFT · 渲染抖动 · 端到端耗时

常见误区

  • 误区:首字越快越好、不看内容质量;正解:过快出字可能来自缓冲过浅导致的碎片化渲染。
  • 误区:检索等待期页面空白;正解:应展示处理状态,降低等待感知。

追问

  • Q:TTFT 受哪些环节影响? 答:前缀缓存、模型排队、检索与工具耗时,见 10.5.1.2。
  • Q:缓冲怎么调? 答:按前端渲染表现与 TTFT 实测对照调整分片策略。

10.6.1.3-012 流式链路中途失败如何兜底?

一句话结论

区分失败阶段:连接中断可重连重拉;生成中断保留已生成内容;检索/工具失败走对应兜底;服务侧错误返回明确状态与错误标识,不输出残缺半截回答冒充完成;失败事件记录原因与阶段;可重试的任务按幂等规则重试,写入动作不重复触发。

概念解释

  • 阶段定位:中断/生成/检索/工具。
  • 内容保留:已生成不丢失。
  • 状态明确:失败标识可见。

原理流程

  1. 失败时标记阶段与原因。
  2. 保留已有内容与状态。
  3. 按幂等规则重试或转兜底。

代码 / 图示

连接中断 → 重连重拉
生成中断 → 保留内容 + 状态标记
工具/检索失败 → 兜底通道

常见误区

  • 误区:流断了就丢弃全部内容;正解:已生成片段与状态应保留供恢复。
  • 误区:失败后静默停止;正解:前端必须收到明确失败状态与重试入口。

追问

  • Q:哪些失败可自动重试? 答:临时网络与瞬时故障;参数与权限错误不重试。
  • Q:重试如何保证幂等? 答:写操作携带幂等键,执行前核对状态。

10.6.1.3-013 多模态与流式的成本如何估算?

一句话结论

多模态按通道计费:图像/语音处理折算为输入当量(具体计量口径以供应商文档为准),LLM 部分按输入输出 token;流式不额外增加生成 token,但长连接与缓冲占用服务资源;估算时分别计入预处理通道、模型调用与服务资源;缓存与压缩历史控制重复输入成本。

概念解释

  • 通道计量:图像/语音折算口径。
  • 模型计量:token 输入输出。
  • 资源占用:连接与缓冲。

原理流程

  1. 拆解各通道用量。
  2. 按计量口径折算成本。
  3. 计入服务侧资源占用。

代码 / 图示

成本 = 图像/语音通道 + LLM 输入token + 输出token + 连接/缓冲资源

常见误区

  • 误区:多模态与纯文本同口径估算;正解:图像、语音有独立处理通道与计费方式。
  • 误区:流式增加模型成本;正解:生成 token 量不变,额外成本在连接与服务侧资源。

追问

  • Q:图像大小影响成本吗? 答:分辨率与压缩策略影响处理当量,以官方计量规则为准。
  • Q:成本按任务归集? 答:记录各通道用量,便于核算多模态任务单价。

10.6.1.3-014 多模态链路有哪些特有安全风险?

一句话结论

风险:图片/文档中藏入注入指令或恶意链接、截图泄露敏感信息、语音转写被刻意诱导、伪造身份或票据图像;防护:外部图像文档按不可信内容处理,识别结果做注入检查,敏感信息入上下文前脱敏,票据类关键信息人工复核;风险口径与文本链路同样分层防护。

概念解释

  • 图像注入:图内文字携带指令。
  • 敏感泄露:截图含密钥/隐私。
  • 伪造识别:票据身份图像造假。

原理流程

  1. 外部模态内容标记不可信。
  2. 识别结果检查注入与敏感信息。
  3. 高风险类型人工复核。

代码 / 图示

图片/文档/语音 → 识别结果 → 注入检查 + 敏感信息脱敏
票据/身份类 → 人工复核通道

常见误区

  • 误区:图片内容不会被模型当指令;正解:图中文字同样可能构成间接注入。
  • 误区:截图上传无权限限制;正解:应校验用户对所传内容的权限与用途。

追问

  • Q:图中链接怎么处理? 答:不自动访问或抓取,需用户明确授权并经安全校验。
  • Q:敏感截图如何提示? 答:提醒用户避免上传敏感信息,链路侧脱敏处理。

10.6.1.3-015 语音输出(TTS)链路如何与文本生成配合?

一句话结论

文本生成完成或分段稳定后送 TTS 合成语音;流式场景可在段落边界合成,降低等待;TTS 音色、语言与中断恢复策略配置化;合成产物标注来源文本;语音链路失败回退文本展示;TTS 能力与计费以供应商文档为准。

概念解释

  • 段落边界合成:先稳后读。
  • 配置化音色:语言与声音。
  • 文本兜底:语音失败降级。

原理流程

  1. 文本段稳定后送 TTS。
  2. 流式段落边界增量合成。
  3. 失败回退文本通道。

代码 / 图示

文本段 → TTS 合成 → 语音播放
失败 → 回退文本展示

常见误区

  • 误区:边生成边逐字合成语音;正解:片段未稳定易导致断句与发音错误,段落边界更稳。
  • 误区:语音不保留对应文本;正解:应留存文本来源便于核对与兜底。

追问

  • Q:长文本 TTS 怎么分段? 答:按句子与段落边界切分,控制单段长度。
  • Q:语音中断恢复? 答:记录播放位置,回到对应文本段重新合成。

10.6.1.3-016 结构化输出在流式场景下如何保证可解析?

一句话结论

结构化字段在完整后再交付解析,流式过程中前端先展示占位;协议上区分「流片段」与「最终结构化结果」;生成后跑 schema 校验,不通过走重试或兜底;JSON/表格不能在片段不完整时被程序解析;工具调用参数同样在完整阶段校验后执行。

概念解释

  • 片段与结果分离:阶段标识。
  • 后置校验:完整后解析。
  • 占位渲染:前端容错。

原理流程

  1. 流式片段只用于展示。
  2. 结束后提取结构化结果。
  3. schema 校验通过再使用。

代码 / 图示

流片段(展示) → 结束标记 → 结构化结果 → schema 校验
失败: 重试 / 兜底模板

常见误区

  • 误区:边收边解析不完整 JSON;正解:未闭合结构必然解析失败,应等完整结果。
  • 误区:结构化失败直接抛错给用户;正解:走重试或兜底模板并记录原因。

追问

  • Q:流式状态字段怎么传? 答:协议约定独立状态事件,与内容片段分开。
  • Q:校验失败重试什么? 答:重跑生成或按模板补齐字段,工具参数校验见 10.6.1.2-003。

10.6.1.3-017 体验层面需要监控哪些指标?

一句话结论

指标:TTFT、端到端耗时、出字流畅度(渲染抖动/卡顿)、完成率、中断率、重试率、用户重新生成率、多模态识别置信度分布、错误阶段分布;按场景与通道分组;指标对照业务反馈,定位是检索、工具、生成还是前端渲染问题;阈值基于基线与压测设定。

概念解释

  • 延迟指标:首片与整体。
  • 过程指标:中断重试重生成。
  • 质量指标:识别置信与完成率。

原理流程

  1. 链路各阶段埋点。
  2. 分组聚合体验指标。
  3. 异常告警并归因阶段。

代码 / 图示

TTFT · 端到端耗时 · 渲染卡顿 · 完成率 · 中断率
重试率 · 重生成率 · 识别置信度 · 错误阶段

常见误区

  • 误区:只监控服务侧成功率;正解:中断率与重生成率反映真实体验问题。
  • 误区:平均耗时掩盖尾延迟;正解:高分位耗时与卡顿需要单独看。

追问

  • Q:中断率高查什么? 答:连接稳定性、生成时长与前端状态处理。
  • Q:指标基线怎么建立? 答:灰度期采集分布,按场景设定告警阈值。

10.6.1.3-018 多模态与流式落地清单是什么?

一句话结论

清单:多模态格式校验与预处理、图像/OCR/表格/语音通道选型与置信度标注、结果一致性校验与归因、流式连接与增量渲染容错、中断重连与状态持久化、长输出分段管理、工具调用状态展示、TTFT 与缓冲权衡、中途失败兜底与幂等重试、多模态成本归集、多模态安全检查、TTS 文本兜底、结构化结果后置校验、体验指标监控与灰度观测。

概念解释

  • 输入侧:预处理与通道。
  • 输出侧:流式渲染与恢复。
  • 保障侧:校验/安全/指标。

原理流程

  1. 输入通道建设与校验。
  2. 流式链路与前端容错。
  3. 监控体验并灰度迭代。

代码 / 图示

□ 格式预处理  □ 通道选型  □ 置信标注  □ 结果校验
□ 流式连接  □ 增量渲染  □ 中断恢复  □ 分段管理
□ 工具状态  □ 失败兜底  □ 成本归集  □ 安全检查
□ 结构化校验  □ 体验监控

常见误区

  • 误区:只接模型能力不做工程兜底;正解:格式、中断、失败与体验指标决定可用性。
  • 误区:多模态与文本链路复用同一套校验;正解:模态特有误差与风险需要专门检查。

追问

  • Q:可观测细节? 答:见 10.6.1.4 可观测、灰度与回归。
  • Q:成本模型? 答:见 10.6.1.5 业务场景设计与容量估算。