罗罗编程学习记录
本页内容 展开查看

08.5.4 Envoy 与流量治理

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.5 负载均衡与流量接入

覆盖范围

  • Envoy 架构:xDS、Listener、Cluster、Route
  • 集群(Cluster)与负载均衡策略
  • 路由(Route)与虚拟主机
  • 熔断、限流、故障注入、重试
  • Istio/Service Mesh 中 Envoy 的角色

高频题速览

编号 题目 难度 频率
08.5.4-001 Envoy 是什么?与 Nginx 有什么区别? 基础 ★★★★★
08.5.4-002 xDS 是什么?LDS/CDS/RDS/EDS 各管什么? 进阶 ★★★★★
08.5.4-003 Envoy 的 Listener、Cluster、Route 是什么关系? 进阶 ★★★★
08.5.4-004 Envoy 支持哪些负载均衡策略? 进阶 ★★★★
08.5.4-005 熔断(circuit breaker)如何配置? 进阶 ★★★★
08.5.4-006 Envoy 重试策略与重试风暴怎么避免? 进阶 ★★★★
08.5.4-007 故障注入(fault injection)是做什么的? 进阶 ★★★
08.5.4-008 Envoy 作为 Sidecar 如何接管流量? 进阶 ★★★★
08.5.4-009 outlier detection 是什么? 进阶 ★★★
08.5.4-010 Istio 与 Envoy 的关系? 基础 ★★★★

08.5.4-001 Envoy 是什么?与 Nginx 有什么区别?

一句话结论

Envoy 是 C++ 写的高性能 L7 代理,天生为 Service Mesh 设计,支持动态配置(xDS)、热更新、多协议(HTTP/2、gRPC、TCP、Redis、Mongo)与丰富可观测性;Nginx 是静态配置为主的 L7 Web 代理,Envoy 更适合云原生数据面。

概念解释

  • Envoy:Lyft 开源,CNCF 毕业项目,C++14 写的 L7 代理。
  • Nginx:事件驱动的 Web 服务器/反向代理,配置以静态文件为主。
  • Envoy 特点:xDS 动态配置、热更新不中断、原生 gRPC/HTTP/2/TLS、丰富统计、路由规则灵活。
  • Nginx 特点:生态成熟、静态资源服务强、OpenResty 可扩展。

原理流程

  1. Envoy 启动后连接 xDS 服务器(如 Istio Pilot)。
  2. 动态接收 Listener/Route/Cluster/Endpoint 配置。
  3. 流量按配置在 Envoy 内部转发。
  4. 配置变化时热更新,不重启进程。

代码 / 示例

Envoy 部署形态:
  - 独立代理(Gateway)
  - Sidecar(与应用同 Pod)
  - 边车代理(Service Mesh 数据面)

常见误区

  • 误区:Envoy 可以完全替代 Nginx;正解:Envoy 强在服务间通信与动态治理,Nginx 强在边缘 Web 服务与静态资源,两者互补。
  • 误区:Envoy 配置改了要 reload;正解:Envoy 通过 xDS 热更新,配置变更不重启进程。

追问

  • Q:Envoy 为什么用 C++ 写? A:追求低延迟与高并发,C++ 无 GC 停顿,内存可控。
  • Q:Envoy 支持哪些协议? A:HTTP/1.1、HTTP/2、gRPC、TCP、UDP、Redis、MongoDB、PostgreSQL、Kafka 等,由 filter chain 扩展。

08.5.4-002 xDS 是什么?LDS/CDS/RDS/EDS 各管什么?

一句话结论

xDS 是 Envoy 的动态配置发现协议集合:LDS 管监听器、CDS 管集群、RDS 管路由、EDS 管集群端点(后端实例);另有 SDS 管证书、ECDS 管端点配置。

概念解释

  • LDS(Listener Discovery Service):监听器配置,即入口端口与 filter chain。
  • CDS(Cluster Discovery Service):集群定义,即上游集群与负载均衡策略。
  • RDS(Route Discovery Service):路由配置,即虚拟主机与路由规则。
  • EDS(Endpoint Discovery Service):集群后端实例列表。
  • SDS(Secret Discovery Service):TLS 证书。
  • ADS(Aggregated Discovery Service):把所有 xDS 流聚合到一条 gRPC,保证配置一致性。

原理流程

  1. Envoy 启动后向 xDS 服务器发 gRPC 流。
  2. 服务器推送各资源配置。
  3. Envoy 按依赖顺序应用:先 LDS/CDS,再 RDS/EDS。
  4. 配置变化时增量推送,Envoy 热更新。

代码 / 示例

xDS 流:
  Envoy <-> Pilot (gRPC)
    LDS: 0.0.0.0:15001, filter chain
    CDS: outbound_cluster, lb_policy=LEAST_REQUEST
    RDS: route /api/* -> outbound_cluster
    EDS: 10.0.0.11:80, 10.0.0.12:80

常见误区

  • 误区:xDS 是 Envoy 独有的协议;正解:xDS 是通用 xDS 协议,gRPC-Gateway、其他代理也可用,Envoy 是主要实现。
  • 误区:xDS 配置必须全量推送;正解:xDS 支持增量(delta)推送,只发变化部分。

追问

  • Q:ADS 解决什么问题? A:避免各 xDS 流独立更新导致配置不一致(如 EDS 端点已变但 CDS 还没引用),ADS 把所有流聚合成一条,按顺序推送。
  • Q:Istio Pilot 与 xDS 关系? A:Pilot 是 xDS 服务器,把 Kubernetes Service/VirtualService/DestinationRule 翻译成 Envoy xDS 配置。

08.5.4-003 Envoy 的 Listener、Cluster、Route 是什么关系?

一句话结论

Listener 是入口监听端口,Filter Chain 按 SNI/ALPN/源端口匹配;Route 把请求映射到 Cluster;Cluster 是上游集群,包含一组 Endpoint(后端实例)。

概念解释

  • Listener:监听 socket,定义 filter chain(TCP 代理、HTTP 连接管理、TLS 终止)。
  • Route:在 HTTP 连接管理里,按 host/path/header 匹配,路由到 Cluster。
  • Cluster:上游集群,定义负载均衡策略、连接池、熔断、健康检查。
  • Endpoint:集群的具体后端地址。

原理流程

  1. 客户端连接到达 Listener。
  2. Filter Chain 处理 TLS 终止、协议识别。
  3. HTTP 连接管理解析请求,按 Route 规则选 Cluster。
  4. Cluster 用负载均衡策略选一个 Endpoint,转发请求。

代码 / 示例

Listener: 0.0.0.0:80
  -> FilterChain: http_connection_manager
    -> Route: match {prefix: "/api"} -> cluster: backend
Cluster: backend
  -> Endpoints: 10.0.0.11:8080, 10.0.0.12:8080

常见误区

  • 误区:Route 直接指向后端 IP;正解:Route 指向 Cluster,Cluster 再指向 Endpoint,解耦让路由与后端独立更新。
  • 误区:Listener 只能有一个 filter chain;正解:一个 Listener 可配多个 filter chain,按 SNI/ALPN 等匹配不同规则(如 HTTPS 与 HTTP 共存)。

追问

  • Q:FilterChain 怎么匹配? A:按 destination_port、server_names(SNI)、transport_protocol、application_protocol(ALPN)、source_type 等条件匹配。
  • Q:RDS 与 Route 的关系? A:RDS 是动态下发 Route 配置的服务,Route 是配置内容本身。

08.5.4-004 Envoy 支持哪些负载均衡策略?

一句话结论

Envoy 支持 RoundRobin、LeastRequest、Random、RingHash(一致性哈希)、Maglev(一致性哈希的高基数版本)、OriginalDst(按原始目标地址)。

概念解释

  • RoundRobin:轮询。
  • LeastRequest:选请求数最少的后端(比 least_conn 更精细)。
  • Random:随机选。
  • RingHash:一致性哈希,适合会话保持。
  • Maglev:Google 提出的一致性哈希变种,适合大量后端实例。
  • OriginalDst:按原始目的地址转发(透明代理场景)。

原理流程

  1. Route 选中 Cluster。
  2. Cluster 按 lb_policy 选择 Endpoint。
  3. 连接池取或新建连接,转发请求。
  4. 请求结束后按策略统计。

代码 / 示例

{
  "name": "backend",
  "type": "EDS",
  "lb_policy": "LEAST_REQUEST",
  "connect_timeout": "5s"
}

常见误区

  • 误区:RingHash 与 Maglev 一样;正解:RingHash 是经典一致性哈希,Maglev 是 Google 的实现,哈希表更大、更均匀、适合大规模集群。
  • 误区:LeastRequest 一定比 RoundRobin 好;正解:短请求且后端均匀时差异不大,长连接或后端性能差异大时 LeastRequest 更合理。

追问

  • Q:RingHash 的 hash 因子是什么? A:默认按 HTTP 头或 Cookie,可配置 hash_policy 按 URL、Header、Cookie 提取。
  • Q:OriginalDst 用在哪? A:透明代理场景,如 iptables 把流量重定向到 Envoy,Envoy 按原始目的地址转发。

08.5.4-005 熔断(circuit breaker)如何配置?

一句话结论

Envoy 熔断通过设置集群的最大连接数、最大待处理请求数、最大并发请求数、最大并发重试数,超过阈值时直接拒绝并返回 503,避免雪崩。

概念解释

  • max_connections:到后端的最大 TCP 连接数。
  • max_pending_requests:等待连接的请求数(HTTP/1.1)。
  • max_requests:最大并发请求数(HTTP/2/gRPC)。
  • max_retries:最大并发重试数。
  • 阈值超过后:返回 503 UNAVAILABLE,触发上游降级。

原理流程

  1. 请求进入 Cluster。
  2. 检查当前连接数/请求数是否超阈值。
  3. 超阈值:直接拒绝,不发请求。
  4. 未超阈值:建立连接,转发请求。

代码 / 示例

{
  "name": "backend",
  "circuit_breakers": {
    "thresholds": [
      {
        "priority": "DEFAULT",
        "max_connections": 1000,
        "max_pending_requests": 1000,
        "max_requests": 5000,
        "max_retries": 50
      }
    ]
  }
}

常见误区

  • 误区:熔断就是限流;正解:限流是入口按请求速率拒绝,熔断是出口按后端连接数拒绝,方向不同。
  • 误区:熔断阈值设得越大越好;正解:阈值应按后端承受能力设,超过后端能接的流量就是压垮它。

追问

  • Q:熔断后客户端怎么感知? A:返回 503,Envoy 在响应头里加 x-envoy-overloaded,客户端可据此降级。
  • Q:熔断与 outlier detection 区别? A:熔断是按数量阈值拒绝,outlier detection 是按失败率摘除后端实例。

08.5.4-006 Envoy 重试策略与重试风暴怎么避免?

一句话结论

Envoy 可配置对哪些状态码重试、最大重试次数、每超时预算;重试风暴通过 retry-on 范围、num_retries 上限、retry-host-predicate(避免重试到同一坏节点)、熔断 max_retries 共同控制。

概念解释

  • retry-on:哪些响应码触发重试(5xx、reset、connect-failure、refused-stream 等)。
  • num_retries:最大重试次数。
  • per_try_timeout:每次尝试的超时时间。
  • retry_host_predicate:避免重试到同一主机(如摘除已失败节点)。
  • rate_limited retry:限制总重试比例。

原理流程

  1. 请求失败,符合 retry-on 条件。
  2. 在 num_retries 范围内重试。
  3. 每次重试按 per_try_timeout 超时。
  4. 重试次数或总超时用尽则返回错误。

代码 / 示例

{
  "route": {
    "cluster": "backend",
    "retry_policy": {
      "retry_on": "5xx,reset,connect-failure,refused-stream",
      "num_retries": 3,
      "per_try_timeout": "2s"
    }
  }
}

常见误区

  • 误区:重试越多越可靠;正解:重试会放大流量,后端已经过载时重试会雪上加霜,必须配合熔断与超时预算。
  • 误区:重试对所有请求都开;正解:非幂等请求(POST)不能盲目重试,可能造成重复写入。

追问

  • Q:什么是重试预算(retry budget)? A:Envoy 限制重试请求占总请求的比例(如 20%),防止重试把集群压垮。
  • Q:gRPC 怎么配重试? A:gRPC 按状态码(UNAVAILABLE、RESOURCE_EXHAUSTED)触发,Envoy 支持 gRPC-JSON 转码与重试。

08.5.4-007 故障注入(fault injection)是做什么的?

一句话结论

故障注入在请求路径上按比例注入延迟或错误,用于在预发/生产小流量验证系统的容错、超时、降级、重试链路是否正常。

概念解释

  • delay:按比例在请求前注入固定延迟。
  • abort:按比例直接返回指定错误码(如 503)。
  • 比例:如 10% 请求注入,90% 正常。
  • 用途:混沌工程、验证熔断/降级/SLA。

原理流程

  1. 请求到达 Envoy。
  2. fault filter 按比例判定是否注入。
  3. 注入 delay:等待 N 秒再转发。
  4. 注入 abort:直接返回错误码,不转发。

代码 / 示例

{
  "fault": {
    "delay": {
      "fixed_delay": "5s",
      "percentage": { "numerator": 10, "denominator": 100 }
    },
    "abort": {
      "http_status": 503,
      "percentage": { "numerator": 5, "denominator": 100 }
    }
  }
}

常见误区

  • 误区:故障注入只在测试环境做;正解:生产环境按极小比例(如 0.1%)注入故障,能验证真实容错链路。
  • 误区:故障注入会影响所有用户;正解:按百分比与匹配规则(header/namespace/服务)控制爆炸半径。

追问

  • Q:Istio 里怎么配故障注入? A:用 VirtualService 的 fault 字段(abort/delay),与 Envoy 配置一一对应。
  • Q:故障注入与熔断测试关系? A:故障注入是主动制造错误,熔断是被动保护,两者配合验证容错链路。

08.5.4-008 Envoy 作为 Sidecar 如何接管流量?

一句话结论

Sidecar Envoy 与应用同 Pod,通过 iptables 把 Pod 出入站流量重定向到 Envoy,Envoy 作为透明代理处理所有服务间通信,应用无感知。

概念解释

  • iptables REDIRECT/TPROXY:把入站流量转到 Envoy 的 inbound 端口。
  • outbound 重定向:把出站流量转到 Envoy 的 outbound 端口。
  • Sidecar:与应用同 Pod,共享 network namespace。
  • 应用无感知:应用仍连原来的地址,iptables 在背后转发。

原理流程

  1. Pod 启动时 initContainer 配置 iptables。
  2. 所有出站 TCP 流量被重定向到 Envoy outbound 端口(如 15001)。
  3. Envoy 按路由选上游 Cluster。
  4. 入站流量也被重定向到 Envoy inbound 端口(如 15006),再转给本地应用。

代码 / 示例

Pod:
  app container
  envoy sidecar
iptables:
  OUTPUT chain -> redirect to 15001 (outbound)
  INPUT chain -> redirect to 15006 (inbound)

常见误区

  • 误区:应用要改代码走 Envoy;正解:iptables 透明接管,应用无感知。
  • 误区:Sidecar 只代理 HTTP;正解:Envoy 可以代理 TCP、gRPC、Redis 等任意 TCP 流量。

追问

  • Q:Sidecar 怎么知道该连哪个后端? A:EDS 从 xDS 服务器拿集群端点列表,对应 Kubernetes Service。
  • Q:Sidecar 增加多少延迟? A:通常 1-2ms,因为在同一 Pod 内回环,不跨网络。

08.5.4-009 outlier detection 是什么?

一句话结论

outlier detection(异常点摘除)在 Cluster 内按失败率、网关错误、本地源失败率动态剔除不健康的后端实例,一段时间后再试探恢复,避免把流量打到坏节点。

概念解释

  • consecutive_gateway_failure:连续网关错误(502/503/504)次数。
  • interval:检测间隔。
  • base_ejection_time:首次摘除时长,之后按倍数递增。
  • max_ejection_percent:最多摘除百分比。
  • success_rate:按统计窗口内成功率摘除。

原理流程

  1. Envoy 统计每个 Endpoint 的失败率。
  2. 达到阈值:把该 Endpoint 从负载均衡集合中摘除。
  3. 等待 base_ejection_time 后,试探性放回少量流量。
  4. 成功则完全恢复,失败则继续摘除。

代码 / 示例

{
  "outlier_detection": {
    "consecutive_gateway_failure": 3,
    "interval": "10s",
    "base_ejection_time": "30s",
    "max_ejection_percent": 50
  }
}

常见误区

  • 误区:outlier detection 等于健康检查;正解:主动健康检查是定期探测,outlier detection 是基于真实流量统计的被动摘除,两者互补。
  • 误区:摘除后就永远剔除;正解:Envoy 会按 base_ejection_time 递增时间后试探恢复。

追问

  • Q:outlier detection 与熔断器关系? A:熔断器按数量阈值拒绝,outlier detection 按失败率摘节点,两者配合:摘坏节点 + 限总流量。
  • Q:Istio 里怎么配? A:DestinationRule 的 trafficPolicy.outlierDetection 字段。

08.5.4-010 Istio 与 Envoy 的关系?

一句话结论

Istio 是 Service Mesh 控制面,Envoy 是数据面;Istio 把 Kubernetes 的 Service、VirtualService、DestinationRule 翻译成 Envoy xDS 配置下发给 Sidecar。

概念解释

  • Istio 控制面:Pilot(xDS 服务器)、Citadel(证书)、Galley(配置校验)。
  • Envoy 数据面:Sidecar 代理,处理所有服务间流量。
  • 用户写 Istio CRD(VirtualService、DestinationRule),Istio 翻译成 Envoy 配置。

原理流程

  1. 用户提交 VirtualService 定义路由规则。
  2. Pilot 监听 K8s API,把规则翻译成 xDS。
  3. xDS 推送到每个 Sidecar Envoy。
  4. Envoy 按新规则转发流量。

代码 / 示例

# Istio VirtualService 示例
apiVersion: networking.istio.io/v1
kind: VirtualService
metadata:
  name: reviews
spec:
  hosts:
    - reviews
  http:
    - route:
        - destination:
            host: reviews
            subset: v1
          weight: 90
        - destination:
            host: reviews
            subset: v2
          weight: 10

常见误区

  • 误区:Istio 是一个代理;正解:Istio 是控制面框架,真正的代理是 Envoy。
  • 误区:Istio 必须用 Envoy;正解:Istio 1.5+ 抽象了数据面,可对接其他代理(如 MosN),但默认是 Envoy。

追问

  • Q:Istio 解决了什么问题? A:把服务间治理(路由、熔断、重试、可观测、mTLS)从应用代码里抽出来,下沉到 Sidecar,业务代码零侵入。
  • Q:Istio 的代价是什么? A:Sidecar 增加资源开销与延迟,xDS 控制面复杂度高,调试链路变长。

待整理清单

  • [ ] Envoy 与 Istio Ambient Mesh 的差异
  • [ ] Envoy filter chain 与网络 filter/HTTP filter
  • [ ] Envoy 与 gRPC-JSON 转码
  • [ ] Envoy 访问日志与 OpenTelemetry 集成