云原生小课堂｜Envoy请求流程源码解析（三）：请求解析

2022-03-24

云原生小课堂 envoy3 副本 (1).png

前言

Envoy 是一款面向 Service Mesh 的高性能网络代理服务。它与应用程序并行运行，通过以平台无关的方式提供通用功能来抽象网络。当基础架构中的所有服务流量都通过 Envoy 网格时，通过一致的可观测性，很容易地查看问题区域，调整整体性能。

Envoy也是istio的核心组件之一，以 sidecar 的方式与服务运行在一起，对服务的流量进行拦截转发，具有路由，流量控制等等强大特性。本系列文章，我们将不局限于istio，envoy的官方文档，从源码级别切入，分享Envoy启动、流量劫持、http 请求处理流程的进阶应用实例，深度分析Envoy架构。

本篇将是Envoy请求流程源码解析的第三篇，主要分享Envoy的outbound方向下篇，包含：接收请求、发送请求、接收响应、返回响应。注：本文中所讨论的issue和pr基于21年12月。

outbound方向

接收请求

1、client开始向socket写入请求数据

2、eventloop在触发read event后，transport_socket_.doRead中会循环读取加入read_buffer_，直到返回EAGAIN

3、

1-接收请求-序号3后-合 (1).png

4、把buffer传入Envoy::Http::ConnectionManagerImpl::onData进行HTTP请求的处理

5、

2-接收请求-序号5后-合 (1).png

6、如果codec_type是AUTO（HTTP1,2，3目前还不支持，在计划中）的情况下，会判断请求是否以PRI * HTTP/2为开始来判断是否http2

3-接收请求-序号6后-合 (1).png

7、利用http_parser进行http解析的callback,ConnectionImpl::settings_静态初始化了parse各个阶段的callbacks

8、

4-接收请求-序号8后-合 (1).png

envoy社区有讨论会将协议解析器从http_parser换成llhttp

5-envoy社区后 (1).png

https://github.com/envoyproxy/envoy/issues/5155

https://github.com/envoyproxy/envoy/pull/15263/files 使用解析器接口，重构http parser

https://github.com/envoyproxy/envoy/pull/15814添加llhttp解析器的实现，暂时还没合并

9、

6-序号9之后-合 (1).png

10、onMessageBeginBase

11、

7-序号11之后-合 (1).png

12、
创建ActiveStream, 保存downstream的信息，和对应的route信息对于https，会把TLS握手的时候保存的SNI写入ActiveStream.requested_server_name_

8-序号12之后 (1).png

13、onHeaderField,onHeaderValue 迭代添加header到current_header_map_中

14、解析完最后一个请求头后会执行 onHeadersComplete 把request中的一些字段（method, path, host ）加入headers中

9-序号14之后 (1).png

15、回调 onHeadersComplete，依次回调onMessageComplete，onMessageCompleteBase，ServerConnectionImpl::onMessageComplete

这个请求解码是Envoy上下文的，它会执行Envoy的核心代理逻辑 —— 遍历HTTP过滤器链、进行路由选择

此过滤器当中判断请求过载

通过route上的cluster name从ThreadLocalClusterManager中查找cluster, 缓存在cached_cluster_info_中

根据配置构造在route上的filterChain (具体的filter实现是通过registerFactory方法注册进去，在createFilterChain的时候根据名称构造，比如istio-proxy的stats)

如果对应http connection manager上有trace配置

10-序号15-trace配置之后 (1).png

request header中有trace，就创建子span, sampled跟随parent span

如果header中没有trace，就创建root span, 并设置sampled

11-序号15-设置sampled之后-合 (1).png

16、根据http connection manager上配置的filters (envoy.cors,envoy.fault,envoy.router)，一个个执行decodeHeaders

这里主要写一下和envoy.router

（1）envoy.router

在构造RouteMatcher的时候会遍历virtual_hosts下的domains，并根据通配符的位置和domain的长度分为4个map<domain_len, std::unordered_map<domain, virtualHost>, std::greater<int64_t>>

default_virtual_host_`domain就是一个通配符(只允许存在一个)

wildcard_virtual_host_suffixes_domain中通配符在开头

wildcard_virtual_host_prefixes_domain中通配符在结尾

virtual_hosts_不包含通配

12-不包含通配之后-合 (1).png

按照virtual_hosts_=>wildcard_virtual_host_suffixes_=>wildcard_virtual_host_prefixes_=>default_virtual_host_的顺序查找

同时按照map的迭代顺序（domain len降序）查找最先除去通配符后能匹配到的virtualhost，如果没有直接返回 404

13-返回404-合 (1).png

在一个virtualhost上查找对应route和cluster

在通过domain匹配到virtualhost，会在那个virtualhost上匹配查找cluster，如果没匹配上，会直接返回404

match可以根据配置分为prefix,regex,path三种route进行匹配

如果存在weighted_clusters，会根据stream_id, 和clusters的weight进行分发，stream_id本身是每个请求独立随机生成，所以weighted_clusters的权重分发可以视为随机分发

（2）

没有route能匹配请求，返回 404no cluster match for URL

有配置directResponseEntry，直接返回

route上的clustername在clustermanager上找不到对应cluster，返回配置的clusterNotFoundResponseCode

当前处于maintenanceMode (和主动健康检查相关)

14-主动健康检查-合 (1).png

调用createConnPool获取upstream conn pool

15-conn pool (1).png

根据 cluster上的features配置和USE_DOWNSTREAM_PROTOCOL来确定使用http1还是http2协议向上游发送请求

16-上游发送请求-合 (1).png

在ThreadLocalClusterManager上根据cluster name查询cluster

17-cluster (1).png

根据loadbalancer算法挑选节点（此处worker之间的负载均衡根据不同的负载均衡算法有的是独立的，比如round robin，只有同一个Worker上的才是严格的顺序）

18-严格的顺序-合 (1).png

根据节点和协议拿到连接池 (连接池由ThreadLocalClusterManager管理，各个Worker不共享)

没有做直接503,中止解析链

19-中止解析链 (1).png

根据配置（timeout, perTryTimeout）确定本次请求的timeout

20-timeout后-合 (1).png

把之前生成的trace写入request header

对request做一些最终的修改，headers_to_remove``headers_to_add``host_rewrite``rewritePathHeader(路由的配置)

21-路由的配置后 (1).png

构造 retry和shadowing的对象

22-shadowing的对象后 (1).png

发送请求

发送请求部分也是在envoy.router中的逻辑

1、查看当前conn pool是否有空闲client

2、

23-发送请求-序号2后 (1).png

如果存在空闲连接

根据downstream request和tracing等配置构造发往upstream的请求buffer

把buffer一次性移入write_buffer_, 立即触发Write Event

ConnectionImpl::onWriteReady随后会被触发

把write_ buffer_的内容写入socket发送出去

如果不存在空闲连接

24-不存在空闲连接后-合 (1).png

根据max_pending_requests和max_connections判断是否可以创建新的连接（此处的指标为worker间共享），但是每个线程会向上游最少建立一条连接，也就是极端策略可能需要和工作线程数相关
根据配置设置新连接的socket options, 使用dispatcher.createClientConnection创建连接上游的连接，并绑定到eventloop
新建PendingRequest并加到pending_requests_头部
当连接成功建立的时候，会触发ConnectionImpl::onFileEvent

在onConnected的回调中停止connect_timer_；复用存在空闲连接时的逻辑，发送请求

3、在onRequestComplete里调用maybeDoShadowing进行流量复制

4、

25-序号4后 (1).png