GOTC2023使用 eBPF 实现零侵扰的云原生可观测性

eBPF专场使用eBPF实现零侵扰的云原生可观测性向阳2023年05月28日可观测性挑战使用eBPF可观测性挑战用例可观测性的灵魂，在于DistributedTracingYoulosedimensionalityasthemoremetricthebackendasmetricssystemsarenbuiltforit.Becauseofthat,engineerstendtostickwithsomebasiclabels.Youlosethegranularityofseeingwhatindividualrequestsorprocessingcontextsaredoingastheyaggregateovertime.understandyoursystemandusers:you’reusingthemtounderstandtheinfrastructurethatsupportsthem.分布式追踪15年，插桩的15年连接微服务的基础设施路径越来越长、多云原生时代，越来越多服务无法插桩连接微服务的基础设施路径越来越长、多 服务服务Nprometheusprometheuskafkaredis路径路径2kuberneteskubernetesKVM单个服务越来越简单，服务发布越来越快速通用逻辑逐渐卸载至基础设施，开发语言和框架越来越自由eBPF的内核可编程性是否能为可观测性带来变革但事情并没有这么完美：内核和应用之间的Gap内核可编程性应用可观测性可观测性挑战使用eBPF可观测性挑战用例PowerbyeBPF&WASMVMPODPODenvoyDistributedTracing,ServiceMap,RequestLogiptables、ipvsSession生成Session关联Event关联eBPFFlow生成VMPODPODenvoyDistributedTracing,ServiceMap,RequestLogiptables、ipvsSession生成Session关联Event关联eBPFFlow生成L4~L7GWGatewayDeepFlow的技术制高点：零插桩ZeroCode、全覆盖FullStackKVMKVML2GW、OvSHOSTSession生成CNCFCLOUDNATIVELandscapeeBPFProjectLandscapeSELECTany_tagFROMany_tableWHEREany_tagGROUPBYany_tagK8slabelsappversionownerstagecommitIdAnnotations*biz/terminalTypecicd/deploymentIdIngressWorkloaddataSELECTany_tagFROMany_tableWHEREany_tagGROUPBYany_tagK8slabelsappversionownerstagecommitIdAnnotations*biz/terminalTypecicd/deploymentIdIngressWorkloaddatatagstr关联自定义Tag解码标准TagtagstrtagstrServerAgenteBPFdatadatadatatagint编码标准Tag降低低假设标准TAG固定20个，自定义TAG从0个增长到80个。ALBApplicationServiceNameFunctionNameEndpointTraceId低TAG可观测性挑战使用eBPF可观测性挑战用例↑2345零插桩零重启零配置 ↑ ↑2345零插桩零重启零配置 ↑ BPFeBPF全栈可观测性个标准采集云原生 服务端应用进程无需插桩快速定界1.零插桩：1.零插桩：且无需向HTTP头注入TraceID或SpanID2.全链路：4个调用、38个Span，分为24eBPFSpan+14BPFSpan4.全栈：追踪两个微服务之间的网络路径，从Pod到Node到KVM，IPIP、VXLAN、…5.全栈：追踪微服务内从EnvoyIngress服务DNSEnvoyEgress全过程案例：某互联网客户，使用DeepFlow5分钟内定位客户端慢服务端不慢的经典扯皮问题。 DeepFlow：ServiceMapviaeBPF 42零重启零配置3服务即便插桩，你真的知道你在访问谁吗？某银行客户，信用卡核心业务上线受阻， 42零重启零配置3服务即便插桩，你真的知道你在访问谁吗？某银行客户，信用卡核心业务上线受阻，后发现缓存设置不合理。应用进程代理进程代理进程零插桩我的我的服务 17263541872453DeepFlow：UniversalServiceMap解决的问题/217263541872453 零插桩零插桩零重启零配置 66 请求类型、请求域名、请求资源RPCEndpoint、请求ID响应状态、响应码、响应异常、响应结果代理客户端、UserAgent、Referer从应用到基础设施全栈应用调用日志TraceId、SpanId、XRequestId…//WASM、LUA*插件式扩展能力 零插桩零重启零配置全栈可观测性3eBPF请求类型、请求域名、请求资源RPCEndpoint、请求ID响应状态、响应码、响应异常、响应结果代理客户端、UserAgent、Referer从应用到基础设施全栈应用调用日志TraceId、SpanId、XRequestId…//WASM、LUA*插件式扩展能力 零插桩零重启零配置全栈可观测性3eBPF4某政府部门客户，使用DeepFlow流日志替代了全包存储，回溯查询速度10x，存储时长100x。某银行客户，使用DeepFlowTCP包头时序图5分钟内发现CloudGW转发SYN时延大。56789HTTPHTTP：HTTP1、HTTP2、HTTPSRPC：Dubbo、gRPC、SOFARPC、...DB：MySQL、PostgreSQL、RedisInfra：DNS、TCP、UDP、...…//持续迭代中 MySQL......SQL/...DeepFlow：MySQL......SQL/... 业务属性标签用户唯一标识、交易唯一标识、...二进制脚本热插拔应用协议解析模块…………私有协议HTTPS……常见协议……SOFARPCgRPCRPC协议eBPFPostgreSQLMySQL……数据库……Kafka消息队列DeepFlow：eBPF+WASM，业务属性标签用户唯一标识、交易唯一标识、...二进制脚本热插拔应用协议解析模块…………私有协议HTT