赵彦奇：火山引擎HTTPDNS边缘云原生技术实践

火山引擎HTTPDNS边缘云l千万QPS、亿级连接l抖音、头条、番茄小说等l20%性能↑,35%成本↓l服务迁移到火山引擎边缘云l云边端全链路流量调度集团业务集团业务火山引擎火山引擎TrafficRouteDNS套件一个“长期基于云”的HTTPDNS服务为何要做“边缘云原生”改造？来自集团业务的诉求针对性能与成本优化的技术空间火山引擎边缘云生态建设为HTTPDNS创造新机遇泛互联网泛互联网视频直播实时音视频影视娱乐移动终端在线教育电商零售媒资信息媒体行业数字人影视渲染游戏行业媒体行业数字人影视渲染游戏行业游戏加速VR/AR金融行业电子发票分布式计算汽车行业辅助驾驶车联网高效连接统一的云原生平台让边缘网络与IT高效连接统一的云原生平台让边缘网络与IT应用无缝衔接，高效协同海量算力提供丰富的边缘云资源为海量应用提供无限算力支撑全域覆盖充分利用广泛覆盖的网络和计算节点让连接与计算无处不在资源受限资源受限核心挑战：稳定性边缘计算稳定性欠缺稳定性欠缺核心需求：性能和成本可控的稳定性风险换收益发展驱动力•提升用户体验，满足对低延迟、高带宽和收益难评估收益难评估架构升级、运维自动化换稳定性热点领域•在智能应用、工业互联场景方面比云计算字节集团千万QPS底座服务边缘云原生体系“完善”边缘架构重新建设监控告警日志分析软件发布系统运维故障容灾业务“敏感”HTTPDNS故障影响面大抖音启动卡顿体系“完善”边缘架构重新建设监控告警日志分析软件发布系统运维故障容灾业务“敏感”HTTPDNS故障影响面大抖音启动卡顿直播推拉流变慢点播CDN调度不准架构“成熟”架构“成熟”高度依赖云组件高度依赖云组件，服务发现、Redis、日志系统、可观测核心组件深度优化，四七层核心组件深度优化，四七层负载均衡协议、性能优化Q基础组件部署验证周期长快速交付流量精准调度最优部署运维复杂度最优部署资源需求严苛分布式系统控制面重构、节点数量多公网安全风险高、可观测重建服务特性服务特性•可充分利用“边缘就近&分布式”配置编排配置编排现有架构的优势现有架构的优势容器容器容器容器容器容器容器容器容器容器容器容器容器容器容器容器缓存层集群递归缓存层集群递归层集群池化资源池化资源分层管控分层管控资源维度服务维度业务需求明确业务需求明确•抖音还要什么？网络体验优化（DNS时延）技术上不确定技术上不确定服务难部署流量难调度结论结论CloudfareCloudfareDNSAkamaiAkamaiEdgeDNS厂商-产品性能可借鉴优势一句话“强调调度和容灾，尽可能利用边缘的优势”收敛tow-tier递归：Anycast接入的中力+边缘节点nameserver的低延时超大业务规模的背景下，全球数据同步，秒级；业务规模极大场景下的性一句话“很传统、很安全，网络基础设施强大”能优化路径&安全设计实现抖音“无感”的边缘化架构迁移●云边共存●1.云中心三机房：anycast2.边缘50+节点：IP●灰度覆盖范围1.西南→西北→东北→华中原架构原架构缓存下沉新架构缓存层递归层缓存层递归层缓存层缓存层递归层缓存层递归层缓存层递归层●一个省「贵州」AB实验1.架构验证递归层缓存层缓存层1.偏远、弱网区域2.区域内容灾互备递归层缓存层缓存层•分离「无状态」「有状态」•不同省份、运营商接入质量参差不齐•偏远地区、服务性能差、但用户少离用户越近、节点数越多，离用户越近、节点数越多，网络性能越好流量调度需要更精准流量波动带来的风险更大•潮汐、突发热点、节日与活动•边缘异构容量暴露风险更显著调度模式GT调度模式GTM调度策略节点确定流量分配强化学习FinOps&强化学习拨测、节点池、评分规划模式人工规划用流量确定节点流量与资源冲突流量与资源冲突性能与稳定性的冲突性能与稳定性的冲突调度能力）：）：系统提升•数据面：水位波动1分钟感知95%主动迁移•业务侧：边缘云组件联动升级时业务无感知•链路容灾：客户端侧、链路侧、服务侧，多级容灾•资源弹性：数据面任意节点可插拔，强自愈架构•综合调度：云边端全链路容量、质量感知LocalDNSLocalDNS调度云端调度优势云端调度优势成本优化成本优化拨测对比拨测对比抖音抖音AB实验火山引擎外部客户火山引擎外部客户集团内部业务抖音番茄1地区运营商单线带宽1部署自研软件，边缘计算资源单价便宜。分布式多节点接入的流1流量&架构导致边缘节点单核性 移动解析HTTPDNS 成本构成负载均衡资源计算资源负载均衡资源计算资源降低耗时机房水平机房水平故障感知故障感知运维复杂度运维复杂度指标时延整体延时优化5%成功率持平TTFB平均TTFB4.1%↓（-3.5ms）故障感知收敛时长容灾：预案模式10min到自动容灾好用：火山控制台一键调度策略计算，调度结果可视可行性风险收益质量效率创新创造>>a性能a成本a稳定性技术创新a运维复杂度a系统架构33.50%软件功能迭代边缘部署方案设计全链路安全解析免费的高性能安全公共DNS