微众银行网络架构演进及运维实践课件

微众银行网络架构演进及运维实践GOP

S

全球运维大会

2019·

上海站

杨俊杰 网络运维室经理目录银行网络运维的日常1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP

S

全球运维大会

2019·

上海站

银行网络运维的日常机柜扩容\IDC建设GOP

S

全球运维大会

2019·

上海站

出品链路带宽扩容，运营商核查资源、新增合作伙伴专线接入业务需求，扩容服务器，配套扩容接入层，涉及连接关系梳理、实施方案，变更方案，IP地址分配，路由发布入网，监控系统录入，切换演练。专线建设、带宽扩容业务系统故障、网络设备故障、网络质量异常。出口容量监控、上联带宽容量监控，网络架构整体容量扩容计划故障处理、容量管理全网季度巡检、以天为单核心设备自动巡检配置基线、实施规范制定修订网络设备OS生命周期管理网络设备巡检、制度规范修订、OS管理NAT地址分配，合作方接入后专线冗余切换，接入个性化需求支持。合作方接入联调网络架构调整的优化变更，主动发现网络架构隐患触发的架构变更网络架构优化变更基础网络建设日常运营网络变更银行网络运维的日常银行标准网络架构与互联网OTT架构相比较，略有复杂，需要重点考虑安全隔离、监管要求，网络运营难度高，两地三中心、多地多中心演进，网络架构复杂度上升灵活跨DC流量调度需要了解基础架构层面各个组件的高可靠实现，掌握IDC相关的基本知识，可以更好帮助设计网络的底层架构，了解上层组件需求，更好的适配业务系统所需要的网络环境由原来的两地三中心，演变成多地多中心，DC的流量如何调度，是一个基本能力。流量的可视化，针对网络设备buffer、管道通信质量的细颗粒度监控，成为网络运营关注的重点GOP

S

全球运维大会

2019·

上海站

银行网络运维7*24应急响应UIOC重大故障现场抗压能力快速决策升级汇报机制应急预案快速执行ECC技术栈TCP/IP协议栈OSPF\BGP\STP\LACP\MPLS

VPN数据包分析能力Liunx系统操作能力Python\shell脚本语言编程能力银行业务系统理解网络架构设计监管要求变更、故障处理规范要求审计风险评估能力操作规范、管理规范。。。等合规制度GOP

S

全球运维大会

2019·

上海站

目录银行网络运维的日常1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP

S

全球运维大会

2019·

上海站

WeBank分布式架构GOP

S

全球运维大会

2019·

上海站

全分布式架构支持业务快速发展交易笔数峰值>3.2亿/天消息峰值>24万/秒子系统>1000个物理服务器>8000台注：“交易”是指交易请求从进入银行前置到处理完成并返回的整个过程，是对端到端的交易笔数统计。“消息”是指系统间调用的消息，是对系统间相互调用次数的统计。数据截至2018.12WeBank分布式架构微众架构互联网＋传统金融海量用户海量交易海量数据安全稳定影响可控高性能亿级客户量亿级日交易量高弹性容量扩展性性能扩展性低成本开源技术低端服务器资源高可用快速恢复高冗余低风险故障影响隔离影响范围小高标准自动化运维规模化管理安全可控的全分布式架构GOP

S

全球运维大会

2019·

上海站

7*24不停服-网络服务能力挑战实时金融交易-网络稳定可靠连接合作伙伴能力智慧运维网络架构稳定，变更、故障流量切换对业务无感知。连接金融机构、连接合作伙伴，具备开放、便捷，灵活、安全的接入能力。海量用户服务能力，互联网接入流量需要弹性灵活跨地域BGP切换，避免运营商网络故障对用户接入影响实时的网络监控告警、东西向流flow采集分析、容量监控预警，故障一键隔离自动化连接用户GOP

S

全球运维大会

2019·

上海站

WeBank生产网架构构建思路可扩展性流量可调度可切换低延时可视化标准化GOP

S

全球运维大会

2019·

上海站

网络转发必须是低时延出口流量可跨DC间进行调度DC间网络可平行扩展架构设计必须标准化、模块化管道流量可采集可回溯Farbic节点故障可快速倒换WeBank生产网架构构建思路DCN架构应该如何来搭建BGP还是OSPF？容器的网络方案如何适配？承载Hadoop大数据业务能力RDMA场景网络支撑能力东西向Flow采集分析展示能力GOP

S

全球运维大会

2019·

上海站

WeBank生产网架构构建思路CSWCSWCSWCSWAGGAGGAGGAGGLCLCLCLCTOR TORTOR TOR TOR TORTOR TORD 隔C 离N 带外

D 管联M

理区

Z 区BDBD城域内网WC WCLCLCSRVSRVTORTORLBLBFWFWWCWCWC WCLC LC LC LC LC LCSRV SRV SRV SRV SRV SRVTOR TOR TOR TOR TOR TORLB LB LB LB LB LBFW FW FW FW FW FW城域外网DC隔离N 带外联管理DM区

Z 区数据中心网络架构GOP

S

全球运维大会

2019·

上海站

连接合作伙伴ARARARARARWeBank

DCICPE上海SDN-WAN运营商公有云平台SD-WAN公有云平台SD-WAN运营商传输网公众互联网EXPEXPLDLDLDARASLDARAS城市1EXPEXPLDLDLDARASLDARAS城市2CPE北京CPE成都运营商传输网IDC外联接入区运营商传输网IDC外联接入区FWFWFWARDCI专线与SD-WAN运营商对接用户可以通过三种方式灵活接入WeBank网络，VPN/运营商专线/SD-WAN链路复杂多样的接入场景：1、不同业务场景对网络质量要求不一样，高频或低频2、接入条件限制，如何快速接入？3、实时性高、要求HAGOP

S

全球运维大会

2019·

上海站

数据中心DCI连接公众用户-互联网出口流量切换多活系统的设计，需要考虑多个层次的组件实现负载分担与故障自愈，不仅仅是网络层，但网络是实现多活的第一道入口网络接入层负载均衡防火墙APP服务器DB网络接入层负载均衡防火墙APP服务器DB使用DNS切A记录，运营商缓存记录怎么办？负载均衡心跳同步如何解决，配置如何统一?防火墙心跳同步是否需要跨机房，策略如同步，防火墙路由模式部署还是透明部署

？GOP

S

全球运维大会

2019·

上海站

连接公众用户-互联网出口流量切换EXPEXPEXPEXPEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCDC内网DC内网公众互联网CRCRCRCRDC内网BD BDBD BDBD BD主路由

备路由主路由备路由

WeBankDCI网络AR异地DMZ接入专区关键点：GOP

S

全球运维大会

2019·

上海站

不依赖于DNS更改A记录等方式实现流量切换，7*24实时金融业务要求入口流量快速切换，通过BGP路由优先级方式实现导流，在秒级范围内完成切换防火墙切换时，需关闭TCP-syn包检查，仅做状态检测防火墙，流量平稳后，恢复TCP-SYN检测，不做跨机房配置同步，由运维平台自动化对比配置一致性检查LB发布VIP时，与交换机联动发布32位路由，打上community属性，可按单条路由进行精细化调度。LB间不做跨DC心跳同步，配置同步由自动化工具实现架构设计最重要的是什么?规划时需尽可能预想可能出现的运营风险听取意见，多轮架构测试，输出轮证数据考虑建设后的可扩展伸缩性依据业务需求来综合设计，一定要满足业务诉求稳定与灵活上做好平衡，没有100%完美的设计符合业务需求，按业务需求适配架构，可持续为业务提供服务才最重要GOP

S

全球运维大会

2019·

上海站

关于SDN架构GOP

S

全球运维大会

2019·

上海站

金融同业也在逐步设计云架构、行业云、公有云。归根结底还是业务需求驱动生产上一定是最需要云化的场景，做SDN架构适配混合云解决大部份弹性伸缩问题大部份SDN架构考虑网络自动化运维，网络资源编排，资源调度等问题转发面是否需软化，需要结合网络规模与业务硬性需求看，具体问题具体分析目录银行网络架构的模样1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP

S

全球运维大会

2019·

上海站

网络故障几个场景APP已经提示网络出问题程序已经抛出异常，socket超时，请网络同学排查一下应用耗时增加时与该曲线毛刺时间点匹配网络有问题GOP

S

全球运维大会

2019·

上海站

网络故障几个场景-2设备类告警GOP

S

全球运维大会

2019·

上海站

协议DOWN防火墙HA切换端

UP/DOWNVPN

隧道中断板卡异常主控异常电源、风险端口错包……转发类、容量告警内外网质量异常数据包转发异常出口带宽告警……故障处理流程01，网络自身是否有告警，转发层面是否现异常，网络质量是有异常确认网络异常，执行异常处理，无效，按应急预案执行0203

异常处置结束，总结异常原因网络平台异常?紧急故障情况下，应急预案内容是否为最新修订的，近期网络架构有调整，可否按此版本执行？原因无法明确时，有哪些数据可说明网络平台目前的状态？GOP

S

全球运维大会

2019·

上海站

网络平台应对故障的解决思路可视化：SNMP采集流量常态化保存，基于streaming

telemetry采集INT数据，获取完整DC内东西Flow分析网络质量，基于GRPC

秒级获取核心设备buffer队列信息、丢包统计。针对不支持INT的交换芯片，采用ERSPAN方式依据业务需求按需采集，实现自动化的丢包、异常突发流量检测分析。架构标准化：IDC建设、网络扩容时，低阶设计交付物应系统化输出，如连接关系、IP分配、路由发布模板、安全基线配置运维智能化：需要主动分析现网网络运营数据做好容量管理、故障预测。紧急故障，一定避免手工执行故障处理，应急预案落实到SOP自动化中，故障场景预先配置好SOP执行脚本，系统自动下发架构标准化运维智能化网络数据可回溯网络建设应标准化、模块化，避免建设时留坑，防止后期运营风险主动分析现网运营指标数据，预测容量变化，实时巡检稳健的网络平台可视化GOP

S

全球运维大会

2019·

上海站

网络运营平台的支撑由运营需求，驱动功能模块的开发GOP

S

全球运维大会

2019·

上海站

网络基础数据一定是网络团队人员最清楚最熟悉，统一收集数据存储供CMDB、运营工具、计费平台使用SOP自动化思路网络异常告警命中SOP场景SOP自动化触发网络异常告警收敛至指定微信群关注，有异常第一时间告警，告警信息附带对应SOP编号SOP号对应相应处理置流程执行SOP场景对应应急预案脚本，运维平台生成执行事件单，审批后立即执行GOP

S

全球运维大会

2019·

上海站

目录银行网络运维的日常1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP

S

全球运维大会

2019·

上海站

NetDevops的一些思考GOP

S

全球运维大会

2019·

上海站

1、以稳定运营为目标两地三中心、单IDC机柜规模<50，CLI可以解决一切问题，有任何的网络故障、变更，人肉搞定。2、以稳定运营为目标+多地多数据中心网络集群单IDC机柜规模>100，CLI依然可以解决一部份问题，网络运维者力不从心。。需求真的很常见：我需要优化防火墙架构，