iMasterNCE-Campus可靠性技术白皮书

1、iMaster NCE-Campus可靠性技术白皮书华为技术有限公司HUAWEI文档版本01发布日期2020-07-08iMaster NCE-Campus V300R019C10 可靠性技术白皮书目录 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 1简介.1.2前言2. HYPERLINK l bookmark6 o Current Document 2.1大容量高可靠的诉求 23软件可用性3.4控制器整体架构与可靠性方案 4. HYPERLINK l bookmark8 o Current Document 控制器分布式架构

2、5 HYPERLINK l bookmark12 o Current Document 设备管理服务集群架构 6 HYPERLINK l bookmark14 o Current Document PortalServer 集群架构 7 HYPERLINK l bookmark22 o Current Document 性能采集集群架构 8 HYPERLINK l bookmark24 o Current Document 可靠性方案介绍 8 HYPERLINK l bookmark26 o Current Document 控制器集群与负载均衡机制 8集群技术8 HYPERLINK l bo

3、okmark28 o Current Document 设备连接负载均衡 9 HYPERLINK l bookmark30 o Current Document 数据库主备冗余 9 HYPERLINK l bookmark32 o Current Document 服务节点可靠性部署 9 HYPERLINK l bookmark34 o Current Document 异地容灾11 HYPERLINK l bookmark36 o Current Document 故障预防12故障信息采集 12健康度检查 12文档版本 01 (2020-07-08)版权所有？华为技术有限公司ii1简介iMa

4、ster NCE-Campus V300R019C10 可靠性技术白皮1 简介关键词：大容量、高可靠、分布式架构摘要：本文从iMaster NCE-Campus的发展趋势为切入点，结合大容量高可靠的关键技术架构方案、典型应用场景，从整体架构来介绍华为公司iMaster NCE-Campus（后面统称为控制器）产品大容量高可靠性的功能与特点，突出产品的独特亮点。最后结合主要应用场 景的介绍，重点讲述为客户带来的价值。文档版本 01 (2020-07-08)版权所有？华为技术有限公司2前言iMaster NCE-Campus V300R019C10 可靠性技术白皮O-2刖百随着设备管理规模、租户管

5、理规模、Portal准入认证规模的增长，传统的单机网管架构已经不能支撑大容量的业务需求。为了解决这些问题，控制器引入分布式架构，支撑大规模设备管理、租户访问、Portal准入等，并提供高可靠性的机制来保证分布式系统的稳定运行。2.1大容量高可靠的诉求2.1大容量高可靠的诉求随着网络技术的飞速发展，企业网络规模也在不断扩大，大中型企业客户需要管理和维护少则几百台多则上千台的设备， iMaster NCE-Campus需要管理很多租户的设备， 设备的总规模在几十万台以上，租户总规模在十万以上，设备上报的性能相关的数据 量非常庞大，大容量管理的诉求非常迫切。另一方面，随着企业信息化水平的提升，为了满

6、足用户接入企业网络，通常会把网络 铺设到办公区的每个角落。公司内大量流动的办公人员和合作伙伴经常会带着笔记本 电脑接入公司的局域网，这将给公司的信息安全带来很大的挑战。外来的非法终端接 入公司的网络，除了可能带来计算机病毒方面的安全威胁外，还可能通过接入公司的 网络，非法获取公司的商业秘密。另外， WLAN技术的成熟以及智能终端的普及，许 多企业开始考虑允许员工自带智能设备使用企业内部应用。终端Portal准入认证的规模在上百万，甚至上千万，这些同样是iMaster NCE-Campus在大容量高可靠上的迫切诉求。文档版本 01 (2020-07-08)版权所有？华为技术有限公司3软件可用性i

7、Master NCE-Campus V300R019C10 可靠性技术白皮3软件可用性iMaster NCE-Campus软件可用性可达到 3个9,即99.9%。iMaster NCE-Campus支持冗余部署：支持集群分布式部署，支持异地容灾。iMaster NCE-Campus支持故障检测自愈机制。iMaster NCE-Campus支持故障预防。文档版本 01 (2020-07-08)版权所有？华为技术有限公司iMaster NCE-Campus V300R019C10 可靠性技术白皮4控制器整体架构与可靠性方案iMaster NCE-Campus采用分布式架构来解决大容量高可靠性的架构

8、问题，主要包括设 备配置管理节点集群、Portal准入认证节点集群、数据采集节点集群、数据分析存储节点集群、分布式数据库节点集群。下面分别从整体架构以及各类集群的关键机制来介 绍iMaster NCE-Campus的分布式架构技术方案。控制器分布式架构可靠性方案介绍文档版本 01 (2020-07-08)版权所有？华为技术有限公司4控制器整体架构与可靠性方案iMaster NCE-Campus V300R019C10 可靠性技术白皮控制器分布式架构图4-1分布式架构整体部署视图中间件集群EB BB先言*益寺式也列分布式最存Z r w J，4云管理控制器业募集群遇串一一一把卧一起!大数靠备新为卷

9、耒集恭群 也每争妻柒群 牵，：.让集群英军要群食我均衡BBB鼓戈或不宜蚊兔猿畤点管理的设备类型：无线接入点AP、路由器AR、防火墙FW、交换机SW;数据库：iMaster NCE-Campus数据库集群，主要持久化租户面的业务数据；分布式缓存：iMaster NCE-Campus分布式缓存集群，主要存储一些对性能要求非 常高的业务数据，用于提升系统并发性能。文档版本 01 (2020-07-08)版权所有？华为技术有限公司4控制器整体架构与可靠性方案iMaster NCE-Campus V300R019C10 可靠性技术白皮设备管理服务集群架构Nc nxNetconfCIierr.Serice

10、 NetconfClientSenhce riacorifQientSeniGe较仇费F点我负蓑书点前台资窥 能更源向位嘘 营随MSP胆户、晒傩南崛口随南向设备连接到iMaster NCE-Campus时先经过软负载节点，由软负载节点进行负 载分担后分配到 NetconfClientService集群；NetconfClientService集群单节点支持最大 3万在线设备接入，集群规模可扩展； 租户面的业务请求先经过软负载节点，再负载均衡到业务集群节点上；文档版本 01 (2020-07-08)版权所有？华为技术有限公司4控制器整体架构与可靠性方案iMaster NCE-Campus V30

11、0R019C10 可靠性技术白皮PortalServer 集群架构Portal-ftSPortalServer集群ACA_Nginx ACA_NginxPorta ISer ver Portals er ver PorlalServerEB软负载节点轨於载节点Pota后台1资源TACA认证通迨移动设备南向对接设备南向设备连接到iMaster NCE-Campus时先经过软负载节点，由软负载节点进行负载分担后分配到 PortalServer集群；PortalServer集群单节点3万设备长连接，集群规模可扩展；移动端准入认证用户请求先经过软负载节点，再经过负载均衡到ACA_Nginx和Porta

12、lServer等服务节点；准入认证集群包含 CampusAccountService、RadiusServerService、PortalServerService等多个微服务集群。文档版本 01 (2020-07-08)版权所有？华为技术有限公司4控制器整体架构与可靠性方案iMaster NCE-Campus V300R019C10 可靠性技术白皮性能采集集群架构IBFusioninsight FusioninsightFusioninsight性熊果转群NetcoofClie NetconfClientService ntServiceNetconfClientServiceDataGol

13、lect DataColectorService orServiceDataCollectorService软费.蒙节点鱼我均衡EB就负戟节点性熊上报通道订阅性裁居南向设备性能数据通道通过iMaster NCE-Campus的软负载均衡节点负载分担到DataCollectService 集群；DataCollectService集群单节点支持南向 3万设备的性能、终端、位置数据的上报 处理，集群规模可扩展；可靠性方案介绍控制器集群与负载均衡机制集群技术控制器集群节点之间相互独立处理业务，单节点故障后业务可以自动切换到其它节 点，切换期间仅原故障节点正在处理的业务异常，控制器集群其他节点可以持续

14、正常 提供服务。例如，NetconfClientService集群单节点故障后，该节点设备离线重连到其 他节点，重连期间设备离线。文档版本 01 (2020-07-08)版权所有？华为技术有限公司4控制器整体架构与可靠性方案iMaster NCE-Campus V300R019C10 可靠性技术白皮控制器可靠性是通过集群技术来解决节点故障时业务不中断。设备连接负载均衡南向设备连接附着采用软负载集群实现，设备的TCP连接请求经由软负载节点按照负载策略直接转发给后台控制器集群节点。南向软负载节点主要转发两类TCP请求：设备与设备管理集群节点建立Netconf长连接，设备注册时连接请求会由软负载集群

15、负载到设备管理集群中的任一节点，由端口确定负载列表；设备与准入认证集群、性能采集集群建立长连接，设备触发建连时连接请求会由 软负载集群负载到准入认证集群或者性能采集集群中的任一节点，由端口确定负 载列表。该方案特点如下：无状态化设备管理集群、准入认证集群、性能采集集群所有节点无状态化，都具备设备分 片处理能力，均能够承担设备分片任务的处理，不存在单点性能瓶颈及串行约 束。高可靠性设备连接任务指派给某个控制器节点后，当该控制器节点故障时，软负载集群节 点会感知集群节点故障，设备重新发起注册请求时会负载到新的集群节点，相关 任务会由其他控制器节点来承担，消除单点故障。负载均衡设备注册时，软负载节点

16、会以在线控制器节点负载较低的优先分配，并且会动态 刷新在线控制器节点负载信息，保证所有控制器节点的设备连接负载整体上均 衡。数据库主备冗余控制器数据库多实例，每个实例主备部署，正常情况下主提供数据存储服务，当主实 例异常后，将执行数据库主备切换，原主降为备，原备升主，新主将继续为业务服务 提供数据库的读写能力。服务节点可靠性部署控制器单机部署场景，无集群可靠性保障，需要客户自备SFTP服务器，控制器支持定时备份数据任务，例如每天备份一次，单机故障时，支持重装版本执行数据恢复任务 恢复数据。控制器集群部署场景，节点的可靠性描述如下：.服务主备或者集群部署，无单点服务故障问题；.主备和集群服务分节

17、点部署；.单节点故障不影响整个集群服务功能；.物理机虚拟化部署场景，相同功能集群服务节点反亲和部署，即单物理机故障不 影响整个集群服务功能。最小集群部署视图如下：文档版本 01 (2020-07-08)版权所有？华为技术有限公司iMaster NCE-Campus V300R019C10 可靠性技术白皮4控制器整体架构与可靠性方案饰用版第11白t力葛部？时器.Futionln sightFusionlns3ght抑制器，Fusioninsight分布式部署，如果使用物理机虚拟化，9个VM需要5台物理机，可靠性部署规划建议如下：文档版本 01 (2020-07-08)版权所有？华为技术有限公司1

18、04控制器整体架构与可靠性方案海祥曜等D WAN服iMaster NCE-Campus V300R019C10 可靠性技术白皮中间料跟努VM7业酢第（不包含SD-WANS! 里）VM9ritsion Insight崛定（不包含SD-WAM* 名）VM8l-usonlnsirrtl-usianki sight异地容灾iMaster NCE-Campus容灾方案在两个地域部署两套独立的iMaster NCE-Campus系统,系统之间建立心跳、数据通信链路，依赖数据库的能力把主集群的数据实时备份到备 集群。在主集群发生重大故障无法恢复的时候，用户可以把备集群恢复成新的主集 群，从而继续提供业务服务。容灾指标容灾指标是指在当系统发生灾难（地震、洪水等）或长时间无法恢复的故障（如核心 磁阵损坏等）时，iMaster NCE-Campus在灾难过程中的最大数据丢失量及从灾难状态 恢复到可运行状态所需的时间，用于衡量容灾系统的数据冗余备份能力和业务恢复能 力。文档版本 01 (2020-07-08)版权所有？华为技术有限公司11指标项指标项描述限制条件配置类业务数据RPO=0minNA4控制器整体架构与可靠性方案iMaster NCE-Campus V300R019C10 可靠性技术白皮异地容灾倒换切换 时间(min)RTO=故障发现时间+15min(切 换时间)+设备上线时间125Mb