杭州华思基于云平台和云架构的OSS介绍

杭州华思通信技术有限公司2012-08杭州华思基于云平台和云架构的OSS介绍目录2第一部分第二部分华思网管架构说明第三部分运营商企业云的优劣分析华思网管架构特点第四部分华思网管在云平台部署案例简介杭州华思网管系统架构特点3虚拟化华思综合网管业务层通过Monet分布式性能监测引擎和CHASH一致性算法，对系统的任务调度进行了分布式处理，从而实现了对物理硬件的“虚拟化”。云计算中心的特点分布式

华思网管技术架构是基于Erlang技术体系，大规模Linux主机集群，分布式并行采集和海量性能数据存储的面向云计算的架构设计。物理硬件“虚拟化”4系统采用云计算中常用的CHash(一致性Hash)算法实现采集任务的动态分发，即网管采集平台通过CHash算法动态的通过采集分发主机（master），把采集任务根据物理硬件的配置情况均匀的分发到各个采集机上，从而实现了物理设备的虚拟化。每个“虚拟机”可以当做一个“执行任务节点”，同时采集分布下发主机（master）也支持集群。这样就大大降低了对物理主机运算能力的要求，可以将数据运算分布到各个采集节点中。分布式处理系统架构5杭州华思的综合网管业务层采用Erlang语言开发Monet分布式性能监测引擎、DMIT分布式管理信息树、Evabus并发事件处理引擎；采集层是基于脚本和可执行文件的Monitor与Probe，主动轮询网络性能数据，接收网络SNMPTrap等事件。目录6第一部分第二部分华思网管架构特点第三部分运营商企业云的优劣分析华思网管架构说明第四部分华思网管在云平台部署案例简介系统架构设计原则7华思网管面向云计算的技术架构，既可以支持物理Linux服务器，也可以支持云计算虚拟化的基础设施。为平滑向云计算基础设施演进，应用程序层面华思网管基于下述几个设计原则:1、应用与采集服务器完全基于Erlang并发编程语言和技术体系实现，支持大规模物理虚拟服务器的集群。2、业务分布与大规模的并行计算，将软件层面的业务逻辑和计算，合理划分为大量的小进程，大规模分布到物理或虚拟基础设施上。例如子采集程序可多台集群，在每台服务器上按CPU核数启动相应个数的采集Worker。3、大量性能数据的分割与实时存储，能够通过有效的数据分割和分布式存储，实现大量性能数据的实时存储、访问与处理。华思网管技术架构图8华思网管面向云计算的技术架构，在技术实现上主要支持海量性能数据的分割存储和大规模的采集任务分布并行调度：基于Erlang构建的大规模并行采集框架，可支持大规模Linux物理或者虚拟主机的集群，支持100+的服务器规模，可向云计算模式下更大数量的虚拟服务器方向平滑演进。基于面向列的海量性能数据库，可实现1T+实时性能采集数据的存储，可将数据分割复制存储在10+服务器上，然后基于这些大量的历史数据进行各种深入的业务分析。Node/Worker分布式采集架构9华思网管采用Master/Node/Worker的分布式采集架构，Master负责根据地市切割或者负载均衡方式下发采集任务到各Node节点，每个Node节点对应一台物理或者虚拟服务器，Node根据服务器的CPU核心数启动多个采集Worker，并按一致性Hash的方式把任务下发到各个Worker。Errdb实时性能数据存储10Errdb(ExtensibleRoundRobinDatabase)是可扩展的环形的数据库，用于存储储时间序列性能指标数据。Errdb支持一致性Hash方式的分布式集群，可多台物理或虚拟服务器存储1T+的实时性能数据。Errdb采用内存+文件的方式存储最近一段时间(T0~Tn)之间的指标数据，概念模型如下图：华思网管系统架构优势11①基于“云计算”的分布式算法，系统可以直接在云资源平台进行部署或对现有的物理主机进行虚拟化的分布式计算处理。②分布式计算可降低对物理主机的硬件要求，