大数据与商务智能个人习作

大数据与商务智能个人习作上海贝尔股份有限公司私有云管理分析平台设计规划葛晓波Agenda背景及挑战私有云管理分析系统整体规划架构设计数据分析体系数据挖掘模型背景与挑战背景及挑战上海贝尔股份有限公司（下称上海贝尔）是一家国内著名的通讯设备研发和制造企业。其IT架构和应用的规模在国内企业来说是非常巨大的，有超过300台以上的服务器以及近百个各类应用系统。为了更好的提升服务器和存储设备的利用率，该公司开始将内部的基础架构私有云化。上海贝尔选用了VMware作为他们的私有云虚拟化底层平台。在完成虚拟化之后，起初系统的资源利用率得到了很大的提升，但是经过一段时间的运行，资源的使用量居然还比没有虚拟化之前更多了。因此企业决定通过一套私有云的管理和分析系统来完善整个云资源的管理。问题分析根据初步的分析，发现主要是因为以下原因造成的资源使用问题由于虚拟资源申请便利，同时没有合理的计费系统，业务部门对于虚拟资源的申请非常随意大量的虚拟机在完成功能后没有对资源进行回收，造成大量的资源闲置对于开发测试用途的虚拟资源管理混乱，出现很多重复申请对于虚拟机的资源使用情况没有统计，很多应用占用了比实际需求更多的资源私有云管理分析系统整体规划私有云管理分析系统整体规划建立私有云资源的生命周期管理对于CPU、内存、存储等资源进行池化管理和容量监控建立资源使用计费体系采集运行数据，建立报表和分析模型资源生命周期管理通过对于私有云资源使用周期的管理，实现资源的有效使用和到期释放在资源到期前自动提醒用户对资源进行续租、停用备份或者完全释放，使得资源使用得到优化资源池化管理和容量监控将整个私有云的CPU、内存和存储资源分别作为不同的资源池进行统一管理和分配实时了解资源的预定情况以及剩余资源的状况实时监控实际资源的使用情况，并和预定情况进行比对建立计费体系通过对于整个私有云建设成本以及运行成本的分析，建立有效合理的计费体系业务用户采取按用量以及时间计费的方式按月向用户提供计费账单，并在财务结算中体现。初期将采用静态容量方式计费（按照预定资源量和使用时长计费），后期随着数据分析的深入，将采用动态容量方式计费（按照实际使用负载、用量和使用时长计费）数据采集、报表和分析模型通过对于Hypervisor底层的资源使用数据的实时抽取、系统运行数据的抽取以及监控系统的数据实时抽取，对于各类资源的使用情况进行精确记录设计符合各个层次管理需要的报表，为系统管理人员、应用管理人员、高层领导提供各自的报表数据建立分析模型，分析资源的使用特点，实现有效发现多余的资源占用、找出系统运行的忙闲规律、预测资源的扩容时间等功能架构设计架构设计界面展示报表展示数据分析体系数据分析体系状态数据采集实时数据采集分析报表设计状态数据采集状态数据主要包括以下几类资源的预定数据（包括虚拟服务器的CPU核数、内存容量、存储的容量和形式）资源的使用周期数据（起始和结束使用的时间，续租的情况）已经申请但是尚未被批准使用的预约资源使用量实时数据采集实时数据主要包括以下几类虚拟服务器实时的CPU、内存以及存储的使用数据物理服务器实时的CPU、内存使用负载以及SAN/NAS存储阵列的容量以及负载分析报表设计–系统管理员实时资源报表实时资源池使用情况可用及已使用内存情况可用及已使用虚拟CPU内核情况存储实时报表当月资源使用报表已使用内存汇总已使用虚拟CPU内核汇总分析报表设计–系统管理员月度资源报表资源池使用汇总可用及已使用内存汇总可用及已使用虚拟CPU内核汇总存储整体汇总数据中心资源汇总数据中心存储汇总存储设备资源使用汇总资源趋势报表资源池趋势分析存储趋势分析数据中心存储趋势分析存储设备资源趋势分析分析报表设计–应用管理员业务服务业务服务实时报表业务服务趋势分析成本月度成本汇总成本趋势分析分析报表设计–高层管理人员月度报表资源池汇总业务服务汇总数据中心虚拟机汇总成本汇总整体成本汇总应用/部门成本汇总虚拟机申请汇总趋势分析资源池趋势分析成本趋势整体成本趋势应用/部门成本趋势虚拟机申请趋势报表实例-实时存储报表当前时间的存储信息，根据不同的资源池进行分类。查看各个存储单元的实时使用情况。（下面报表样例中可以发现大部分存储存在“超分配”的情况，即总申请容量已经大于物理存储的容量）报表实例–实时资源池报表根据资源池分类，分为生产、内部开发、海外开发3种，点击不同的资源池展现各自的报表。包括IP数量、虚拟CPU数量、内存申请数量（GB），存储的已分配和可用所占比例。时间为当前时间。报表对于业务的意义通过比对资源申请数量和实际的使用数量，发现过量占用资源的应用。掌握应用对于资源的动态占用规律，有效的进行物理资源的动态调配预测资源用量，有效规划系统扩容成本可见，使得业务对于资源的使用能更为有效数据挖掘模型数据挖掘模型建立的意义通过数据的采集和报表的设计，已经使得私有云管理方面得到了巨大的提升。但是通过这些数据的进一步挖掘和建立相关的数据模型，将能进一步的提升计费的合理性以及系统负载的预测能力。动态计费模型–大数据处理该项目在初期投入使用时，成本核算模型是静态的，完全根据资源的申请使用量来计费的。但是不同的应用对于资源实际使用量和申请量存在很大差异，因此后期将根据实际的资源使用情况来进行计费。动态计费由于需要根据实时的负载情况进行统计，因此数据量非常巨大，特别是CPU负载情况变化很快，对于模型的建立提出了挑战。为了能够大量处理私有云中所有虚拟机的实时负载数据并计算成本数据，最终我们使用最新的大数据处理技术-内存数据库（in-memoryDB）技术，将大量的实时数据存入内存数据库，加快数据存取的速度，并在完成计算以后，将结果存入传统的磁盘数据库中。负载预测模型-商务智能负载预测对于私有云管理有巨大的意义。通过预测模型在应用负载尚未达到极限前发出预警，然后通过自动化技术，自动调配更多资源到对应的应用中，从而避免过载的产生。利用CPU、内存、存储等的用量，通过监控系统采