云计算架构设计精简版

ZZ互联网为互联网而生2016年1月云计算方案——汇报1、项目总体架构描述——系统现状分析WEB前端服务器易耗CPU，内存需求小，对磁盘大小及性能要求不高缓存服务器除了对内存需求较大，对其他资源需要不多中间件服务器对cpu要求不高，内存需要偏大，对磁盘空间及性能要求不高应用服务器通常对cpu，内存，磁盘没有特别需求，需求可大可小，对磁盘性能要求不高提供全面快捷的资源服务新华网云数据中心技术支撑类基础业务类报道支撑类社交应用类数据中心运营服务类数据库服务器对cpu、内存、磁盘性能、网卡性能都需要较多资源。对磁盘大小需求不多存储服务器需要多组服务器做分布式存储，用于NAS、对象存储负载均衡器F5，A10等第三方硬件；外围边界软硬件设备应急制定类基础设施类大数据业务类1、项目总体架构描述——系统总体需求业务需求技术支撑类基础业务类报道支撑类社交应用类运营服务类应急定制开发基础设施类大数据业务类功能需求架构及虚拟化功能需求管理功能需求兼容性与扩展性功能需求可靠性功能需求性能需求虚拟机性能要求存储性能要求网络性能要求关键技术需求利旧与兼容需求云平台管理私有云和公有云支持多租户统一运维运营管理平台扩容机制系统总体需求跟踪安全需求云平台外层防护需求云平台内部防护需求云安全应用需求2、需求分析需求分析计算资源分析存储资源分析资源管理分析PAAS平台分析大数据分析安全分析现有设备分析虚拟化环境资源统计存储容量和性能分析运维自动化服务编排封闭开发架构缺乏支撑能力安全隐患未整合数据采集东西向安全南北向安全根据实际业务增加相应部件升级2、需求分析——安全分析随着云计算的迅速崛起，云安全也越来越备受业界的重视。云安全联盟CSA发布的《十二大云安全威胁》报告给出了十二种云安全的严重威胁：数据泄露、凭证被盗和身份验证如同虚设、界面和API被黑、系统漏洞利用、账户劫持、恶意内部人士、APT寄生虫、永久的数据丢失、调查不足、云服务滥用、拒绝服务（Dos）攻击、共享技术，共享危险。公司硬件资源总体情况新华网安全现状云外层基础建设云平台内部需求分析云安全应用与运维公有云与私有云衔接安全分保安全需求涉密信息系统也按照秘密、机密、绝密三级进行分级管理等保安全需求对物理层、系统层、网络层、应用层、管理层多个维度进行防护企业安全要求保护自己的资产业务流不受攻击传统安全挑战一：租户安全挑战二：虚拟化安全挑战三：运维管理安全新增挑战云安全3、总体方案设计——建设目标总体建设目标统筹规划、整合现在技术系统资源，全面打造可持续提供基础设施、平台和应用三种服务形式的云计算平台。实现资源的按需分配、按需扩展，实现系统从粗放型分散建设向集约型云计算模式转变，最终形成统一的以“信息集成、资源共享”为特色的云计算管理平台和云计算服务平台。总体建设内容1、可以实现将新华网的硬件资源重新进行统一管理、统一分配、统一部署、统一监控和统一运维。实现业务系统硬件资源的一键式分配，缩短系统搭建周期。2、完成云平台的分区分层分级设计和建设，实现不同区域资源规划和安全隔离，实现云运营、云管理、云运维、云安全、云应用等模块的标准化、流程化、可视化。3、实现自建云计算平台与公有云的资源共享和融合，通过对自建云计算平台和公有云进行统一管理，实现资源和服务之间的互通、动态调度、必要数据的相互备份等。3、总体方案设计——建设原则总体策略实用性、先进及成熟型、高可用及高可靠性、用户体验及可维护型、经济性、兼容及扩展性、开发性、安全性融合计算、存储、网络、数据、应用资源安全可信、可靠按需扩展伸缩兼容开放绿色节能可用性先进性可维护性实用性经济性激发创新、循环生态安全性扩展性3、总体方案设计——总体架构设计总体架构设计拓扑3、总体方案设计——总体功能设计功能架构图3、总体方案设计——资源池分区规划资源池分区逻辑架构新华网云计算数据中心逻辑架构分为基础设施层、虚拟资源池、物理资源池、Docker资源池、安全管理区和运维管理区组成。逻辑架构图如下图所示：3、总体方案设计——资源池分区规划容量性能测算按照虚拟CPU与物理CPU的整合比为1:1，每台物理服务器CPU可用量为80%计算，内存整合比也为1:1，可用容量为80%。物理服务器内存（GB）=虚拟内存（GB）/0.8物理服务器总CPU=vCPU*虚拟机数量/0.8IT资源类型建议云虚拟环境虚机需求数量物理服务器资源总量vCPU内存(G）本地磁盘(G)CPU内存(G）存储容量WEB前端区10101001722150215017200缓存服务区432100168840672016800中间件区6162004303225860086000应用服务区4820082241108220164400数据库1型区83220027827801112055600数据库2型区43220031015501240062000虚机资源汇总

000所需物理机数量预估218

3、总体方案设计——计算资源规划设计计算资源池化设计3、总体方案设计——计算资源规划设计计算资源分析IT资源类型主机资源需求特点虚拟机数量集群数量物理服务器WEB前端区整体资源消耗不高，对于CPU和网络有中度需求，内存需求较小，对于磁盘容量和IO要求很小。17222缓存服务区CPU需求较低，内存容量需求较高，对网络小包转发能力要求较高。16821中间件区整体资源消耗适中，对于CPU、网络要求不高，对内存要求高，对于磁盘容量和IO要求很小。43027应用服务区各方面资源比较均衡82252数据库1型区CPU和内存需求相对较高，需要非常好的磁盘IO性能。27835数据库2型区CPU需求较低，内存容量需求较高，对网络小包转发能力要求较高。31020大数据区CPU要求低，需要大内存，对磁盘存储空间要求较高，但对磁盘的随机IO能力要求不高。100PAAS平台区各方面资源比较均衡16运营运维管理区对CPU、内存要求较高，对于磁盘容量有要求，网络要求适中1计算+网络密集型计算密集型计算密集型+顺序I/O计算密集型+随机I/O计算密集型计算密集型计算密集型3、总体方案设计——计算资源规划设计计算资源部署设计命名规范虚拟数据中心命名规范集群命名规范物理主机命名规范虚拟主机命名规范虚拟主机规划整体规划虚拟主机配置规划虚拟机管理虚拟机创建虚拟机配置虚拟机迁移虚拟机扩容物理主机规划集群架构设计集群设计原则资源需求原则物理服务器管理BIOS设置内存设置I/O设置3、总体方案设计——计算资源规划设计服务器利旧分析服务器型号配置利用原则HPDL380Gien92*E52630V3/16GB/300GBSAS10K/4端口千兆网卡/500W电源可用于WEB服务器、缓存服务器使用HPDL380Gien92*E52630V3/16GB/480GBSATASSD+1TB12GSAS7.2K2.5/4端口千兆网卡/500W电源可用于数据库1型区使用DELLR7302U机架式服务器，带可调节机架安装导轨，2颗

IntelXeonE5-2630v3CPU,6块热插拔2.5寸1T7.2KSAS希捷硬盘和2块2.5寸480G固态硬盘；128GB（8×16GB）DDR42133MHzRDIMMsECC内存,PERCH730PRAID卡2GB缓存,4端口千兆Inteli350网卡,热插拔冗余电源，单电源功率495,内置iDRACExpress设备远程管理控制卡1块,整件产品5年原厂售后服务。可用于数据库1型区使用DELLR7302U机架式服务器，带可调节机架安装导轨，2颗

IntelXeonE5-2630v3CPU,8块热插拔2.5寸300G10KSAS希捷硬盘；128GB（8×16GB）

DDR42133MHzRDIMMsECC内存,PERCH730PRAID卡2GB缓存,4端口千兆Inteli350网卡,热插拔冗余电源，单电源功率495,内置iDRACExpress设备远程管理控制卡1块,整件产品6年原厂售后服务。WEB服务器、缓存服务器使用DELLR7302U机架式服务器，带可调节机架安装导轨，2颗

IntelXeonE5-2630v3CPU,8块热插拔3.5寸4T7.2KSAS希捷硬盘,2块7.2K2.5寸

SAS1TB；128GB（8×16GB）DDR42133MHzRDIMMsECC内存,PERCH730PRAID卡2GB缓存,4端口千兆Inteli350网卡,热插拔冗余电源，单电源功率495,内置iDRACExpress设备远程管理控制卡1块,整件产品7年原厂售后服务。开发测试类使用DELLR7302U机架式服务器，带可调节机架安装导轨，2颗

IntelXeonE5-2630v3CPU,12块热插拔3.5寸4T7.2KSAS希捷硬盘和2块2.5寸1tb后置；128GB（8×16GB）DDR42133MHzRDIMMsECC内存,PERCH730PRAID卡2GB缓存,4端口千兆Inteli350网卡,热插拔冗余电源，单电源功率495,内置iDRACExpress设备远程管理控制卡1块,整件产品8年原厂售后服务。分布式存储、大数据使用DELLR7302U机架式服务器，带可调节机架安装导轨，2颗

IntelXeonE5-2630v3CPU,12块热插拔3.5寸4T7.2KSAS希捷硬盘和2块2.5寸1TB后置；128GB（8×16GB）DDR42133MHzRDIMMsECC内存,PERCH730PRAID卡2GB缓存,4端口千兆新华网云计算平台需求22Inteli350网卡,SFP+万兆Intel网卡，热插拔冗余电源，单电源功率495,内置iDRACExpress设备远程管理控制卡1块,整件产品9年原厂售后服务。分布式存储、大数据使用所有利旧设备都需要增减配部件3、总体方案设计——存储资源规划设计根据目前新华网需求情况，针对现有环境，本次新华网云计算平台将采用专业分布式存储系统作为新平台建设的NAS、对象池使用，结合多副本、纠删码保护方式，客户端、标准NAS、对象、HDFS、S3、Swift等多协议支持方式，提供完善的数据存储服务。存储系统的拓扑架构新改造后的系统架构3、总体方案设计——存储资源规划设计全新分布式对称架构选用8台4U36盘位节点组成集群，每个节点SSD作为分层加速磁盘，其余35块选用4TBNL-SAS磁盘，整体裸容量达到4TB*35*8*0.93=1041.6TB≈1PB裸容量，如果是双副本情况下，容量将达到500TB左右实际有效可用空间；对于纠删码保护方式，采用4+2的节点故障域计算方式，可用容量将达到66%，可用容量达到687.06TB，并且可以保证两个节点损坏数据不丢失，业务不中断，单节点内磁盘损坏直接自动修复（只要有剩余空间）。根据目前市场主流分布式存储产品性能对比，整体分布式存储系统在连续读写场景下，单节点最高性能应达到1GB/s以上，8节点整体性能可达到5GB/s以上带宽，近线性提升。3、总体方案设计——存储资源规划设计按需扩展，按需购买性能容量按需扩展，按需购买线性增长，可预期，可获得数据均衡分布，消除热点堆叠扩展，3分钟完成单节点扩容性能容量3、总体方案设计——存储资源规划设计数据冗余保护纠删码技术针对近线存储数据池中非常有效。存储系统还支持纠删码K+2:1规则设置。即可以支持2块硬盘故障或者1个节点故障。这种保护方式在节点数量少于K+2的小容量系统中非常有效。例如，三个节点的集群，可以配置2+1的纠删。但是不可以配置4+2的纠删，因为4+2>3（且4+2<=2*节点数）个节点数。此种场景下，可以配置4+2:1的纠删。4+2:1的纠删冗余可以支持单个节点故障，或者任意两个节点同时各坏一块磁盘的故障。3、总体方案设计——存储资源规划设计疑问存储：ZZ存储是自研的还是用的谁家的（例如哪家开源的产品）在存储这里没有写如何利旧，希望得到一个总体的拓扑图将利旧和新购同时画在图里3、总体方案设计——资源管理规划设计云平台部署用户环境分为内网区和DMZ区，为保证内部数据安全，本次方案中租户端节点部署在DMZ区，方便AD用户直接访问租户端，进行业务的申请及资源调用，考虑到双网隔离，租户端建议部署在物理机上，物理机配置如下：ISM节点详细说明服务器硬件处理器随部署拓扑决定，至少4核网卡至少2块网卡硬盘无要求内存随部署拓扑决定，至少4G内存网络管理网、业务网主控节点部署在内网区，本次方案中部署在虚拟机上，主机配置如下：主控节点配置详细说明硬件配置处理器随部署拓扑决定，至少8核网卡至少2块网卡硬盘大容量，最好上TB内存随部署拓扑决定，至少16GB内存网络管理网3、总体方案设计——资源管理规划设计虚拟化对接物理机对接新华网前期已部署KVM虚拟化，采用烟囱式管理方式，给后期的运维管理带来困难，本次新增虚拟化设备，包括web前端服务区、缓存服务区、中间件服务区、应用服务区以及数据库服务区，大量虚拟化设备以及不同的虚拟化平台需要统一管理。用户先期采购大量物理设备，包括服务器、存储、网络和安全等，设备厂商不一，包括Dell、华为和ZZ等，本次方案建设将所有物理设备进行统一管理。3、总体方案设计——资源管理规划设计Ceph对接AD域对接3、总体方案设计——PAAS平台方案设计平台服务应提供云中间件与云应用的自动化部署、弹性调度、服务化管理、运行监控以及开发交付等功能，支撑新华网应用整合及创新。平台服务应包括弹性运行环境、基于云计算和分布式技术的中间件服务以及开放服务接口，为各种规模和各种类型的云应用，提供松耦合、高效和高可用、高度可伸展、安全可靠等特性的应用支撑环境。3、总体方案设计——PAAS平台方案设计3、总体方案设计——PAAS平台方案设计大数据处理平台面临业务的复杂性、多样性、数据量大、以及各种业务数据处理时间要求的不一致性，仅靠单一的产品无法满足业务需求，组合使用，效果更佳3、总体方案设计——大数据方案设计3、总体方案设计——包含大数据服务的新华网PAAS平台搭建IaaSPaaS物理资源SaaS统一服务交付MPP数据库内存数据库软件定义计算软件定义存储软件定义网络Hadoop开放架构应用商店应用平台云管理平台容器即服务Web应用关系数据库对象存储消息队列流程类应用交易类应用分析类应用创新应用…3、总体方案设计——大数据方案设计疑问大数据需要为客户详细写出：总体架构图拓扑图逻辑什么哪些是用过云来实现，那些是通过裸机来实现PASS平台能实现那些功能，如何实现，这些功能是二次开发还是购买一些组件攒的？还是两者都有。需要详细给出3、总体方案设计——安全方案设计ZZ云安全解决方案VM间通信安全虚拟机防病毒终端/租户安全应用安全数据安全虚拟化平台安全系统安全物理与环境安全网络安全虚拟机镜像安全北南西东信息流数据库安全审计加固系统（ZZSDP）主机安全加固系统（ZZSSR）安全应用交付系统（ZZSSA）——负载均衡安全运维管控系统（ZZSSC）——堡垒机云形态下，所有的物理资源均资源池化，用户共享计算、存储、网络等资源，那么需要在硬件上安装虚拟化等系列软件，对黑客来说多了层攻击的面，及虚拟化平台安全虚拟化安全？云环境下，租户随时随地均可接入访问资源，那么接入租户的身份认证及访问资源是否有合法权限Hypervisor安全VM安全ZZ的产品定位Hypervisor安全（SSR-V加固，业内唯一）VM加固3、总体方案设计——安全方案设计物理安全系统安全虚拟化安全数据安全应用安全租户安全ZZInCloudSecurity系统架构机房监控物理资源服务器监控检查主机系统加固（SSR-P）主机病毒防护Hypervisor强制访问控制虚拟机加固虚拟机防病毒管理数据库加固数据防泄密应用审计/防火墙抗DDOS攻击应用业务监控租户身份认证租户隔离云应用交付说明：ZZ安全产品全面云化ZZ安全产品已融合到InCoudManager里，各安全产品作为ICM的安全Option选件ZZ产品合作伙伴产品InCloudManager安全运维ZZ云安全体系3、总体方案设计——安全方案设计疑问安全部分主要解决哪些问题安全功能是买的还是ZZ自行开发的如何实现这些功能5、运维方案设计系统管理资源管理混合云管理业务管理智能监控运维管理安全管理5、运维方案设计——核心价值云主机云硬盘云物理机云盘云负载均衡云桌面云备份云防火墙云服务交付业务支撑管理运维全面监控展示拓扑性能管理日志报表部署管理系统配置组织划分业务流程资源计量计价计费资源管理资源审批InCloudManager5、运维方案设计疑问：6、运营管理方案设计——云服务交付云服务器

即租即用、弹性扩展的主机服务，提供丰富硬件配置和操作系统云桌面自服务模式申请云桌面环境，提供可移动的办公环境云盘提供文件的网络备份、同步和分享，空间大、速度快,并提供多终端访问负载均衡提供安全的链路负载服务，提升业务的访问效率物理云主机

提供最卓越的计算性能，满足高性能场景，可与云产品灵活结合使用服务目录：资本能力+资源能力+成熟云产品操作系统agent应用应用模板创建虚拟机选择应用模板及软件列表…6、运营管理方案设计——计费管理在计费管理模块设计中，管理端和用户端有不同的交互界面。管理端可进行资源单价、计费等级、组织余额等信息进行查询设置，另可设置欠费提醒方式及余额提醒等人性化服务：计费管理设计需要实现的体系结构分为业务逻辑层、业务支撑层与数据支撑层。7、产品选型——服务器选型资源均衡型WEB、缓存、中间件业界顶级水平SA5212M4IO密集型数据库1型、Oracle业界顶级水平SA5212M4存储容量型大数据、分布式存储业界顶级水平SA5212M47、产品选型——服务器选型推荐方案利旧方案推荐配置7、产品选型——存储选型分布式存储系统配置表选型依据：新华网目前存储数据较大，对功耗、空间都有较高要求，故本次存储系统采用较高密度的4U36盘位存储节点。节点间内部互联选用万兆光口交换机，对外提供服务依然采用新华网现有千兆网络。7、产品选型——安全设备选型ZZSSA：安全应用交付系统Internet数据库服务器存储系统MicrosoftLinuxUnixSolarisWebSphere应用服务器安全管理安全审计运维管理中心开发、第三方运维人员ZZSSC：运维安全管控系统ZZSSR：主机安全增强系统ZZSDP：数据库审计安全加固系统7、产品选型——虚拟化选型Hypervisor高效稳定的虚拟化计算Efficiency&StableSDCVMVMVMVMVM高性能高可靠易用性单物理机整合比200–1000内存预读，VM启动提升5倍vGPU图形运算加速管理节点高可用主机宕机保护：高可用HA业务连续：FT容错保障分钟级单物理机部署DRS实现资源智能自动调度安全性Hypervisor加固，VMM可信主动安全策略，链路加密专业的第三方灾备和安全集成企业级软件定义计算

7、产品选型——虚拟化选型功能丰富，提供最佳用户体验HAvMotionStoragevMotion管理节点高可用虚拟机快照虚拟机备份网卡多链路业务连续性vCPU绑定DRSvAPPNUMA巨型虚拟机存储QoS网卡QoS分布式交换机链接克隆高效性CPU、内存、磁盘热添加一键安装部署角色权限管理全VM生命周期管理性能监控和趋势分析易用性P2VV2V标准OVF支持多版本操作系统支持OpenStack、CloudStack支持开放性7、产品选型——云管理平台选型PrivateCloudPublicCloud开放融合的云服务与混合云管理Open&FusionManagerInCloud®ManagerInCloudOpenStack高性能单一数据中心，5k+物理机，20K+VMs，任务并发10K量级多数据中心，20k+物理机

，10+数据中心7大类资源监控：服务器、存储、网络、操作系统、中间件、数据库、业务应用20,000项监控项：数据中心全面监控高可靠微服务架构，分布式扩展无状态设计，与成熟灾备方案无缝兼容99.99%可用性易用BS架构，web客户端接入服务编排与服务器自动化，自动化管理多种客户端支持，随时随地管理企业级的云管理平台-InCloudManager异构的硬件、虚拟化、系统，和应用，业界最完整的异构资源管理客户价值避免厂商锁定，提高客户议价空间利旧已有虚拟化基础设施，降低整体采购成本监控运维效率的提升，带来人力成本的下降异构管理统一云化硬件兼容异构虚拟化全面监控既有虚拟化环境平滑迁移服务器、存储、网络、安全设备、中间件、数据库等ZZ和其它主流厂商服务器、存储设备、网络设备等InCloudSphere、vShpere、XenServer、KVM、PowerVMSDDC资源统一管理企业级的云管理平台-InCloudManager7、产品选型——云管理平台选型数据中心无人值守，业界领先的自动化运维状态监控全数据中心覆盖：服务器，存储网络、安全、中间件、数据库、WEB服务等状态展示拓扑图、故障分布图、实时监控告警管理自定义告警多种告警方式软件仓库软件批量部署和自动分发部署管理应用软件部署管理远程运维远程命令和任务执行巡检服务巡检计划、巡检任务、巡检报告客户价值智能的运维，快速定位系统问题，提高运维管理效率实时了解IT系统运行情况，异常情况预先告警，有效降低业务宕机风险软件简单易用降低系统使用复杂度，节省人力资源投入配置管理应用配置管理导入导出自动运维智能监控分析告警便捷运维软件部署故障分析应用软件部署管理告警管理自定义告警多告警方式企业级的云管理平台-InCloudManager7、产品选型——云管理平台选型面向客户业务，提供业界最灵活服务交付客户价值提供与业务匹配的组织和管理，提高审批效率，提升IT系统服务水平帮助数据中心实现由成本中心向价值中心的转变服务交付业务交付资源交付资源管理计量计费业务上线业务快速上线：应用服务、模板库灵活服务异构资源、负载均衡资源计量资源的量化和设置计费管理

租户资源使用计价计费报表管理丰富多样的展现形式资源服务虚拟机、云硬盘、云网络、防火墙等审批管理自定义审批节点组织管理组织、部门、资源角色关系企业级的云管理平台-InCloudManager7、产品选型——云管理平台选型异构资源池面向客户业务，提供可伸缩弹性云服务客户价值应对业务突发资源峰值需求资源合理调度和分配，资源价值最大化节省投资资源弹性VDC集群虚拟机负载均衡vCenterServerIncloudSphereIBMPowerVMXenServerOpenstackInCloudManager组织AVDC1VDC2VDC3组织BVDC1VDC2VDC3自动化编排及抽象服务基于业务感知的调度服务资源等