IDC数据中心运营建设方案

IDC数据中心运营建设方案IDC数据中心运营建设解决方案目录1IDC运营建设目标(3)2IDC服务模式(3)2.1整体架构(3)2.2虚拟主机资源租赁(4)2.3云存储资源租赁(6)2.4服务发展策略(7)3建设内容及技术方案(8)3.1虚拟化平台建设(8)3.1.1云平台架构简介(8)3.1.2cCloud虚拟化建设(9)3.1.3可靠性指标建设(26)3.2虚拟机租赁服务(28)3.2.1计费设计方案(29)3.2.2计费业务列表(31)3.2.3计费系统的特点(32)3.3自动化运维设计(32)3.3.1自动化运维管理(32)3.3.2深度融合(33)3.3.3预集成(33)3.3.4智能资源调度(34)3.3.5资源复用技术(35)3.3.6弹性扩容(35)3.4虚拟化云平台安全建设(35)3.4.1安全设计方案(37)3.5云存储系统(41)3.5.1cStor云存储系统架构(41)3.5.2系统基本组成(41)3.5.3系统功能描述(43)3.5.4云存储工作机制(49)3.5.5云存储关键技术(51)3.5.6云存储本地容错与诊断技术(53)3.5.7cStor快照技术(54)3.5.8云存储异地容灾与恢复技术(54)1IDC运营建设目标利用云计算云存储、服务器虚拟化技术，强化IDC数据中心公有云、私有云业务运营的能力，实现数据中心自身运营模式的突破。IDC运营建设将包括虚拟化云平台及云存储系统建设两大部分，实现以提供虚拟化云主机、云存储服务为主的运营服务模式为主建设服务运营管理平台，提升数据中心在IDC行业中的核心技术竞争力。中心将规划主要承载如下功能：省内社保行业数据的集中备份和容灾；省内医疗行业相关业务数据的集中备份和容灾；为各行业用户提供虚拟化主机资源和云存储资源服务的服务中心；承担包括电子商务、设备托管、资源租赁、科学计算等业务功能。2IDC服务模式建成后的IDC数据中心可针对不同的客户要求对外提供公有云和私有云服务。可着重针对具有优势客户资源的行业领域大型部门或者集团企业提供云资源、云环境租用或托管业务。2.1整体架构IDC数据中心将通过虚拟化技术和云存储技术，将物理设备资源对外以公有云、私有云服务的方式提供服务。2.2虚拟主机资源租赁单位或个人可以使用云计算技术来远程访问计算资源，这包括计算、存储以及应用虚拟化技术所提供的相关功能。无论是最终用户、SaaS提供商还是PaaS提供商都可以从基础设施服务中获得相应所需的计算能力，但却无需支持这一计算能力的基础IT软硬件付出相应的原始投资资本。通过简单的账号注册、服务申请、费用支付、服务交付过程，用户即可方便的获取虚拟化主机资源，用于部署自己的应用或数据平台。2.3云存储资源租赁数据中心整合了网络、计算、存储、操作系统等IT资源，采用云计算和分布式存储技术构建云存储平台，为客户提供面向各类应用的数据存储需求服务，客户无须购置、升级IT基础设施，即可快捷的满足对数据存储资源的需求量即时增长，避免资源闲置，提高使用效率。云存储服务可灵活的按使用时常或使用容量计费。通过注册平台账号，选择适合用户需求的云端存储空间大小和付费方式后，即可通过云盘的方式，获取云存储服务。云存储的服务可以通过客户端软件的方式或B/S架构的页面方式对外提供。云存储服务方案的灵活之处在于，通过空间授权的方式赋予用户使用空间的权限，但实际分配的硬件空间可以是弹性控制的，根据用户空间的增长程度，浮动的分配相应硬件资源。这对于数据中心的分步实施和改造扩容的成本控制非常有效。对商业私有云有需求的用户，可以提供独立的存储空间权限和带宽资源，保证用户数据信息的安全。2.4服务发展策略●专攻优势行业随着用户需求的逐渐细化，非基础运营商IDC应深度挖掘用户需求，关注自身更为熟悉的行业领域应用需求，因为不同的行业对IDC服务有不同的需求，需求是无限的，单个IDC企业不可能精通所有的行业应用。目前国外的一个发展趋势是IDC的行业应用化，比如专攻数据库服务行业的IDC，专攻金融服务行业的IDC等。●环保控制成本国家提倡绿色节能环保，因此作为IDC运营商应该适时抓住机遇，积极响应政策，利用更加先进的低功耗技术，绿色能源技术等为IDC运营服务，减少能量及管理上的开支，从而达到更为理想的PUE数值的范围，强化核心竞争力。●差异化增值服务学习互联网企业差异化服务经营的思维方式，服务内容从基础设施服务走向主机资源服务、基本云服务走向高级云服务等核心向高端增值服务转移，是品牌化竞争战略的核心体现。3建设内容及技术方案根据已有数据中心的设备设施条件，为了能更好的开展IDC运营服务，提供虚拟化主机租赁和云存储业务，方案主要介绍如何利用云创存储的cCloud虚拟化平台和cStor云存储技术来完善数据中心系统建设。3.1虚拟化平台建设3.1.1云平台架构简介云平台建设是基于云创的虚拟化服务平台进行建设的，充分利用了云创cCloud虚拟化技术诸多云能力，将先进的虚拟化技术和多样化的IDC业务进行完美结合，进而在IDC数据中心业务服务过程中体现出云的先进理念。通过云计算、云存储、云安全、虚拟化技术，将数据中心系统的软硬件资源集中管理、弹性配置，通过应用接口和服务运营平台，让IDC资源成为可对外灵活提供共享，可动态调整的基础资源，实现核心的IDC服务技术体系。云平台架构总体上虚拟化平台的建设主要包括以下内容：云服务平台建设：包括基础资源平台建设、虚拟化应用支撑平台建设、运营服务平台建设。基础资源平台建设：包括网络建设、安全部署、存储备份系统建设、运维管理系统建设。云平台主要由硬件资源、虚拟化管理系统、分布式云计算基础平台、云安全管理平台和应用接口组成。采用虚拟计算、虚拟存储、虚拟网络等技术，完成计算资源、存储资源、网络资源的虚拟化。同时通过统一的接口，对这些虚拟资源进行集中调度、管理和对外服务，从而降低业务的运行成本，保证系统的安全性和可靠性。1)虚拟化管理系统作为云创云服务平台的关键技术平台，通过虚拟化技术，将计算、存储、网络、安全等物理资源转化为可统一管理、灵活调度、动态分配的虚拟资源，构建IDC数据中心的虚拟化平台。2)云资源管理系统对虚拟化完成后的虚拟资源进行业务封装和管理，包括虚拟资源管理、镜像管理、计费管理、调度管理、用户管理，构筑云数据中心业务运营能力。3)分布式云计算基础平台提供分布式文件系统、分布式应用协同、任务调度、数据处理、过程调用等底层操作系统基础平台。4)云安全管理平台IDC运营服务的核心是数据服务，云安全管理平台服务针对云平台数据的存储安全、通信安全提供完整的保障策略，避免数据丢失、病毒入侵、漏洞攻击等危及数据安全的情况。5)应用接口IDC资源的最终服务对象是外部用户和应用，因此云平台应用接口是必须根据实际用户的需求和行业标准来进行设计和完善开发的，是云平台系统必不可少的组成部分。3.1.2cCloud虚拟化建设3.1.2.1cCloud系统简介cCloud是南京云创存储科技有限公司研发的虚拟化云计算平台。cCloud平台可以加速高伸缩性的公共和私有云IaaS的部署、管理、配置。帮助企业用户快速而轻松地将虚拟数据中心资源转入自动化、富于弹性且可自我服务的云平台中。另外cCloud兼容亚马逊API接口允许跨cCloud和亚马逊平台实现负载兼容。使用cCloud作为基础数据中心操作者可以快速方便的通过现存基础架构创建云服务。3.1.2.2cCloud平台框架cCloud采用了“框架＋插件”的系统构架，通过不同的插件来提供对不同虚拟化技术的支持。对于标准的Xen/KVM计算节点，cCloud需要在计算节点上安装Agent与控制节点进行交互；对于XenServer/VMWare计算节点，cCloud通过XenServer/VMWare所提供的XML-RPC远程调用接口与计算节点进行交互。cCloud虚拟化云计算平台采用计算设施、网络设施、存储设施来做基础设施，通过这3个组件框架搭建与业务流程引擎相结合，并封装成企业流量计费的API接口，与前台应用或终端无缝对接，用户可以通过笔记本、手机终端、其他终端，互联网访问cCloud提供的管理控制系统或API进行对虚拟云平台进行有效管理。3.1.2.3cCloud技术规格cCloud本身是一个虚拟化管理平台，但是它通过CloudBridge提供了与AmazonEC2相兼容的云管理接口，对外提供IaaS服务。下表是cCloud的主要技术规格：项目cCloud服务层次IaaS授权协议云创存储许可证需要动态资源调配主机模式下自动迁移VMVM模板支持VMConsole支持开发语言Java用户界面WebConsole,功能较完善负载均衡软件负载均衡(VirtualRouter)、硬件负载均衡虚拟化技术XenServer,OracleVM，vCenter,KVM,BareMetal最小化部署一管理节点，一主机节点支持数据库MySQL网络形式Isolation（VLAN），Share3.1.2.4架构说明（1）系统构架比较与OpenQRM类似，cCloud采用了“框架＋插件”的系统构架，通过不同的插件来提供对不同虚拟化技术的支持。对于标准的Xen/KVM计算节点，cCloud需要在计算节点上安装Agent与控制节点进行交互；对于XenServer/VMWare计算节点，cCloud通过XenServer/VMWare所提供的XML-RPC远程调用接口与计算节点进行交互。cCloud本身是一个虚拟化管理平台，但是它通过CloudBridge提供了与AmazonEC2相兼容的云管理接口，对外提供IaaS服务。支持XenServer、KVM、VMware虚拟机。提供了AdminConsole控制管理界面，用户可以直接通过浏览器访问，并进行管理云平台。（2）云管理平台还是虚拟化管理平台？在IaaS这个层面，云管理和虚拟化管理的概念非常接近，但是有一些细微的差别。虚拟化是指在同一台物理机器上提供多台虚拟机器（包括CPU、内存、存储、网络等计算资源）的能力。每一台虚拟机器都能够像普通的物理机器一样运行完整的操作系统以及执行正常的应用程序。当需要管理的物理机器数量较小时，虚拟机生命周期管理（资源配置、启动、关闭等等）可以通过手工去操作。当需要管理的物理机器数量较大时，就需要写一些脚本／程序来提高虚拟机生命周期管理的自动化程度。以管理和调度大量物理／虚拟计算资源为目的系统，属于虚拟化管理系统。这样一个系统，通常用于管理企业内部计算资源。云计算是指通过网络访问物理／虚拟计算机并利用其计算资源的实践。通常来讲，云计算提供商以虚拟机的方式向用户提供计算资源。用户无须了解虚拟机背后实际的物理资源状况，只需了解自己所能够使用的计算资源配额。因此，虚拟化技术是云计算的基础。任何一个云计算管理平台，都是构建在虚拟化管理平台的基础之上的。如果某个虚拟化管理平台仅对某个集团内部提供服务，那么这个虚拟化管理平台也可以被称为“私有云”；如果某个虚拟化管理平台对公众提供服务，那么这个虚拟化管理平台也可以被称为“公有云”。服务对象的不同，对虚拟化管理平台的构架和功能提出了不同的需求。私有云服务于集团内部的不同部门（或者应用），强调虚拟资源调度的灵活性。系统管理员需要为不同的部门（或者应用）定制不同的虚拟机，根据部门（或者应用）对计算资源的需求对分配给某些虚拟机的计算资源进行调整。公有云服务于公众，强调虚拟资源的标准性。通过将计算资源切割成标准化的虚拟机配置（多个系列的产品，每个产品配置相同数量的CPU、内存、磁盘空间、网络流量配额），公有云提供商可以通过标准的服务合同（ServiceLevelAgreement,SLA）以标准的价格出售计算资源。当用户对计算资源的需求出现改变的时候，用户只需要缩减或者是增加自己所使用的产品数量。由于AmazonEC2是目前比较成功的公有云提供商，大部分云管理平台都在某种程度上模仿AmazonEC2的构架。从这个意义上来讲，Eucalyptus提供了与AmazonEC2兼容或者是类似的接口，比较适合提供公有云服务。公有云和私有云之间的界限，就像“内部／外部”和“部门／合作伙伴”的概念一样，并不十分明显。根据项目需求的不同，可能会有不同的解释。3.1.2.5功能说明（1）支持的虚拟化技术虚拟化技术XenKVMXenServer/XCPVMWareLXCopenVZcCloudYYYYNN可以看出，Xen和KVM是目前获得最广泛的厂商虚拟化技术，紧随其后的是VMWare。需要注意的是，XenServer是对Xen的进一步封装，可以认为是一种新的虚拟化平台（用户在XenServer上不能直接执行Xend相关命令）。功能设置管理员可以通过cCloud管理界面灵活的设置服务项目。项目功能备注计算和存储服务创建服务cCloud通过设置虚拟硬件的参数来设置一个服务。比如说CPU的核数，速度，内存大小以及硬盘大小等。cCloud管理员可以设置多种服务方案。终端用户创建新的虚拟机时就可以根据实际需要选择合适的服务方案。一个服务方案包括以下内容：1.CPU、内存和网络资源设置。2.这些资源是如何计量的。3.这些资源是如何收费的。4.多久计算一次费用。更改和移除服务新的计算和存储服务一旦被创建就无法更改了，但是可以通过移除模式删除创建好的服务。网络服务流量计算cCloud存在4种类型的网络流量：1.公用网络流量。公用网络至于虚拟路由外侧，可供多个或某个账户使用共享网络。2.来宾网络流量。直接分配给虚拟机的网络，分为Isolated和Shared。3.管理网络流量。管理服务器与物理主机、系统虚拟管理地址之间的通信。4.存储网络流量。二级存储虚拟机SSVM和二级存储之间的通讯网络。虚拟来宾网络服务1.IsolatedNetwork–支持AdvanceZone–VLAN方式进行网络隔离–帐户可拥有一个或多个IsolatedNetwork–系统自动管理VLAN资源的分配与回收–可通过VR实现StaticNAT、SourceNAT、LoadBalancing、PortForwarding、Firewall、VPN、DHCP、DNS等网络服务2.SharedNetwork–支持BasicZone与AdvancedZone–多个帐户的虚拟机可部署于同一个VLAN中–采用安全组SecurityGroup方式进行网络隔离BasicZone–可在Domain、Account、Project层面设置可见性–在创建时需指定VLANID、IPRange、Gateway等所属物理网络的信息–PublicNetwork实质上是一个仅属于系统不对用户可见的SharedNetworkSecurityGroup安全组隔离cCloud可以通过设置限制一组虚拟机的网络请求，这是基于iptables/ebtables实现的。cCloud提供强大的管理功能使得用户可以十分方便快捷的对云系统中资源进行管理。项目功能备注虚拟机管理安装安装分为两种模式：1.在cCloud模板库中选择系统模板进行安装。2.新建一台空白的虚拟机，通过用户自己上传ISO文件进行安装。命名和更改组关闭虚拟机以后可以通过点击cCloud用户界面里的编辑按钮对虚拟机进行改名和更改所在用户组的操作。启动、关机、重启用户可以在UI界面里启动、关闭、重启虚拟机。但是在虚拟机系统内的关闭（比如说点击linux的“关机”按钮，“shutdown”命令等）是不能被系统识别的。如果具有高可用性的机器出现这种情况，cCloud会重新启动这台虚拟机。所以关闭虚拟机只能在UI界面里关闭。摧毁点击cCloud管理界面中的摧毁按钮虚拟机即可被摧毁。被摧毁的虚拟机所使用的计算存储资源以及IP地址会被系统回收，同时数据无法被恢复。更改服务管理员可以在虚拟机关机以后通过点击cCloud管理界面中的更改服务按钮更改提供给这台虚拟机的服务。包括是否开启高可用性等等。高可用性虚拟机可以被设置为具有高可用性。当一个有高可用性性的虚拟机出现问题时，cCloud就会自动检测到问题并且在同一集群中的可用空间重启这台虚拟机。高可用性是不能跨集群执行的。cCloud拥有一个重启虚拟机的保守方案，这个方案保证了同一时间不会有两个相同的虚拟机同时运行。虚拟机动态转移cCloud管理员可以将正在运行的虚拟机从一台主机上转移到另一台主机上，而不必要暂停服务，这项功能叫做手动实时转移。目标主机必须和起点主机在同一个及群里，并且具有足够的资源和空间接纳这台虚拟机。如果目标主机没有足够空间接纳这台虚拟机那么虚拟机会保持在正在移动状态直到目标主机具有足够的资源接纳它。被移动的虚拟机必须是未使用本地磁盘的。连接虚拟机任意客户可以连接自己的虚拟机，而管理员可以连接云系统中的任意一台虚拟机。通过点击cCloud管理界面中的控制台按钮即可。ISO文件使用客户可以上传ISO文件并且在自己的虚拟机当中挂载来使用这些ISO文件。ISO文件的上传是基于URL的，并且客户可以自己设置这些ISO文件是私人使用或者公用的。同一个ISO文件可以被多台虚拟机同时访问。主机管理维护模式主机可以被部署为维护模式。维护模式启动后，这台主机就无法再新建新的虚拟机，原来在这台主机上运行的虚拟机会被转移到另外的主机上。这种转移运用的不停机技术，不会断开客户使用的虚拟机。添加主机cCloud系统允许在不停机的条件下自由添加主机到指定集群。移除主机移除一台虚拟机，需要先让虚拟机进入维护模式，待到其上运行的虚拟机转移到别的主机上以后即可移除。接下来，对于不同的虚拟服务器系统有不同的移除方式：1.对于KVM和XenServer，关闭cloud-agent服务后使用UI管理界面里的移除按钮移除主机节点。2.对于vSphere主机，通过cCloud进行移除即可。重新装载管理员可以通过重新装载功能让被部署成维护状态的主机重新回到可以使用状态。高可用性主机可以被设置为具有高可用性。具有高可用性的主机会被管理系统监控。一旦具有高可用性的主机宕机，那么系统会尝试在与此主机同一集群中的其他可用空间中重新启动这台主机上原本运行的虚拟机。可用和不可用状态设置cCloud管理员可以根据需要设置自己的主机、集群、机架已经区域为可用或者不可用。在管理界面左边的菜单栏中打开基础设施面板。点击主机集群等元素名后的可用/不可用按钮可以更改这些资源的可用性。默认状态下新添加的主机、集群、机架以及区域是不可用的。设置为可用状态以后这些资源就可以为您提供服务了。模板管理添加模板cCloud默认自带了一个CentOS模板。管理员和用户都可以自己制作并且添加模板。制作模板管理员和用户通过以下步骤就可以轻松制作操作系统模板：1.登陆用来制作模板的虚拟机。2.在此虚拟机上安装自定义的软件和应用、拷贝需要放入的文件、做一些个性化设置等。3.关闭虚拟机。4.点击创建模板按钮，将虚拟机的磁盘卷文件转变为模板文件。（注意：1.制作用于Xenserver上运行的虚拟机模板需要安装PVdrivers/Xen工具，确保可以进行动态转移。2.制作用于vSphere上运行的虚拟机模板，请确保其上安装了VMware工具。3.控制模板的大小，在网络条件不佳的情况下不要创建体积过大的模板。4.如果你不想停止虚拟机来创建模板，你可以通过磁盘快照来创建虚拟机模板。）存储管理添加/删除主存储器主存储器上存储用户虚拟机的磁盘卷文件。所以主存储器的速度直接影响用户体验。如果可能建议选用RPM磁盘作为主存储器。1.cCloud允许管理员动态的为系统添加主存储器，但是要确保主存储器上没有存有重要文件，因为一旦主存储器确认添加那么其上原本存有的数据就会被清空。2.删除一台主存储器配件需要首先设定主存储器为维护状态。添加/删除辅存储器辅助存储负责存储ISO文件、硬盘快照、虚拟机模板、备份文件等。1.cCloud允许用户动态扩展辅助存储器容量。2.删除一台辅助存储需要首先设置其为维护状态。磁盘快照cCloud支持为用户创建磁盘快照文件。磁盘快照即是当前状态下虚拟机磁盘卷存储的文件。用户可以设置定时自动创建这些磁盘快照文件。这些磁盘快照文件可以用于数据恢复，也可用于虚拟机模板创建。3.1.2.6可靠性警告和日志cCloud提供了警告和事件以协助系统的管理。系统的警告一般通过邮件发送给管理员，通知管理员系统所发生的异常情况。为可配置的。事件是针对于用户和管理员的，事件被存储在管理节点的数据库里。管理员警告出现以下情况会给管理员发送邮件：（1）管理节点集群的CPU、内存或者存储资源过低（2）管理节点对于计算节点的心跳监控3分钟以上没有反应（3）计算节点集群的CPU、内存或者存储资源过低事件日志事件日志分为两种：（1）标准事件INFO：当一个操作成功执行是产生此事件WARN：以下情况产生此事件：监控一个模板下载时网络断开；当一个模板被丢弃；当存储的问题引发卷不能正常反应存储的情况。ERROR：当一个操作未被成功的执行。（2）时间较长事件SCHEDULED：（只针对于异步操作）当一个异步操作被提交，就会产生此类型的事件；STARTED：当一个操作被执行，就会产生此类型的事件；COMPLETED：当一个操作执行完毕，就会产生此类型的事件。事件日志查询数据库日志可以通过用户接口查询。以下日志能够被系统捕获：（1）虚拟机的创建、删除以及正在进行的其他管理性的操作（2）虚拟路由的创建、删除以及正在进行的其他管理性的操作（3）模板的创建和删除（4）网络/负载均衡规则的创建与删除（5）存储卷的创建和删除（6）用户登录与退出3.1.2.7高可用HA多管理节点部署用户能够设置虚拟机是否HA。所有的虚拟机路由器虚拟机和系统虚拟机都会自动的被设置为HA。当HA-enable的虚拟机崩溃了。cCloud能够检测出崩溃并且自动在同一个可用的zone里重新启动该虚拟机。cCloud有相应的策略确保同一时刻不会有相同的两个虚拟机实例。管理节点会在同一个集群中的另外的计算节点上重启该虚拟机。支持HA功能的存储：iSCSI、NFS（对于主存储）。以下情况虚拟机会进行HA：（1）计算节点宕机；（2）计算节点失去联系超过30分钟（时间可以配置）；（3）计算节点上的代理反馈虚拟机已经停止运行；（4）虚拟机状态为“starting”持续超过1个小时；（5）管理节点确认其互备节点宕机，同时互备节点正在解除对其试图启动的虚拟机的控制；（6）管理节点重启，并且正在解除对其试图启动的虚拟机的控制；功能详细管理服务器的高可用性cCloud管理服务器会被部署成多节点结构，这样的话就不易受单个服务器故障的影响。管理服务器自身是独立的（不同于MySQL数据库），他们可能会被配置在一个负载均衡器之后。主机的常规操作是不会受管理服务器中断运行的影响的。所有客户虚