构建基于云平台的下一代数据中心

戴艳Principle Solution ArchitectOracle China构建基于云平台的下一代数据中心提纲1、 云数据中心 概念的提出2、云计算与 数据中心 的关系3、 云数据中心 的应用场景4、 云数据中心 的数据管理传统的数据中心烟囱式架构 异构的技术 多种操作系统平台 支撑高峰时的容量 被动的响应式管理庞大的应用体系 静态地部署 多种软件组合 点对点集成 独立的应用数据MainframeDASCustomApplicationBig serverDASERPApplicationSalesApplicationClusterDatabaseDataWarehouseNAS/SANORBNAS/SANFilesDatabase DatabaseSmall server数据中心的利用率和效率不高很少的一部分客户开始监控数据中心服务器的利用率，然而，非常少的客户会注意数据中心的效率Server utilization remains very low. . .Average daily utilization (percent)01020304050607080901000 10 20 30 40 50 90 100Up to 30% servers are dead* Sample size 45 data centersSource:Uptime InstitutePeak daily utilization (percent)下一代云数据中心概念的提出整合的 敏捷的高性能高可用性整合架构 -动态负载管理烟囱式架构 -低效的资源管理整合的要求提升服务器的利用水平5% - 10% (Gartner) 60% - 70% (Oracle大学网格 )敏捷的要求 敏捷地适应应用变化情况 根据负载随需扩展 高弹性，动态伸缩， self service，配置更多的实例 在初始投资成本和获得良好的效率之间作出平衡（减少 Capex 和 Opex） 实时地获取业务变化，并以此作出响应Applications A, B, C, D, ENetWorkloadIf utilization too high,increase capacityShared InstanceServer A Server B Server C Server DScale-out on-demand联邦式云数据中心Austin, TXColorado Springs, CO Salt Lake City, UT根据应用要求进行资源分配Austin, TXColorado Springs, CO Salt Lake City, UT高性能的要求全球最大数据仓库容量其大小每两年增长三倍1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007 300TB; 2009 900 TB; 2011 2.7 PB高性能的要求分布式处理能力集中处理层问题：昨天的客户发展量如何？分布式处理层汇总、合并结果Select sum(sales) whereDate=24-Sept 多个服务器并行处理查询请求构建并发Smart Scan请求各服务器返回结果Storage数据复制完全激活故障切换到备点数据的备份和恢复低成本高性能数据保护 & 归档集群技术保证容错和 服务器水平扩展Database DatabaseStorage高可用性的要求自动存储管理保证容错和存储水平扩展保证业务不被中断 - 每个都是可以水平扩展的 , 完全激活的 , 以数据为中心的要求达到最高可用性和最低的成本在线升级硬件和软件提纲1、 云数据中心 概念的提出2、云计算与 数据中心 的关系3、 云数据中心 的应用场景4、 云数据中心 的数据管理云计算模式能 以按需方式 ， 通过网络 ， 方便的访问 云系统的 可配置计算资源共享池 (比如：网络，服务器，存储，应用程序和服务 ) 。同时它以 最少的管理开销 及 最少的与供应商的交互， 迅速配置提供或释放资源 。* Source: NIST云计算云计算 NIST定义定义云计算基本特征普遍网络访问共享的资源池多 DB快速弹性能力可度量的服务按需的自服务云计算的云计算的 5个基本特征个基本特征为什么采用 “云 ” 烟囱式的系统建设， IT成本居高不下（硬件 /能耗 /管理） 按峰值规模建设，资源平均利用率低 缺乏弹性的系统设计，应对业务突发情况差 建设周期漫长，无法快速提供与部署 业务需求的快速增长，设备更替快，不利投资保护集中资源池的共享虚拟化、分时 /区共享动态调配、弹性伸缩自动化、自服务低成本、标准化硬件云计算云数据中心 技术标准化 能力服务化 提供快速化 资源弹性化 管理自动化 管控集中化传统模式提纲1、 云数据中心 概念的提出2、云计算与 数据中心 的关系3、 云数据中心 的应用场景4、 云数据中心 的数据管理 众多分散的小数据库需要整合，尤其是 OSS域及 MSS域，分散的数据库带来很多问题： 分散的管理与运维 DB的多版本 数据分散带来的数据一致性问题 系统扩展能力的限制，即，缺乏弹性能力（突发性业务需求的支撑能力难以满足） 数据安全问题，无统一标准和流程 数据质量问题，无统一标准和流程 数据全生命周期管理缺失 维护人员分散利用率不高的问题 分散数据库带来的 License冗余问题（集中的数据库基于共享可以带来 License成本的降低） 分散带来的数据分析与数据挖掘的困难11 低信息密度的现状导致的存储空间的浪费问题（缺乏高性能压缩能力） 整合符合绿色计算的发展趋势 通过标准化及自动化管理的采用有效降低运维成本 有效提升数据安全并降低数据分发的难度 满足全企业内集中的、标准化的数据管理要求 整合与共享可以带来数据服务能力的持续可用 集中化、标准化是 IT演进大趋势的要求分散数据库的整合集中化的灾备中心大集中 SaaS应用的数据库支撑新一代 IDC/ADC的数据库提供与运营电信企业采用云数据中心的潜在现实需求分散数据库的整合分散数据库的整合- 现状及需求现状及需求1 目前的灾备中心多为基于现有应用进行一对一的匹配建设（ Silo），硬件投资巨大 目前的灾备中心多为冷备中心（ Active-Standby），日常灾备中心的资源只能空闲无法利用，资源的有效利用率很低 需要建设双活的灾备中心（ Active-Active），有效提升资源利用率 需要基于资源共享（ Share Pool）及动态调整能力，有效节约硬件投资 异构数据管理变为统一的同构数据管理，提升可管理性 通过集中化的灾备中心建设，促进 IT系统的管控集中化、技术标准化的演进分散数据库的整合集中化的灾备中心大集中 SaaS应用的数据库支撑新一代 IDC/ADC的数据库提供与运营电信企业采用云数据中心的潜在现实需求集中化的灾备中心集中化的灾备中心- 现状及需求现状及需求3 伴随电信市场竞争的加剧，电信企业的产品的同质化及全网一体化趋势越发明显，这使得电信企业的业务标准化程度越来越高；这些趋势直接导致了全网大集中的SaaS应用需求的产生 SaaS应用基于统一的业务流程、数据模型、客户体验等为全网的所有使用者提供 IT应用能力，带来更高要求的数据库服务提供能力需求： 满足大集中的高性能需求（数亿用户的 OLTP） 满足大集中带来的 PB级海量数据管理能力 满足大集中带来的高可用性要求 满足数据的生命周期管理能力 满足业务增长带来的动态扩展性需求 满足 SaaS应用需要的数据一致性保障能力 满足 SaaS应用需要的关系型数据库的数据管理与数据提供能力要求 全国大集中的 SaaS应用对高性能、高可用性、数据严格一致性等方面的数据库需求，在 BSS领域核心支撑系统的全国大集中项目中显得尤为突出分散数据库的整合集中化的灾备中心大集中 SaaS应用的数据库支撑新一代 IDC/ADC的数据库提供与运营电信企业采用云数据中心的潜在现实需求大集中大集中 SaaS应用的数据库支撑应用的数据库支撑- 现状及需求现状及需求3 适合大型企业的大型关系型数据库的提供或托管 高性能 海量数据的可管理性 数据生命周期管理 扩展性 服务使用的度量 数据安全 适合中小企业的小型关系型数据库的提供或托管 DB Instance的快速自服务创建与释放 计算能力及存储容量的弹性能力 自动化管理能力 服务使用的度量 数据安全分散数据库的整合集中化的灾备中心大集中 SaaS应用的数据库支撑新一代 IDC/ADC的数据库提供与运营电信企业采用云数据中心的潜在现实需求新一代新一代 IDC/ADC的数据库提供的数据库提供与运营与运营 - 现状及需求现状及需求4 众多分散的小数据库的整合，尤其是 OSS域及 MSS域 基于整合平台提升数据生命周期管理能力及数据质量 通过标准化及自动化管理的采用有效降低运维成本 有效提升数据安全并降低数据分发的难度 全企业内集中的、标准化的数据管理要求 建设双活的灾备中心，有效提升资源利用率 基于资源共享及动态调整能力，有效节约硬件投资 通过集中化的灾备中心建设，促进 IT系统的管控集中化、技术标准化的演进 全国大集中的 SaaS应用带来高性能数据库集群的需求，尤其是 BSS领域核心支撑系统全国大集中的 OLTP需求 海量数据管理能力及动态扩展能力 SaaS应用所需的数据一致性保障及关系数据管理能力 适合大型企业的大型关系型数据库的提供或托管 高性能、海量数据管理、扩展性 适合中小企业的小型关系型数据库的提供或托管 DB实例的快速提供、弹性能力、自动化分散数据库的整合集中化的灾备中心大集中 SaaS应用的数据库支撑新一代 IDC/ADC的数据库提供与运营电信企业在云化架构的数据库平台层的潜在现实需求云数据中心的需求总结业务目标： 降低成本、提高效率、改善服务、拓展业务！提纲1、 云数据中心 概念的提出2、云计算与 数据中心 的关系3、 云数据中心 的应用场景4、 云数据中心 的数据管理云数据中心的技术要求24数据仍然是云中心最重要的信息资产！ 海量分布式存储和处理 高并发读写 高性能获取 负载均衡 资源共享 在线扩展迁移 足够的安全 简单的管理 标准的访问接口云存储+分布式云 数据库如何实现云数据中心两种 云 中的分布式数据库25基于 key/value的键值非关系型并行数据库云服务提供商： Google BigTable,Amazon SimpleDB,MS SDS开源 /独立： Hadoop Hbase, oldemort,Cassandra关系型数据库 /数据仓库分布式解决方案OLTP&DW:Oracle,DB2,SQL server,SybaseDW:Teradata,Netezza,Greenplum开源： Hadoop CloudBase两种 云 中的分布式数据库 Cont.26很小的应用领域，缺乏成熟的商业产品。产品成熟，但要在性能和伸缩性上进一步增强VS更适合企业私有云 数据中心的建设云数据中心可能的问题27云环境下需要一个更加强大的分布式数据库解决方案！Oracle云数据中心解决方案 Exadata完美解决 超大型分布式数据库 /数据仓库 面临的挑战！28 Extreme Performance为数据仓库应用带来 10-100倍的性能提升； OLTP应用带来 20倍的性能提升； Linear Scalability适应海量数据迅速增长的线性性能扩展，消除瓶颈 Availability预配置的软硬件提供企业级的支撑能力，最大可用性、安全性、容灾等 。 Distributed基于网格 的智能 分布式存储，解决海量数据的存储和处理，保证强大的 I/O吞吐能力。更低的总体 拥有 成本！更 高的性能！资源的分割与整合 Instance Caging Instance caging允许管理员限制每个例程使用的 CPU资源 可以防止运行在一个例程中的失控进程影响到运行在服务器上的其它例程 当数据库运行时可以动态调整 . 参数 cpu_count 支持分割方式和过度配置 与 Resource Manager一起工作分布式智能处理 分布式处理，解决计算能力问题 ：每个服务器包括存储、 CPU及相应的软件 , 处理 SQL 及压缩，恒定的计算能力与存