下一代数据中心解决方案-Oracle

戴艳 Principle Solution Architect Oracle China 构建基于云平台的 下一代数据中心 提纲 1、 云数据中心 概念的提出 2、云计算与 数据中心 的关系 3、 云数据中心 的应用场景 4、 云数据中心 的数据管理 传统的数据中心 烟囱式架构 异构的技术 多种操作系统平台 支撑高峰时的容量 被动的响应式管理 庞大的应用体系 静态地部署 多种软件组合 点对点集成 独立的应用数据 Mainframe DAS Custom Application Big server DAS ERP Application Sales Application Cluster Database Data Warehouse NAS/SAN ORB NAS/SAN Files Database Database Small server 数据中心的利用率和效率不高 很少的一部分客户开始监控数据中心服务器的利用率，然而，非常少的客户会注意数据中心的效率 Server utilization remains very low. . . Average daily utilization (percent) 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 90 100 Up to 30% servers are dead * Sample size 45 data centers Source: Uptime Institute Peak daily utilization (percent) 下一代云数据中心概念的提出 整合的 敏捷的 高性能 高可用性 整合架构 -动态负载管理 烟囱式架构 -低效的资源管理 整合的要求 提升服务器的利用水平 5% - 10% (Gartner) 60% - 70% (Oracle大学网格 ) 敏捷的要求 敏捷地适应应用变化情况 根据负载随需扩展 高弹性，动态伸缩， self service，配置更多的实例 在初始投资成本和获得良好的效率之间作出平衡（减少 Capex 和 Opex） 实时地获取业务变化，并以此作出响应 Applications A, B, C, D, E Net Workload If utilization too high, increase capacity Shared Instance Server A Server B Server C Server D Scale-out on-demand 联邦式云数据中心 Austin, TX Colorado Springs, CO Salt Lake City, UT 根据应用要求进行资源分配 Austin, TX Colorado Springs, CO Salt Lake City, UT 高性能的要求 全球最大数据仓库容量其大小每两年增长三倍 1998 1 TB； 2001 10 TB； 2003 30 TB； 2005 100 TB； 2007 300TB； 2009 900 TB； 2011 2.7 PB 高性能的要求 分布式处理能力 集中处理层 问题：昨天的客户发展量如何？ 分布式处理层 汇总、合并结果 Select sum(sales) where Date=24-Sept 多个服务器并行处理查询请求 构建并发Smart Scan请求 各服务器返回结果 Storage 数据复制 完全激活 故障切换到备点 数据的备份和恢复 低成本高性能 数据保护 & 归档 集群技术保证容错和 服务器水平扩展 Database Database Storage 高可用性的要求 自动存储管理保证容错和 存储水平扩展 保证业务不被中断 - 每个都是可以水平扩展的 , 完全激活的 , 以数据为中心的 要求达到最高可用性和最低的成本 在线升级 硬件和软件 提纲 1、 云数据中心 概念的提出 2、云计算与 数据中心 的关系 3、 云数据中心 的应用场景 4、 云数据中心 的数据管理 云计算模式能 以按需方式 ， 通过网络 ， 方便的访问 云系统的 可配置计算资源共享池 (比如：网络，服务器，存储，应用程序和服务 ) 。同时它以 最少的管理开销 及 最少的与供应商的交互 ，迅速配置提供或释放资源 。 * Source: NIST 云计算 NIST定义 云计算 基本特征 普遍网 络访问 共享的 资源池 多 DB 快速弹 性能力 可度量 的服务 按需的 自服务 云计算的 5个基本特征 为什么采用“云” 烟囱式的系统建设， IT成本居高不下（硬件 /能耗 /管理） 按峰值规模建设，资源平均利用率低 缺乏弹性的系统设计，应对业务突发情况差 建设周期漫长，无法快速提供与部署 业务需求的快速增长，设备更替快，不利投资保护 集中资源池的共享 虚拟化、分时 /区共享 动态调配、弹性伸缩 自动化、自服务 低成本、标准化硬件 云计算 云数据中心 技术标准化 能力服务化 提供快速化 资源弹性化 管理自动化 管控集中化 传统模式 提纲 1、 云数据中心 概念的提出 2、云计算与 数据中心 的关系 3、 云数据中心 的应用场景 4、 云数据中心 的数据管理 众多分散的小数据库需要整合，尤其是 OSS域及 MSS域，分散的数据库带来很多问题： 分散的管理与运维 DB的多版本 数据分散带来的数据一致性问题 系统扩展能力的限制，即，缺乏弹性能力（突发性业务需求的支撑能力难以满足） 数据安全问题，无统一标准和流程 数据质量问题，无统一标准和流程 数据全生命周期管理缺失 维护人员分散利用率不高的问题 分散数据库带来的 License冗余问题（集中的数据库基于共享可以带来 License成本的降低） 分散带来的数据分析与数据挖掘的困难 11 低信息密度的现状导致的存储空间的浪费问题（缺乏高性能压缩能力） 整合符合绿色计算的发展趋势 通过标准化及自动化管理的采用有效降低运维成本 有效提升数据安全并降低数据分发的难度 满足全企业内集中的、标准化的数据管理要求 整合与共享可以带来数据服务能力的持续可用 集中化、标准化是 IT演进大趋势的要求 分散数据库的整合 集中化的灾备中心 大集中 SaaS应用的数据库支撑 新一代 IDC/ADC的数据库提供与运营 电信企业采用云数据中心的潜在现实需求 分散数据库的整合 - 现状及需求 1 目前的灾备中心多为基于现有应用进行一对一的匹配建设（ Silo），硬件投资巨大 目前的灾备中心多为冷备中心（ Active-Standby），日常灾备中心的资源只能空闲无法利用，资源的有效利用率很低 需要建设双活的灾备中心（ Active-Active），有效提升资源利用率 需要基于资源共享（ Share Pool）及动态调整能力，有效节约硬件投资 异构数据管理变为统一的同构数据管理，提升可管理性 通过集中化的灾备中心建设，促进 IT系统的管控集中化、技术标准化的演进 分散数据库的整合 集中化的灾备中心 大集中 SaaS应用的数据库支撑 新一代 IDC/ADC的数据库提供与运营 电信企业采用云数据中心的潜在现实需求 集中化的灾备中心 - 现状及需求 3 伴随电信市场竞争的加剧，电信企业的产品的同质化及全网一体化趋势越发明显，这使得电信企业的业务标准化程度越来越高；这些趋势直接导致了全网大集中的SaaS应用需求的产生 SaaS应用基于统一的业务流程、数据模型、客户体验等为全网的所有使用者提供 IT应用能力，带来更高要求的数据库服务提供能力需求： 满足大集中的高性能需求（数亿用户的 OLTP） 满足大集中带来的 PB级海量数据管理能力 满足大集中带来的高可用性要求 满足数据的生命周期管理能力 满足业务增长带来的动态扩展性需求 满足 SaaS应用需要的数据一致性保障能力 满足 SaaS应用需要的关系型数据库的数据管理与数据提供能力要求 全国大集中的 SaaS应用对高性能、高可用性、数据严格一致性等方面的数据库需求，在 BSS领域核心支撑系统的全国大集中项目中显得尤为突出 分散数据库的整合 集中化的灾备中心 大集中 SaaS应用的数据库支撑 新一代 IDC/ADC的数据库提供与运营 电信企业采用云数据中心的潜在现实需求 大集中 SaaS应用的数据库支撑- 现状及需求 3 适合大型企业的大型关系型数据库的提供或托管 高性能 海量数据的可管理性 数据生命周期管理 扩展性 服务使用的度量 数据安全 适合中小企业的小型关系型数据库的提供或托管 DB Instance的快速自服务创建与释放 计算能力及存储容量的弹性能力 自动化管理能力 服务使用的度量 数据安全 分散数据库的整合 集中化的灾备中心 大集中 SaaS应用的数据库支撑 新一代 IDC/ADC的数据库提供与运营 电信企业采用云数据中心的潜在现实需求 新一代 IDC/ADC的数据库提供与运营 - 现状及需求 4 众多分散的小数据库的整合，尤其是 OSS域及 MSS域 基于整合平台提升数据生命周期管理能力及数据质量 通过标准化及自动化管理的采用有效降低运维成本 有效提升数据安全并降低数据分发的难度 全企业内集中的、标准化的数据管理要求 建设双活的灾备中心，有效提升资源利用率 基于资源共享及动态调整能力，有效节约硬件投资 通过集中化的灾备中心建设，促进 IT系统的管控集中化、技术标准化的演进 全国大集中的 SaaS应用带来高性能数据库集群的需求，尤其是 BSS领域核心支撑系统全国大集中的 OLTP需求 海量数据管理能力及动态扩展能力 SaaS应用所需的数据一致性保障及关系数据管理能力 适合大型企业的大型关系型数据库的提供或托管 高性能、海量数据管理、扩展性 适合中小企业的小型关系型数据库的提供或托管 DB实例的快速提供、弹性能力、自动化 分散数据库的整合 集中化的灾备中心 大集中 SaaS应用的数据库支撑 新一代 IDC/ADC的数据库提供与运营 电信企业在云化架构的数据库平台层的潜在现实需求 云数据中心的需求总结 业务目标： 降低成本、提高效率、改善服务、拓展业务！ 提纲 1、 云数据中心 概念的提出 2、云计算与 数据中心 的关系 3、 云数据中心 的应用场景 4、 云数据中心 的数据管理 云数据中心的技术要求 24 计算资源、存储 数据 应用 /服务 云接入 数据仍然是云中心最重要的信息资产！ 海量分布式存储和处理 高并发读写 高性能获取 负载均衡 资源共享 在线扩展迁移 足够的安全 简单的管理 标准的访问接口 如何实现云数据中心 两种云中的分布式数据库 25 集 群 调 度分 布 式 文 件 系 统G F S分 布 式 锁 服 务主 服 务 器 客 户 端支 撑 层B i g t a b l e客 户 端（ l i b r a r y ）服 务 层用 户 层元 数据 表子 表 服 务 器子表子表子表子 表 服 务 器子表子表子 表 服 务 器子表子表子表存 储 存 储 存 储存 储高 速 网 络 互 联N + 1 集 群存 储 层管 理 控 制 层存 储S A N基于 key/value的键值非关系型并行数据库 云服务提供商： Google BigTable,Amazon SimpleDB,MS SDS 开源 /独立： Hadoop Hbase, oldemort,Cassandra 关系型数据库 /数据仓库分布式解决方案 OLTP&DW:Oracle,DB2,SQL server,Sybase DW:Teradata,Netezza,Greenplum 开源： Hadoop CloudBase 两种云中的分布式数据库 Cont. 26 非关系型分布式数据库 针对某类特定需求而设计 具有 很强的弹性和扩展能力 规模化提供 较强的分布式处理能力 数据弱一致性设计 较弱的结构化查询统计能力，一般存在较多限制 非标准 /部分标准的访问接口 关系型分布式数据库 通用性设计 ，但也带来了 性能的限制 通过集群提供较强的横向扩展能力 较强的分布式能力 数据强一致性保障 很强的结构化查询与复杂分析能力 标准的数据访问接口 很小的应用领域，缺乏成熟的商业产品。 产品成熟，但要在性能和伸缩性上进一步增强 VS 云数据中心可能的问题 可用性 大规模集群环境下，单个 /部分节点的 故障容错 性能瓶颈 随着集群规模的扩大，单节点环境下的 性能瓶颈可能会被放大，如 节点交互 、 IO 扩展性 随着数据量和负载的增大，如何保证可 扩展性 以满足业务处理和分析对性能的要求 数据存储 海量数据的在 分布式环境 下的存储和高效访问，空间的需求和压缩等 27 云环境下需要一个更加强大的分布式数据库解决方案！ Oracle云数据中心解决方案 Exadata 完美解决 超大型分布式数据库 /数据仓库 面临的挑战！ 28 Extreme Performance 为数据仓库应用带来 10-100倍的性能提升； OLTP应用带来 20倍的性能提升； Linear Scalability 适应海量数据迅速增长的线性性能扩展，消除瓶颈 Availability 预配置的软硬件提供企业级的支撑能力，最大可用性、安全性、容灾等 。 Distributed 基于网格的智能分布式存储，解决海量数据的存储和处理，保证强大的 I/O吞吐能力。 资源的分割与整合 Instance Caging Instance caging允许管理员限制每个例程使用的 CPU资源 可以防止运行在一个例程中的失控进程影响到运行在服务器上的其它例程 当数据库运行时可以动态调整 . 参数 cpu_count 支持分割方式和过度配置 与 Resource Manager一起工作 分布式智能处理 分布式处理，解决计算能力问题 ：每个服务器包括存储、 CPU及相应的软件 , 处理 SQL 及压缩，恒定的计算能力与存储的比值。 横向并发计算，解决带宽和可靠性问题 ：分布式处理单元横向部署， ASM提供镜像保护，处理能力与数据量同比扩展。 廉价标准化，解决价格及更新问题 ：完全标准的 PC服务器硬件，智能存储单元数量不受限，极大降低成本，并随着 PC技术的发展而发展。 Exadata Cell InfiniBand Switch/Network 集群数据库或单实例数据库 Exadata Cell Exadata Cell 分布式处理层 集中处理层 超高速、并发网络层 Exadata Cell Exadata Cell Exadata Cell Exadata Cell 云中存储 的 高可用性 通过自动存储技术 (ASM)避免磁盘或存储节点的单点故障 自动存储管理保证数据的冗余和条带化 保证数据的分布是均匀的 保证存储的动态添加和删除 保证热点数据获得更好的性能 Exadata Cell Exadata Cell Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold ASM Disk Group ASM Failure Group ASM Failure Group 案例介绍 Oracle奥斯丁数据中心 奥斯丁数据中心 : 超过 20,000 服务器 全世界最大的 Dell/Linux 数据中心 每星期增加 100服务器 超过 5,000 TB 数据 全世界最大的 NetApp 数据中心 每月增加 60TBs 数据 支持超过 400 其他客户的关键应用 为超过 65000甲骨文员工服务 超过 7000平方米 Oracle的应用架构整合 1998 Today Business as Usual Global Single Instance (GSI) 52 application instances 1 application instan