Oracle 云化数据中心探讨

云化数据中心探讨 大中国区，企业技术架构部 徐健录 1 云计算与云化数据中心 云数据中心的应用场景 云数据中心的数据管理 云 数据中心的运营管理 云计算的定义 云计算模式能 以按需方式 ， 通过网络 ， 方便的访问 云系统的 可配置计算资源共享池 (比如：网络，服务器，存储，应用程序和服务 ) 。同时它以 最少的管理开销 及 最少的与供应商的交互 ， 迅速配置提供或释放资源 。 3 种服务模式 种部署模式 公有云 私有云 社区云 混合云 5个基本特征 按 需的自服务 共享的资源池 快速弹性能力 可度量的服务 普遍网络访问 运营商普遍面临的 如何降低运营成本？ 如何缩短对市场需求的影响时间？ 使用集中化或更 符合 经济原则的 基于规范的数据模型提供 360o 的客户完整视图，构建企业内的“策略统一体”，以改善服务，拓展销售 构建 部门准确掌握运营成本，精细运营 为客户提供 将 通过平台共享降低经济成本 构建易于管理且能够确保运营效率的 内 部 外 部 公 共 电信企业借助云应对 烟囱式的系统建设， 件 /能耗 /管理） 按峰值规模建设，资源平均利用率低 缺乏弹性的系统设计，应对业务突发情况差 建设周期漫长，无法快速提供与部署 业务需求的快速增长，设备更替快，不利投资保护 集中资源池的共享 虚拟化、分时 /区共享 动态调配、弹性伸缩 自动化、自服务 低成本、标准化硬件 云计算 下一代 技术标准化 能力服务化 提供快速化 资源 弹性化 管理 自动化 管控集中化 传统模式 下一代数据中心的关键要求 云化数据中心的关键要求 整合的 敏捷的 高性能 高可用性 整合架构 烟囱式架构 5% - 10% (60% - 70% ( 整合的要求 升 资源的 的利用水平 敏捷地适应应用变化情况 - 根据负载随需扩展 - 高弹性，动态伸缩， 置更多的实例 - 在初始投资成本和获得良好的效率之间作出平衡（减少 实时地获取业务变化，并以此作出响应 , B, C, D, E f 捷 的要求 需而变 邦式云数据中心 据需求进行资源分配 全球最大数据仓库容量其大小每两年增长三倍 1998 1 2001 10 2003 30 2005 100 2007 3002009 900 2011 B 高性能 的要求 集中处理层 问题：昨天的客户发展量如何？ 分布式处理层 汇总、合并结果 24 多个服务器并行处理查询请求 构建并发 各服务器返回结果 高性能的要求 布式处理能力 据复制 完全激活 故障切换到备点 数据的备份和恢复 低成本高性能 数据保护 & 归档 集群技术保证容错和 服务器水平扩展 动存储管理保证容错和 存储水平扩展 保证业务不被中断 每个数据中心都是 可以水平扩展的 , 完全激活的 , 以数据为中心的 要求达到最高可用性和最低的成本 在线升级 硬件和软件 高可用性 的要求 目录 2 云计算与云化数据中心 云数据中心的应用场景 云数据中心的数据管理 云 数据中心的运营管理 众多分散的小数据库的整合，尤其是 基于整合平台提升数据生命周期管理能力及数据质量 通过标准化及自动化管理的采用有效降低运维成本 有效提升数据安全并降低数据分发的难度 全企业内集中的、标准化的数据管理要求 建设双活的灾备中心，有效提升资源利用率 基于资源共享及动态调整能力，有效节约硬件投资 通过集中化的灾备中心建设，促进 术标准化的演进 全国大集中的 其是 海量数据管理能力及动态扩展能力 适合大型企业的大型关系型数据库的提供或托管 高性能、海量数据管理、扩展性 适合中小企业的小型关系型数据库的提供或托管 性能力、自动化 分散数据库的整合 集中化的灾备中心 大集中 新一代 电信企业采用云数据中心的潜在现实需求 云化数据 中心 的 应用场景 业务目标： 降低成本、提高效率、改善服务、拓展业务！ 目录 3 云计算与云化数据中心 云数据中心的应用场景 云数据中心的数据管理 云 数据中心的运营管理 计算资源 、 存储 数据 应用 /服务 云接入 数据仍然是云中心最重要的信息资产！ 海量分布式 存储与处理 高并发读写 高性能获取 负载均衡 自动数据备份 在线扩展迁移 足够的安全 简单的管理 标准的访问接口 云数据中心的数据管理要求 集 群 调 度分 布 式 文 件 系 统G F 式 锁 服 务主 服 务 器客 户 端支 撑 层B i g t a b l 端（ l i b r a r y ）服 务 层用 户 层元 数据 表子 表 服 务 器子表子表子表子 表 服 务 器子表子表子 表 服 务 器子表子表子表存 储 存 储 存 储存 储高 速 网 络 互 联N + 1 集 群存 储 层管 理 控 制 层存 储S A 云服务提供商： S 开源 /独立： 系型数据库 /数据仓库分布式解决方案 W:QL 开源： 种“云”中的分布式数据库 非关系型分布式数据库 针对某类特定需求而设计 具有很强的弹性和扩展能力 规模化提供较强的并发读写能力 数据弱一致性设计 较弱的结构化查询统计能力 ， 一般存在较多限制 非标准 /部分标准的访问接口 关系型分布式数据库 通用性设计 ， 但也带来了性能的限制 通过集群提供较强的横向扩展能力 较强的并发读写能力 数据强一致性保障 很强的结构化查询与复杂分析能力 标准的数据访问接口 很小的应用领域，缺乏成熟的商业产品。 产品成熟，但要在性能和伸缩性上进一步增强 种“云”中的分布式数据库 布式数据库的理论基础 在 2000的 议上， 2002年， 致性）、 用性）、 to 区容错性），任何分布式系统只可能同时满足二点，没法三者兼顾。 架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍。 关系型（ 布式数据库的理论基础 是基于 心思想是即便不能达到强一致性 (但可以根据应用特点采用适当的方式来达到最终一致性 (效果。 2002年来自 文章中正式提出了 对 & （ 1） 本可用； （ 2） 状态 /柔性事务，即状态可以有一段时间的不同步； （ 3） 终一致性； 完全不同于 牲强一致性，获得基本可用性和柔性可靠性并要求达到最终一致性。 系型（ 布式数据库的理论基础 子性） , 致性） , 离性） , 久性）的缩写。 子性）：事务的原子性是指事务中包含的所有操作要么全做，要么全不做（ or 致性）：在事务开始以前，数据库处于一致性的状态，事务结束后，数据库也必须处于一致性状态。 离性）：事务隔离性要求系统必须保证事务不受其他并发执行的事务的影响 ，也即要达到这样一种效果： 对于任何一对事务 事务 来， 么在 始之前已经结束，要么在 成之后才开始执行。这样，每个事务都感觉不到系统中有其他事务在并发地执行。 久性）：一个事务一旦成功完成，它对数据库的改变必须是永久的，即便是在系统遇到故障的情况下 也不会丢失。 数据的重要性决定了事务持久性的重要性。 两种“云”中的 分布式数据库背后的理论基础 O 构建大规模分布式数据库时，随着数据量的爆炸式增长和网格节点的增加，可能面临着 : 网格内节点间的通讯要求增大 海量数据分析要求更大的吞吐量 性能出现瓶颈（如 调优 困难 数据的分布式存储需要设计 机房可用空间迅速消耗，耗能剧增 管理 与部署的复杂度增加 一个更加“平衡”的系统才能发挥出最大性能！ 云数据中心的数据管理需要更加“平衡”的 架构 支撑 1 可预知的超快性能表现（用于支撑多数据库、多应用、多用户的环境） 提供最快的数据库服务交付速度 最低的数据库服务交付风险（自管理） 更低总体拥有成本 通过添加新的机架，提供线性水平扩展能力 工业级工程优化整合系统 in a 分布式处理，解决计算能力问题： 每个服务器包括存储、 处理 压缩，恒定的计算能力与存储的比值。 横向并发计算，解决带宽和可靠性问题： 分布式处理单元横向部署， 理能力与数据量同比扩展。 廉价标准化，解决价格及更新问题： 完全标准的 能存储单元数量不受限，极大降低成本，并随着 群数据库或单实例数据库 布式处理层 集中处理层 超高速、并发网络层 布式智能处理 数据加载测试 : 非常快，小机基本不可能实现 - 31GB 5s, 未作加载优化 ) - 283G 93s, 64路并发，均匀加载优化 ) 复杂 快 10倍 - 7 张表连接（每张表 20 比之下，基于运行于 2595服务器之上 4张同样表连接需要 446s 线性度测试 : 接近理论值 - 包括基于存储单元数量变化的线性度测试 - 包括基于数据量变化的线性度测试 超大型表 48659(3 资源管理测试 : 国内最大计费厂商测试报告 测试基于 该运营商 经分系统 中的真实生产应用，由运营商 及的表超过 29亿条 记录 高压缩比可达将近 8倍，平均压缩比也在 5倍以上。 配置 s，而 s。 真实的应用程序在 1/4配置中的运行时间为 6分钟，而在生产环境中需要 17小时， 性能提高 168倍 。而优化后性能还可提高 20%。 基于复杂查询（星形）的执行时间基本在 2分 40秒左右完成，而在生产环境中相似、且数据量较小的查询需要30分钟以上， 性能提高 12倍以上 。 国内某运营商 测试报告 为什么具备超级性能？ 软硬件一体化设计和生产，最大程度发挥了软硬件技术优势 换线缆”技术，彻底消除了服务器节点间的通讯瓶颈，实现节点间高度并行计算 够仅将满足查询的数据传送到服务器，从而大幅度减少了不必要的数据移动 无需频繁访问物理速度相对低的磁盘 到 6倍， 050倍的压缩比。因此降低了数据传输量，降低了存储空间，并且节省了客户成本 不仅可以用于支撑超大型数据库应用，还可以将 数以百计 的数据库系统整合到 几个机架 以内 降低 50%以上的硬件投资 降低 80%以上的机房空间需求 降低 50%以上的 降低 50%以上的电力需求 10分析型系统性能提升 4倍 以上的 通过集中管理，降低 90%以上的数据安全隐患 通过服务器池及数据分布镜像技术，提供系统级的高度安全性，比一般小机 工业级工程优化整合系统 键收益 目录 4 云计算与云化数据中心 云数据中心的应用场景 云数据中心的数据管理 云数据中心的运营管理 “ 客户要求其任务关键的业务系统的可用性接近 100%。要达到这一质量要求就需要成熟 的数据中心运营管理。 ” 总裁 85%81%79%78%77%71%70%69%69%68%67%89%88%83%81%86%74%67%76%67%69%67%87%85%85%78%75%68%68%66%73%66%60%80%71%68%74%69%70%75%67%67%68%74%0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%A ch i e vi n g g re a t e r o p e ra t i o n a l e f f i ci e n p ro d u ct i vi t yI m p ro vi n g se rv i l e ve l a va i l a b i l i t yA b i l i t y t o d e l i ve r I T se rv i ce s b a se d o n b u si n e s s p ri o ri t i e sH i g h e r a va i l a b i l i t yR e d u ct i o n i n h u m a n e rr o rI m p ro ve d a g i l i t y o f i n f ra st ru c t u f o m e n t o f st a n d a rd i ze d co n f i g u ra t i o i l i t y t o d o cu m e n t co mp l i a n i l i t y t o a u t o m a t i ca l l y re sp o n d t o ch a n g i n g b u si n e ss d e ma n d sC o sa vi n g s o n i n i t i a l i n ve st me n tI m p ro ve d R O I o n e xi st i n g i n ve st m e n t s( % R a t i ng e a c h a s a 4 5 w he r e 5 = E x t r e m e l y I m t a a = N a t a l l I m t a W o rl d w i d 生产率 提升服务水平能力 支持业务优先度的 更高可用性 降低人工失误 提高基础设施敏捷性 强制配置标准化 合规存档审计能力 自动响应业务需求的变更能力 节省投资的举措 提高已有投资的 据 中心管理 的优先度 87%73%49%28%连续的端到端应用与服务性能保障 非计划基础设施变更导致事故或宕机 整合或新应用对基础设施的不可预见的影响 错误配置 T o 005 实践经验表明， 用户抱怨的性能问题中有 74%难以通过后台的基础设施监控发现问题的根源 。 现了业务部门 对服务的强烈要求意愿 对运维压力最大的四件事 (的 展到了专注服务 ( 数据中心的运维管理 行为应该完全映射到 数据中心即是服务 - 目联络人业务负责人L O B V V O 数据库 /系统平台的效率管理与优化 提高运维人员生产率 提高运维人员管理系统平台的平均数目 提高性能和可用性 提高安全合规 降低成本 A. 服务管理与优化 B. 数据库 /系统平台的效率管理与优化 对数据中心要关注两个管理维度 对业务部门的服务管理与优化（外） 对系统平台的效率管理与优化（内） 数据中心的管理维度 从发展和统一管理角度看待数据中心监控工具的选型 考虑建立管理视图，而不是单纯的监控和调优工具 借助 客户体验与服务水平管理见效快，改善管理立竿