基于云计算的数据库云方案的研究与设计

1、2012.3数据通信摘 要:通过介绍云计算的服务模式,分析比较了 PaaS 云的业务价值以及传统数据库平台架构存在的问 题, 提出了基于云计算的数据库云平台的建设方案, 进行了详尽地研究与设计, 包括数据库云的整体架构 、 数 据库资源池 、 存储资源池 、 多租户资源管理方案 、 数据库云高可靠全双工设计方案等, 并分析了数据库云相对 传统架构的竞争优势 。关键词:云计算; 数据库云; Infiniband 网络; 多租户; ASM ; 高可靠全双工基于云计算的数据库云方案的研究与设计1云计算背景云计算模型能以按需方式,通过网络方便地访问云系统的可配置计算资源共享池 (如网络 、 服务器 、

2、 存储 、 应用程序和服务 。 同时, 以最少的管理开销及 最少的与供应商的交互, 迅速配置提供或释放资源 。目前云计算在业界已经有了一定的应用,其服 务内容包括基础设施 、 应用平台 、 应用软件三个层次 的云化服务, 即 IaaS 、 PaaS 和 SaaS 。 云计算的架构图如 图 1所示 。 2数据库云的体系架构2.1云计算服务模式从使用者的角度看云计算的服务模式 , 如图 2所示 。(1 IaaS (基础设施即服务 :利用虚拟化技术整合 IT 基础资源, 包括网络资源池 、 硬件服务器资源池 、操作系统虚拟化 。(2 PaaS (平台即服务 :云计算把开 发环境作为一种服务来提供,包

3、括数据库云化和中 间件云化 。 (3 SaaS(软件即服务 :通过把云计算的服 务提供给客户,为客户特别是集团客户提供越来越 多的 SaaS 的应用,如 CRM 、 ERP 、 OA 和 M IS 等 。 与传统 软件不同, 用户通过互联网来使用软件, 不需要一次 性购买软件 、 硬件, 也不需要维护和升级, 只需交纳 一定的服务费 。2.2PaaS 云具备更强的业务级价值云计算价值体系如图 3所示:(1 IaaS,硬件维护收稿日期 :2012-03-23廖 峰 1成静静 2(1. 中国移动通信集团广东有限公司;2. 广东省电信规划设计院有限公司 广州 510630图 1摇 云计算架构图图 2

4、摇 云计算服务模式技术交流Technology Discussion45数据通信 2012.3 和管理级价值:应用建设既需要关注平台软件能力, 又需要关注应用逻辑, 需要大量的集成和开发工作, 完成企业应用所需的软件级服务和应用能力; (2 PaaS , 服务级和系统级价值:应用建设只需要关注应 用逻辑,具备较好的应用灵活性和平台级软件管理 和服务能力; (3 SaaS , 业务及价值:灵活性较低, 不 能符合个性化需求 。 IaaS 和 PaaS 的价值如表 1所示 。部署 PaaS 云平台,是对企业业务价值和灵活性 最好的平衡点 。2.3传统数据库平台架构存在问题随着系统规模增加, 传统数

5、据库架构瓶颈凸显:(1 存储层:数据量不断增加, 带来 I/O瓶颈 , 随着数据 长时间运行带来的数据分布不均匀,存在 I/O热点; (2 网络层:传输带宽不足, 无法快速传输大量数据到服务器; (3 服务器层:接收过多数据进行处理, 内 存优势无法发挥 。复杂的数据库系统均衡化配置:任何部件配置 不均衡会导致系统瓶颈, HBA 卡数量和速度 、 交换机 速率 、 控制器的数量和速度 、 磁盘的数量和速度 。多系统资源互相独立,无法共享:一些资源过 度, 一些资源不足, 由于生产环境动态变化, 无法动 态满足 。系统的维护和扩容过程复杂 。3基于云计算的数据库云建设方案3.1数据库云平台设计思

6、路加宽通道 、 增加通道数量; 减少需要传送到服务 器处理的数据量; 增加系统并行处理; 混合架构适用 于混合型事务处理 。3.2基于云计算的数据库云建设方案数据库云提供了一种混合式的数据库架构, 既 可以满足 OLTP 的高并发 、 高可用特点,又可以满足 OLAP 的大数据量处理要求, 如图 5所示 。摇摇摇摇(1 数据库云三层架构:智能存储层 、 超高速并 发网络层 、 数据库处理层 。 (2 数据库云数据处理模图 3摇 云计算价值体系图表 1摇 IaaS 和 PaaS 价值对比IaaSPaaS对应操作系统及虚拟化层 对应数据库及中间件层实现硬件资源的共享与动态调整 实现软件 平 台 及

7、 业 务 服 务 的 共 享 与 动态调整虚拟化技术严重依赖于硬件类型 成熟软件平台多为硬件中立 不同厂家的虚拟化技术封闭而独立成熟软件平台多基于开放技术实现当前虚拟化技术均基于一台物理机器 , 虚拟出多台虚拟机 成熟软件平台多支持集群技术 (或网格技术 更适合小应用共享大物理设备的场景 , 计算规模 的 支 持 上 依 赖 于 单 台 物 理 设 备的最大计算能力 , 即计算能力的弹性 有限 更适合为 提 高 业 务 交 付 效 率 及 质 量 而 共享基础 软 件 平 台 及 公 共 业 务 服 务 的 场景 , 对应 用的大 小 不 敏 感 , 从 计 算 规 模的支持上更加具备弹性能力

8、 更多带来系统级及维护级的价值 更多带来业务级及管理级的价值 实现难度小 , 风险小 , 其推广容易推动实现难度较大 , 风 险 较 大 , 需 要 强 势 推动除客户自 身 外 , 平 台 实 施 对 厂 商 依 赖大 , 对集成商依赖小除客户自身外 , 平台实施更多的依赖厂商与集成商的联合 , 需要一个综合技术能力强的集成商 带来较小的成本效益带来更大的成本效益图 4摇 传统数据库平台架构图图 5摇 数据库云整体架构图技术交流Technology Discussion462012.3数据通信型:如图 6所示, 数据库云采用全并行 、 分布式的数据 处理模型 。 智能存储服务器 (Share

9、d Nothing Archi-tecture在存储部件中实现数据密集型处理 、 进行表 及索引扫描 、 过滤查询无关数据; 数据库服务器承担 计算密集型处理:求和 、 统计 、 数据转换等 。 (3 In finiband 网络相比 GE 网络对 RAC 的优化提升, 如图 7所示 。 带宽的提升:40Gbit/s对比 1Gbit/s; 延迟的降低:1us 对比 100200us ; 通信协议的提升:RDS(mtu64K 对比 UDP(mtu1000。 3.3基于云计算的数据库云架构特点服务器资源池 :通过动态资源池 +动态服务, 使云平台在多租户的动态管理变成可能 。 (1 通过业务 策略

10、动态管理数据库服务资源; (2 通过定制最大资 源 、 最小资源 、 重要策略等, 动态管理服务可用性和服务质量; (3 统一管理扩大规模 、 多主机的复杂数 据库环境, 易于实现 “ 大分小 ” 和 “ 小和大 ” 两种资源 的管理模式 。 如图 8所示 。存储资源池 :支持集中化平台存储的线性扩展和高可用性保护 。 (1 实现存储在所有数据库之间协 调分配, 共享存储容量; (2 负载较重的数据库从所 有磁盘借用存储容量, 存储不再是瓶颈; (3 数据自 动分布, 提供最高性能:当新存储添加时均衡仍然得以保持, 当硬件出故障时均衡仍然得以保持, 单块磁 盘损坏 /单个 storage ce

11、ll 损坏都能忍受; (4 数据动态 重分布, 消除 I/O分布热点块, 使得集中化平台可不断 线性扩展; (5 闪存技术:解决磁盘随机 I/O瓶颈 。 存储 资源池如图 9所示 。摇摇摇摇摇摇摇数据库资源池 :进行自动化按需能力供应, 在数据库资源池内, 自动感知需求高峰, 进行数据库资源 自动化按需能力供应 。 如图 10所示 。多租户资源管理 :适合云平台对多租户的资源(CPU 、内存 、 存储 、 I/O等 调配和管理 。 (1 多租户按 照服务级别进行资源的动态分配; (2 多租户动态 I/O资源管理:确保共享的数据库被分配正确的 I/O资源, 确保数据库之间 、 数据库内的不同用户

12、和任务 。 如图 11所示 。存储智能化预处理:提供分布式 、 并行化存储预处理能力 。 (1传统存储的所有逻辑处理都是在数据 库层完成, 存储只做简单的 I/O, 大量从存储返回到数图 6摇 全并行 、 分布式处理模型图图7摇 Infiniband 网络相比 GE 网络图图 8摇 服务器资源池图图 9摇 存储资源池图图 10摇 数据库资源池管理图技术交流Technology Discussion47数据通信 2012.3 据库主机的数据被丢弃,这些被丢弃的数据消耗了 宝贵的资源, 而且影响了性能和工作负载; (2 与传 统数据库处理过程不同,数据库云只返回有效的列 revenue 和需要的行

13、 (wherediscount=6%, CPU 的消耗 被大部分下压到存储,所以让数据库主机从表扫描 的压力中释放出来, 并且避免了大量的无用信息 。 如 图 12所示 。 高 可 靠 全 双 工 设 计 :(1 自动存储管理 ASM(Automatic Storage Management :镜像用于保护磁盘故障,可支持热插拔; ASM failure groups 用于保护 存储 Cell 故障双路网络交换;RAC TAF 用于保护数据 库服务器故障, 做到应用零中断 。 如图 13所示 。快速和线性扩展能力 :支持集中化平台在线进行扩展;符合集中化平台对云平台的一体化运营管 理规划要求

14、。4结束语云计算是近年来最为热门的 IT 技术,也被认为是互联网乃至 IT 行业的未来发展趋势 。 对于电信运 营商而言, IT 支撑系统是企业运营的核心命脉, 建立 基于云计算的数据库云对电信运营商的 IT 支撑系统 发展具有重要的意义, 文章研究设计的基于云计算 的数据库云平台 , 通过分布式计算和虚拟化技术搭 建弹性动态资源池 , 为本企业以及第三方企业提供 可视化 、集中化 、 端到端的云管理和云治理能力, 对 于未来业务和技术的发展有重要的战略意义和经济 意义 。 参考文献1Jeffrey Dean,Sanjay Ghemawat. Map Reduce:SimplifiedData

15、 Processing on Large Clusters J.Communications of the ACM,20082适用于云计算的面向查询数据库数据分布策略 J.计算机科学 ,2010, (93邓伟华 . SAAS 应用的数据模型研究与设计 J. 电脑编程技巧与维护 ,2009, (84王海波 . 云计算中数据库的关键问题研究与实现 D.吉林大学 ,20115JayHeiser and Mark Nicolett. Assessing the Security Risks of Cloud Computing R. June 20086石屹嵘 , 段勇 . 云计算在电信 IT 领域应用初探 . 电信科学 ,2009,25(97闻剑峰 , 龚德志 . 虚拟化技术在电信灾难恢复计划中的应用研究 . 电信科学