大数据云平台建设技术规划方案（仅用于学习的参考模板）

大数据云平台建设技术规划

总体设计方案—2

—

云平台总体架构平台总述IaaS：提供基本的计算、网络和存储资源。PaaS：中间层，提供对行业业务应用的支持。SaaS：向用户交付最终业务应用和数据分析。PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理。PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。PaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。平台核心：统一资源+大数据+开放服务—3

—

云平台总体架构云管理特点面向一般数据中心典型的应用场景，提供对混合IT资源的统一接入，以构筑云模式下基础资源调度的最佳实践。以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供，为业务系统提供统一环境支持，并进行统一管理和监控。将大数据平台作为典型服务组件整合到云平台中进行统一管理，以适应未来应用对大数据能力的普遍使用。为用户提供面向DevOps的统一云服务业务流程，以统一平台提供传统的IaaS和PaaS能力，并贯穿开发、测试和生产的全过程。—4

—

云平台总体架构云管理整合传统IaaS的管理能力与传统PaaS的能力资源接入、服务管理、应用系统环境支撑和统一监控体系四位一体—5

—

云平台总体架构服务资源构建混合IT基础环境：数据中心的最佳实践通常需要由物理机和不同价位和能力的虚拟化技术共同构成。一个最佳性价比的方案可以是使用物理机支持核心数据库和大规模计算、使用高效稳定但成本高的虚拟化系统如VMWare等支持核心业务、使用普通虚拟化系统如HyperV等支持普通业务系统、最后使用低成本虚拟化系统如KVM等支持开发测试等环境。多资源区统一管理：同一类虚拟化资源或者物理资源可以构成一个或若干个基本资源区。每个资源区一般包含一定数量的物理机。资源区的划分方式取决于业务的区隔。—6

—

云平台总体架构服务资源构建服务域：承载支撑应用系统的软件组件以服务形式进行交付的区域。在这个区域中，每一套软件组件有一个自己独立的服务域。一个服务域中，软件组件典型的部署模式包含以下三种：a)按需模式：在一个服务域初始化时不创建具体的服务实例，当有用户请求时再根据用户需求创建该软件组件的实例。b)预置模式：在服务域创建时构建相应软件组件的多个实例。当用户请求该软件的实例时，系统直接从已经创建的实例中进行分配。同时，该模式可以按照一定的策略保证空闲实例的数量。c)多实例模式：对一些特定类型的服务组件，一次部署以后可以产生多个服务实例。在这种情况下，该服务域在创建时可直接部署该组件，然后通过特定的服务接口在用户申请实例时，由这个部署的组件不断的创建服务实例。—7

—

大数据基础构建大数据基础管理架构大数据基础平台组成：1.分布式存储框架：主要负责针对海量数据的存储，以分布式存储技术，支持快速、海量、多种类型的数据存取。主要支持从数据源抽取数据大数据基础平台存储，集成多种存储方式，有针对结构化数据、非结构化数据和半结构化数据的存储。2.计算框架：主要提供批处理计算、内存计算、流式计算框架，由数据处理管理驱动来分配和调度计算框架，加载数据处理算法，完成数据处理。3.二级计算框架：主要提供Hive、Mahout等计算能力，这些计算能力最终还会使用计算框架来完成计算。4.数据集市仓库：主要对计算框架完成后的结果进行存储，支持Hbase、Mysql等存储，同时将数据以接口的形式开放出去。—8

—

大数据基础构建大数据基础管理架构大数据基础平台组成：5.全文索引库：采用大数据基础平台构建支持全文检索的全文库，主要用于支撑海量结构化数据的搜索查询应用。6.数据处理算法库：集成通用的数据分析算法、能够插入用户自定义的数据模型算法，配合以资源管理系统为主的计算存储框架，进行数据处理。目前包括插入全文检索索引模型等。7.资源管理：以容器的方式，来为计算框架和存储框架分配资源，并支持资源调度，弹性伸缩。8.数据服务总线：将基础平台的能力和数据服务接口，以API的方式开放出去，形成一个共享的、多租户的、供大量应用使用的服务总线。可包括：查询类接口，分析类接口，专题应用类接口，决策类接口等。—9

—

大数据基础构建大数据基础管理架构大数据基础平台组成：9.服务总线管理：主要是对数据服务总线进行管理和使用，功能包括：服务治理，接口访问控制、服务质量、协议转换等功能。10.数据处理管理：主要是以作业管理的方式，对计算框架、存储框架的资源进行调度、分配，以承载数据处理算法包，完成数据处理。11.资源目录管理：主要针对大数据基础平台数据的元数据进行有效分类，根据目前桥梁生命线系统的数据特征分为以下几大类目录，包括：传感器、桥梁、供水管道、燃气管道、机构、用户等，便于数据的管理和查询。12.数据源管理：数据源管理实现对数据来源的管理，大数据基础平台具备对结构化、半结构化和非结构化数据的抽取能力，并可通过本地系统上传、对接第三方API、爬取互联网数据等，为数据处理、分析、融合准备数据。—10

—

关键技术分析物理机管理镜像部署接口：镜像部署接口主要用于将操作系统镜像自动化部署到创建的新主机上，使之交付的物理机是一个带操作系统的物理机。主机控制接口：主机控制接口主要用于为新建（交付）的主机设置网卡IP地址、挂载盘等控制功能。电源管理接口：电源管理接口主要用于对新建的物理机进行启动、停止、重启等操作。IPMI接口：IPMI接口主要用于获取物理机的CPU、风扇、电源等信息—11

—

关键技术分析存储资源管理KVM存储资源管理：KVM的存储部署支持直接使用iSCSI或FCSAN存储阵列和共享分布式存储，如GlusterFS和Ceph等，作为后端存储。这些存储接入到KVM虚拟化管理软件的存储管理模块后，由存储管理模块对其划分逻辑单元（LUN）作为虚拟机使用的存储空间，形成统一的存储资源池。存储资源池可用于存储KVM宿主机的虚拟机磁盘镜像、虚拟机模板、驱动ISO、操作系统ISO等文件。VMware存储资源管理：VMware的存储部署采用iSCSI或FCSAN存储阵列的后端存储+DataStore数据存储的方案，即在iSCSI协议或FC协议的存储阵列上划分出用于作为VMware集群共享存储的逻辑单元（LUN），将该LUN映射至集群中的所有ESXi主机形成“共享卷”并格式化为VMFS网络文件系统，这样集群中每台ESXi主机本地就形成了映射至后端存储中同一逻辑单元（LUN）的数据存储—“DataStore”，用于存储集群中ESXi主机本地虚拟机的磁盘镜像（vmdk）、虚拟机模板、驱动ISO、操作系统ISO等文件。—12

—

关键技术分析Hadoop部署Hadoop平台部署：1、应用服务资源区中可以建立两个不同二级逻辑资源区，大数据虚拟资源区和大数据物理资源区。前者提供虚拟机来部署Hadoop平台，可以主要用于满足开发和测试验证的需要。后者提供物理机来部署Hadoop平台，可以用来满足生产系统部署的需求。2、在给定的资源区上构Hadoop服务域。在该服务域上，Hadoop平台可以通过资源区提供的计