大数据平台规划部署课件

1、大数据平台规划部署大数据系列培训H3C DataEngine提纲DataEngine 大数据平台集群规划 DataEngine 大数据平台部署配置要求硬件配置要求不推荐使用虚拟内存建议使用更多块硬盘，2块1T硬盘性能优于1块2T硬盘。建议单数据节点容量最大不超过24TB，否则节点失效后造成大量数据复本的复制。不建议使用SSD，Hadoop的磁盘IO多为顺序读写，不能完全发挥适用于随机读写的SSD的性能优势，同样的采购投入可以通过多个HDD提高并发量提高性能。最低配置要求推荐配置处理器12 核 2.0GHz26 核 2.0GHz或更多内存32GB 128GB 或更多硬盘SAS 10k rpm，3

2、00GB *4SAS 10k rpm，1TB及以上，数量建议满配网卡千兆网卡： 1GE SFP+2块万兆网卡做聚合配置要求硬盘RAID注意：共享存储系统不适用于集群数据存储，单点存储是大数据集群的运算性能瓶颈。集群类型操作系统配置数据存储配置HDP2块硬盘做RAID1剩余部分每块做一个RAID0MPP2块硬盘做RAID1剩余部分做成一个RAID5配置要求硬盘RAID（HDP集群）系统盘建议使用两块盘做成一个RAID1，保证系统运行安全可靠。HDFS天然支持复本冗余存储策略，数据盘无需做RAID，在必须配置RAID的情况下，每个数据盘单独设置为RAID0。多块盘做一个RAID0，会将HDFS并行

3、流式读写操作变成随机读写，降低性能。多块盘做一个RAID0，其读写性能受制于阵列中速度最慢的磁盘。从磁盘损坏率考虑，多块盘做一个RAID0会带来更大的数据损失，造成大量数据需要复制重建。配置要求硬盘RAID（MPP集群）系统盘建议使用两块盘做成一个RAID1，保证系统运行安全可靠。受制于MPP数据存储路径只能指定一个，所以从存储性能、数据安全和存储成本综合考虑，建议将数据盘做成一个RAID5 。配置要求操作系统要求不建议操作系统安装Desktop版。操作系统版本Red Hat Enterprice Linux6.4/6.5(minimal最小安装方式)64位Centos6.4/6.5(mini

4、mal最小安装方式)64位配置要求支持的游览器游览器版本Google Chorme(推荐)26.0+FireFox18+Safari5+Internet Expoloer 10+配置要求集群软件环境注意：DataEngine 会自动安装以上软件环境。环境版本JavaOracle JDK 1.7.0_79 for LinuxPythonPython 2.6.6SSLopenssl-1.0.1e-30服务器网络规划业务交换机（堆叠）服务器管理交换机业务交换机采用堆叠服务器网卡配置聚合Ilo口组网规划IRF业务网交换机管理网交换机服务器服务器Hadoop集群MPP集群推荐集群规划 Hadoop集群低

5、配置：要求3台物理服务器， Hadoop集群管理节点和数据节点共用物理服务器高配置：要求5台及以上物理服务器，Hadoop集群管理节点和数据节点使用不同的物理服务器MPP集群若对数据安全性要求较低，选择2个节点为1个safegroup，推荐配置4台及以上服务器若对数据安全性要求高，选择3个节点为1个safegroup，推荐配置6台及以上服务器设备机柜规划硬件物理部署和网络规划 电源高可用两个机柜的电源是独立的，互不影响的交换机高可用每个机柜上各包含2台交换机，并且这两台交换机之间是互备的关系，当其中一台交换机发生故障，另一台交换机立即提供服务节点高可用对于HDP，把HA服务所在的两个服务器放在

6、不同的机架上对于MPP，把一个safegroup的不同成员放在不同的机架上Hadoop组件部署规划支持高可用性的服务建议开启HA，如NameNode、ResourceManager，防止单点故障造成的影响绿色 必装 ，黄色为选装， 红色为不装服务组件管理节点数据节点主机一主机二主机三主机四主机五MetricsMetrics MonitorZooKeeperZooKeeper ServerZooKeeper Client HDFSNameNodeZKFailoverController DataNode JournalNodeYarn ResourceManager App Timeline S

7、erver NodeManager MapReduce2HistoryServer MPP组件部署规划集群高可用方案safegroup配置1个节点为1个safegroup的方案不推荐使用 对数据安全性要求高，选择3个节点为1个safegroup 对数据安全性要求较低，选择2个节点为1个safegroup提纲DataEngine 大数据平台集群规划 DataEngine 大数据平台部署DataEngine 大数据平台部署原生Hadoop集群的开通和管理会是一个超复杂的工作，尤其是涉及成百上千台主机时。DataEngine 大数据平台部署方案应用场景 定制部署：对于需要利用现有集群中的服务器和定制

8、化需求多样的客户，建议采用定制部署方式，这种方式可以满足客户对系统安全、组网环境、节点复用等方面的特殊需求。Zero部署：对于需要创建全新大数据集群的客户，建议采用Zero部署方式，这种方式可以快速实现服务器操作系统的批量安装、网段统一分配和DataEngine Manager的安装。定制部署流程Zero部署流程服务器操作系统安装网络环境分配DataEngine Manager 安装DataEngine HDP/MPP 集群部署DataEngine 大数据平台部署流程Zero-Server 安装自动安装完成操作系统，以及网络配置DataEngine Manager 安装DataEngine H

9、DP/MPP 集群部署安装前准备硬件准备网络规划操作系统准备安装包准备DataEngine 大数据平台定制部署流程安装包名称获取方式DataEngine安装包DataEngine-.tar.gz由H3C提供当前操作系统镜像*.iso由用户准备步骤1：解压DataEngine安装包tar xvzf DataEngine-.tar.gz步骤2：拷贝系统镜像文件将准备的系统镜像文件（*.iso）拷贝到解压后文件夹的iso目录中。步骤3：执行安装进入解压目录，执行 ./install.sh，将会启动安装程序。DataEngine 大数据平台Manager安装步骤4：填写安装参数填写集群节点IP地址列表

10、填写节点操作系统root用户密码填写节点命名后缀选择“OK”开始安装DataEngine ManagerDataEngine 大数据平台Manager安装步骤5：检查安装结果安装通常会在15分钟内结束，具体执行时间与机器性能、网络性能有关 。安装完成后，会有如下图样例的提示。以提示信息中提供的URL登录DataEngine管理界面进行HDP的安装。DataEngine 大数据平台Manager安装步骤1 ：打开一个浏览器，输入DataEngine Manager安装完成后提供的 URL，初始账号密码为admin/admin。DataEngine 大数据平台集群部署步骤2：登录管理界面后点击。步

11、骤3：在出现的文本输入框中输入集群名称后，点击。DataEngine 大数据平台集群部署步骤4：进入选择版本页面，选中要安装的DataEngine版本，点击。步骤5：然后在安装选项里的目标主机文本域输入以下内容（主机名后缀根据配置文件配置的为准）：node1-3. 有几台就写对应的正则表达式。DataEngine 大数据平台集群部署步骤6：到达确认主机步骤后，等待 DataEngine Manager对所有节点进行注册并检查，直到出现下图，点击。DataEngine 大数据平台集群部署步骤7：在选择服务页面，选择想要安装的服务，点击。DataEngine 大数据平台集群部署步骤8：在服务分配页面，选择服务内组件及客户端安装的对应节点，点击。DataEngine 大数据平台集群部署步骤9：在定制服