EMR弹性低成本离线大数据分析技术实践

1、EMR弹性低成本离线大数据分析技术实践技术创新，变革未来E-MapReduce开源大数据平台集群架构E-MapReduce产品功能亮点-弹性可视化集群管理控制台基于云的特性，获得资源的弹性计算资源弹性存储资源弹性灵活的弹性集群计算与存储分离，需要时添加计算节点动态计算组，按照集群状态进行伸缩Spot Instance包月+按量组合弹性伸缩按照时间按照负载E-MapReduce架构选型丰富的产品规格族E-MapReduce产品功能亮点-多样存储选择HDFSAlibaba HDFSOSS(Standard)EBS(Cloud Disk)D1(Local Disk)I1/I2(Local Disk)

2、数据可靠后台多副本、成本高 性能低，数据全部走网 络，没有本地计算性能高，成本低数据易丢失，运维成本高性能高，成本低数据易丢失，运维成本高数据可靠成本中等，数据全部走 网络，没有本地运算NativeOSS数据可靠,成本低 通用性好性能低JindoFS数据可靠,成本低 性能高通用性好额外的存储成本E-MapReduce架构选型Master主实例适合通用型或内存型实例，数据直接使用阿里云的云盘来保存，有三个备份的保证，数据高 可靠Core核心实例小数据量（TB级别以下）或者是使用OSS作为主要的数据存储时，可以使用通用型、计算 型或内存型。当数据量较大时（10TB或以上），推荐使用大数据机型，以获

3、得极高性价 比。当Core实例使用本地盘时，数据可靠性得不到保证，会由EMR平台来进行维护和保 证。Task计算实例作为集群的计算能力的补充，可以使用除大数据型以外的所有机型。Gateway实例选择范围很大，没有特别的约束，推荐使用云盘。E-MapReduce存储选型云盘与本地盘云盘包括SSD云盘、高效云盘、普通云盘；特点是磁盘并不直接挂载在本地的计算节点上，通过网络 访问远端的一个存储节点。每一份数据在后端都有两个实时备份，一共三份数据。所以当一份数据损 坏的时候（磁盘损坏，不是用户自己业务损坏）会自动使用备份数据恢复本地盘包括大数据型的SATA本地盘和本地SSD盘；直接挂载在计算节点上的磁

4、盘拥有超过云盘的性 能表现。使用本地盘的时候不能选择数量，只能使用默认配置好的数量，和线下物理机一样，数据没 有后端的备份机制，需要上层的软件来保证数据可靠性。适用场景：EMR的所有云盘和本地盘都会在节点释放的时候清除数据，磁盘无法独立保存下来并再次 使用。Hadoop HDFS会使用所有的数据盘作为数据存储；Hadoop YARN也会使用所有的数据盘作 为计算的临时存储。当业务数据量并不太大（TB级别以下）的时候可以使用云盘，IOPS和吞吐相比 本地盘都会小些；数据量大的时候，推荐使用本地盘，EMR会维护本地盘的数据可靠性。如果发现在 使用中明显的吞吐量不够用，可以切到本地盘的存储上。OSS

5、在EMR中可以将OSS作为HDFS使用。用户可以非常方便地读写OSS，所有使用HDFS的代码也可 以简单修改就能访问OSS的数据。E-MapReduce-Gateway集群计算与存储分离- EMR + Spot Instance + OSS通过冷热数据分离，使用OSS保存冷数据，降低成本通过OSS做Data Lake，通过OSS来打通上层的计算&使用应用通过数据的分离，可以不断地进行计算引擎的升级场景描述大数据是一项涉及不同业务和技术的领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环 境，例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务分析场景。适用场景互联网、科学计算等行业用语海量数据离线分析、BI 分析等行业标签 ：互联网、新零售、通用产品标签：EMR、SLS、OSS、Auto Sca