《基于新信息技术的Hadoop大数据技术》 课件 项目2 Hadoop技术概述

Hadoop大数据技术——Hadoop技术概述湖南软件职业技术大学Hadoop的前世今生什么是大数据湖南软件职业技术大学数据结构海量存储能力读写速度实时hadoophbasesparkstrom双11电商数据大屏智慧交通高速收费站数据大屏工程建设作战指挥室生产作业KPI指标分析什么是大数据湖南软件职业技术大学操作系统hadoop数据库硬件大数据是什么大数据的背后是硬件、数据库、操作系统、Hadoop等一系列技术的综合应用。

大数据这三个字只是一门市场语言，不是一项专门的技术。湖南软件职业技术大学HDFS负责大数据的存储MapReduce负责大数据的计算YARN负责集群资源的调度

Hadoop是由一系列软件库组成的框架。这些软件库各自负责Hadoop的一部分功能，其中最主要的是HDFS、MapReduce和YARN。Hadoop是什么湖南软件职业技术大学Hadoop项目起源湖南软件职业技术大学《TheGoogleFileSystem》2003年《MapReduce:SimplifiedDataProcessingonLargeClusters》2004年《Bigtable:ADistributedStorageSystemforStructuredData》2006年Hadoop起源于Google的三篇著名论文：2004年左右，DougCutting开发出初始版本的Hadoop，作为Nutch项目的一部分。Hadoop发展历程HDFS（分布式文件系统）MapReduce(分布式离线计算框架)HBase（NOSQL分布式数据库）第一阶段前Hadoop时代（2003-2007）三大论文、DougCutting、HadoopHBase萌芽阶段湖南软件职业技术大学Hadoop发展历程第二阶段后Hadoop时代（2008-2014）Hadoop、HBase、Hive、Pig、Sqoop等百花齐放，眼花缭乱各个组件层出不穷，相互之间的兼容性管理混乱，虽然选择性多，但是很乱湖南软件职业技术大学HDFS（分布式文件系统）MapReduce(分布式离线计算框架)HivePigMahoutHBaseZookeeperSqoopFlumeOozieHadoop发展历程第三阶段Hadoop商业发行版时代（2011-2020）商业发行版、CDH、HDP等等，云原生套件出现，如阿里云、华为云、腾讯云、百度云标准的发行版大行其道，提供免费版本，云原生商业版如火如荼湖南软件职业技术大学Hadoop发展历程第四阶段国产化开源发行版时代（2021开始）USDP标准的发行版纷纷收费，国产化开源发行版势在必行湖南软件职业技术大学Hadoop名字起源湖南软件职业技术大学

Hadoop这个名字不是一个缩写，而是一个虚构的名字。该项目的创建者，DougCutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”名字取的好随意啊，大象玩具湖南软件职业技术大学Hadoop生态系统简介20092019hadoop版本迭代Hadoop版本迭代20072014湖南软件职业技术大学Hadoop生态系统湖南软件职业技术大学生态圈湖南软件职业技术大学Hadoop的优势及应用场景方便弹性简单Hadoop可以运行在一般商业服务器构成的大型集群上，或者是亚马逊弹性计算云(AmazonEC2)/阿里云等云计算服务上。Hadoop可以通过增加节点方式来线性地扩展集群规模，以便处理更大的数据集。同时，在集群负载下降时，也可以减少节点以提高资源使用效率。Hadoop允许用户快速编写出高效的分布式计算程序。Hadoop的优势湖南软件职业技术大学健壮Hadoop在设计之初，就将故障检测和自动恢复作为一个设计目标，它可以从容处理通用计算平台上出现硬件失效的情况。Cloudera运营总监称，美国有70%的智能手机数据服务背后都是由Hadoop来支撑的，也就是说包括数据的存储以及无线运营商的数据处理等，都是在利用Hadoop技术。Hadoop在这一领域应用非常广泛，eBay就是最大的实践者之一。国内的电商平台在Hadoop技术储备上也非常雄厚。目前全球范围内80%的在线旅游网站都是在使用Cloudera公司提供的Hadoop发行版，其中SearchBI网站曾经报导过的Expedia也在其中。这个领域普通用户接触得比较少，一般只有金融服务或者政府机构会用到。利用Hadoop来存储所有的客户交易数据，包括一些非结构化的数据，能够帮助机构发现客户的异常活动，预防欺诈行为。电在诈移动数据在线旅游诈骗检测电子商务移Hadoop的应用领域医疗行业也会用到Hadoop，像IBM的Watson就会使用Hadoop集群作为其服务的基础，包括语义分析等高级分析技术。医疗机构可以利用语义分析为患者提供医护人员，并协助医生更好地为患者进行诊断。美国Chevron公司是全美