浙教版-信息技术-必修1-42-大数据处理-课件(教学课件)

第4章数据处理与应用浙教版

信息技术（高中）必修1

数据与计算4.2大数据处理

第4章数据处理与应用浙教版信息技术（高中）必修1学习目标1234大数据处理的基本思想批处理计算和流计算、图计算，编程处理数据文本数据处理，文本数据分析与应用数据可视化学习目标1234大数据处理的基本思想批处理计算和流计算、图计12重点难点重点：大数据处理的思想和编程处理数据。难点：编程处理数据。12重点难点重点：大数据处理的思想和编程处理数据。课堂导入

大数据具有数据量大、数据来源与类型多样、处理速度快等特点，简单的表格处理软件已经无法满足大数据的处理需求，同时，大数据技术、理论和处理方法也在不断发展，为大数据的处理提供了越来越有力的支持。课堂导入大数据具有数据量大、数据来源与4.2.1大数据处理的基本思想与架构处理大数据时，一般采用分治思想。就是把一个复杂的问题分成两个或更多相同的可相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。4.2.1大数据处理的基本思想与架构处理大数据统计文件filename中各单词出现的频率，用python编程实现的代码如下：wordcount={}forwordinopen(filename,’r’).read():

wordcount[word]+=1统计文件filename中各单词出现的频率，用python编拓展链接分布式计算与并行处理分布式计算（DistributedComputing)是把一个需要非常巨大的计算能力才能解决的问题分成许多小部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。例如，利用分布在世界各地成千上万台闲置计算机的计算能力，分析来自外太空的电讯号，探索可能存在的外星智慧生命。并行处理（ParallelProcessing)是计算机系统中能同时执行两个或更多处理的一种计算方法。并行处理的主要目的是节省大型和复杂问题的处理时间。拓展链接分布式计算与并行处理大数据处理静态数据流数据图数据批处理计算（Hadoop、spark等）流计算（storm、heron等）图计算（pregel、graphx等）图4.2.1大数据处理类型大数据处理静态数据流数据图数据批处理计算（Hadoop、sp1、批处理计算Hadoop是一个运行于计算机集群上的分布式系统基础架构，适用于静态数据

的批处理计算。Spark是一种与hadoop相似的，应用较广的开源分布式计算架构。Spark

启用了内存存储中间结果，运行速度比hadoop快。1、批处理计算Hadoop是一个运行于计算机集群上的分布式系图4.2.2Hadoop的组成图4.2.2Hadoop的组成图4.2.3MapReduce的工作流程图4.2.3MapReduce的工作流程拓展链接:Hadoop的发展历史Hadoop最早起源于Nutch项目。Nutch是一个开源的网络搜索引擎，由DougCutting于2002年创建。随着网页数量的增加，项目组遇到了数十亿网页的存储和索引问题。2003年底，谷歌发表了关于谷歌分布式文件系统的论文。该论文描述了谷歌搜索引擎网页相关数据的存储架构，该架构可解决Nutch遇到的网页抓取和索引过程中产生的超大文件存储需求问题。由于谷歌仅开源了思想而未开源代码，Nutch项目组便根据论文开源实现了Nutch的分布式文件系统（NDFS).2004年，谷歌发表了关于谷歌分布式计算框架MapReduce的论文，该框架可用于处理海量网页的索引问题。Nutch的开发人员依据论文完成了MapReduce的开源实现。2006年初，NDFS和MapReduce从Nutch项目分离，DougCutting用儿子的棕黄色大象玩具的名字为项目起名为Hadoop.同年2月，ApacheHadoop项目正式启动以支持MapReduce和HDFS的独立发展。2008年1月，Hadoop成为Apache顶级项目，迎来了它的快速发展期。拓展链接:Hadoop的发展历史2.流计算图4.2.4流计算的发展图4.2.5Twitter的分层数据处理架构2.流计算图4.2.4流计算的发展图4.2.5Twitt拓展链接主要的流计算软件系统目前，处理流数据的软件系统主要有IBMInfoSphereStreams、TwitterStorm、Yahoo!S4、银河流数据处理平台（淘宝）、FacebookPuma等。Storm和S4是目前较为流行的开源分布式实时计算系统。Heron是Storm的替代产品，其外部接口和Storm保持兼容，在流数据处理性能方面与Storm相比有了大幅提升。拓展链接主要的流计算软件系统3、图计算图4.2.6蛋白质激素构成图（由2.7万个节点和794万条边组成）目前通用的图处理软件主要包括两类：一类是图数据库，如Neo4j、InfiniGraph、OrientDB等；加一类是并行图处理系统，如GooglePregel、ApacheGiraph等3、图计算图4.2.6蛋白质激素构成图（由2.7万个节点和4、实时处理与批处理的整合2014年9月，大数据处理系统summingbird，它实现了批处理和流计算的整合（Hadoop+storm）。4、实时处理与批处理的整合2014年9月，大数据处理系统su结合生活实践，查找资料，列举静态数据、

流数据处理实例。问题与讨论:结合生活实践，查找资料，列举静态数据、

流数据处理实例。问题Hadoop应用实例：北京城市数据映像－流动的城市“北京城市数据映像”项目采集了北京市地铁一卡通数据、出租车GPS定位轨迹数据、移动手机基站定位、地理位置微博数据、工商业POI地点等约2TB的数据。数据计算平台采用了服务器集群、Hadoop和HBase架构。通过收集北京市各相关行业的数据，运用大数据分析和可视化表达技术，将城市的发展和变化过程变得直观、透明和可视。大数据分析为城市管理提供了技术支撑，是发现、分析城市问题的新思维和技术方法。拓展链接Hadoop应用实例：拓展链接4.2.2编程处理数据1、利用pandas模块处理数据Pandas提供了series和DataFrame两种数据结构，这两种数据结构可完成

数据的整理、计算、统计、分析及简单可视化。importpandasaspd4.2.2编程处理数据1、利用pandas模块处理数据Pa(1)series(一维)S1=pd.series([166,178,180])Print(s1)运行结果：016611782180dtype:int64S1=pd.series([166,178,180])Print(s1)运行结果：016611782180dtype:int64创建1个series结构类型的对象s1，存储3名同学的身高值。(1)series(一维)S1=pd.series([166例2查看例1中s1对象的index、values属性值。foriins1.index:

print(i)运行结果：012foriins1.values:

print(i)运行结果：166178180foriins1:

print(i)运行结果：166178180例2查看例1中s1对象的index、values属性值。f（2）dataFrame（二维）例3使用相等长度列表的字典构建一个DataFrame对象dfl,存储3名同学的姓名、性别、图书借阅次数数据。importpandasaspddata=(“姓名”：［“王静怡”，“张佳妮”，“李臣武”］，”性别”：［“女”，“女”，“男”］，”借阅次数”：［28,56,37])dfl=pd.DataFrame(data,columns=["姓名＂，“性别＂，“借阅次数＂］）print(df1)运行结果：设定dfl中数据列的顺序姓名性别借阅次数0王静怡女281张佳妮女562李臣武男37（2）dataFrame（二维）例3使用相等长度列表的字典例4读取Excel文件“test.xlsx”中的数据，创建DataFrame对象df。importpandasaspddf=pd.read_excel("test.xlsx")print(df)运行结果：地区规格单位价格采价点采集时间0北京市红富士一级元/500克2.98超市211月中旬1北京市红富士一级元/500克4.88超市111月中旬

2天津市红富士一级元/500克

5.00超市111月中旬

3天津市红富士一级元/500克

5.00超市211月中旬石家庄市红富士一级元/500克

3.98超市111月中旬石家庄市红富士一级元/500克

3.98超市211月中旬例4运行结果：例5查看df1对象的索引、列标题、值，并将行、列转置。foriindf1.index:

print(i)运行结果：012foriindf1.columns:print(i)运行结果：姓名性别借阅次数foriindf1.index:print(i)运行结果：[‘王静怡’‘女’56][‘张佳怩’‘女’52][‘李臣武’‘男’68]Df1.T#转置行、列运行结果：012姓名王静怡张佳怡李臣武性别女女男借阅次数565268例5查看df1对象的索引、列标题、值，并将行、列转置。fo2.利用matplotlib模块绘图表4.2.4常用绘图函数2.利用matplotlib模块绘图表4.2.4常用绘图函例10绘制正弦曲线图importnumpyasnpimportmatplotlib.pyplotaspltx=np.linspace(0,10,1000)yl=np.sin(x)y2=np.sin(x**2)plt.figure(figsize=(8,4))＃创建图表对象plt.title(“sin(x)andsin(x**2)”)＃设置图表标题文字plt.plot(x,y1,label=“sin(x)”,color=“r”,linewidth=2)

＃绘制线形图plt.scatter(x,y2,label="sin(x**2)")＃绘制散点图plt.ylim(-1.5,1.5)

＃设置y坐标轴的取值范围plt.xlim(0,10)