“互联网+”大数据课件

1、第一章大数据概念与应用1.1大数据的概念与意义1.2大数据的来源1.3大数据应用场景1.4大数据处理方法of401习题第1页，共419页。1.1 大数据的概念与意义第一章 大数据概念与应用of40212008年9 月，美国自然（Nature）杂志专刊The next google,第一次正式提出“大数据”概念。22011年2月1日，科学（Science）杂志专刊Dealing with data，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。32011年5月，麦肯锡研究院发布报告Big data: The next frontier for

2、innovation, competition, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”。 “大数据”这一概念的形成，有三个标志性事件：1从“数据”到“大数据”第2页，共419页。4 V特征种类多（Variety）速度快（Velocity）价值高（Value）体量大（Volume）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还

3、有海量相关的外部数据。随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。第一章 大数据概念与应用of403从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。1.1 大数据的概念与意义第3页，共419页。第一章 大数据概念与应用大数据数据源整合进行存储、清洗、挖掘、分析后得出结果直

4、到优化企业管理提高效率云计算、硬件性价比的提高以及软件技术的进步智能设备、传感器的普及，推动物联网、人工智能的发展计算运行、计算速度越来越快存储 存储成本下降 智能实现信息对等解放脑力，机器拥有人的智慧of4041.1 大数据的概念与意义2大数据的技术支撑第4页，共419页。第一章 大数据概念与应用of4051.1 大数据的概念与意义1）存储：存储成本的下降云计算出现之前云计算出现之后在云计算出现之前，数据存储的成本是非常高的。例如，公司要建设网站，需要购置和部署服务器，安排技术人员维护服务器，保证数据存储的安全性和数据传输的畅通性，还会定期清理数据，腾出空间以便存储新的数据，机房整体的人力和

5、管理成本都很高。云计算出现后，数据存储服务衍生出了新的商业模式，数据中心的出现降低了公司的计算和存储成本。例如，公司现在要建设网站，不需要去购买服务器，不需要去雇用技术人员维护服务器，可以通过租用硬件设备的方式解决问题。存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由于存储成本的下降，才能为大数据搭建最好的基础设施。第5页，共419页。第一章 大数据概念与应用of4061.1 大数据的概念与意义2）计算：运算速度越来越快分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光；H

6、DFS为海量的数据提供了存储；MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率；Spark、Storm、Impala等各种各样的技术进入人们的视野。海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。第6页，共419页。第一章 大数据概念与应用of4071.1 大数据的概念与意义3）智能：机器拥有理解数据的能力大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。例如：谷歌AlphaGo大胜世界围棋冠军李

7、世石阿里云小Ai成功预测出我是歌手的总决赛歌王12iPhone上智能化语音机器人Siri微信上与大家聊天的微软小冰34第7页，共419页。第一章 大数据概念与应用of408美国著名管理学家爱德华戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。”（1）有数据可说 在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。 （2）说数据可靠 大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲

8、学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。1.1 大数据的概念与意义3大数据的意义 因此，“用数据说话”、“让数据发声”，已成为人类认知世界的一种全新方法。第8页，共419页。1.1从“数据”到“大数据”第一章 大数据概念与应用of409风马牛可相及 在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价

9、值所在。经典案例：（1）啤酒与尿布（2）谷歌与流感第9页，共419页。1.1大数据的概念与意义1.2大数据的来源第一章大数据概念与应用1.3大数据应用场景1.4大数据处理方法全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用of4010习题第10页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4011全球数据总量图杰姆格雷（Jim Gray）提出著名的“新摩尔定律”，即人类有史以来的数据总量，每过18个月就会翻一番。(EB)(年份)第11页，共419页。为什么全球数据量增长如此之快？第12页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4013互联网每天

10、产生的全部内容可以刻满6.4亿张DVDGoogle每天需要处理24PB的数据网民每天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收的数据高达44PB全球每秒发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读5.5年每天会有2.88万个小时的视频上传到YouTube，足够一个人昼夜不停地观看3.3年Twitter上每天发布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览16年大数据到底有多大？ 以上一组互联网数据第13页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4014来自大量传感器的机器数据科学研究及行业多结构专业数据

11、来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据海量的数据的产生随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。第14页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4015按产生数据的主体划分1）少量企业应用产生的数据如关系型数据库中的数据和数据仓库中的数据等。2）大量人产生的数据如推特、微博、通信软件、移动通信数据、电子商务在线交易日志

12、数据、企业应用的相关评论数据等。3）巨量机器产生的数据如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码（条码）扫描数据等。01第15页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4016按数据来源的行业划分1）以BAT为代表的互联网公司百度公司数据总量超过了千PB级别，阿里巴巴公司保存的数据量超过了百PB级别，拥有90%以上的电商数据，腾讯公司总存储数据量经压缩处理以后仍然超过了百PB级别，数据量月增加达到10%。2）电信、金融、保险、电力、石化系统电信行业数据年度用户数据增长超过10%，金融每年产生的数据超过数十PB，保险系统的数据量也超过了PB级别，电

13、力与石化方面，仅国家电网采集获得的数据总量就达到了数十PB，石油化工领域每年产生和保存下来的数据量也将近百PB级别。3）公共安全、医疗、交通领域一个中、大型城市，一个月的交通卡口记录数可以达到3亿条；整个医疗卫生行业一年能够保存下来的数据就可达到数百PB级别；航班往返一次产生的数据就达到TB级别；列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。024）气象、地理、政务等领域中国气象局保存的数据将近10PB，每年约增数百TB；各种地图和地理位置信息每年约数十PB；政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。5）制造业和其他传统行业制造业的大数据类

14、型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中产品设计数据以文件为主，非结构化，共享要求较高，保存时间较长；企业生产环节的业务数据主要是数据库结构化数据，而生产监控数据则数据量非常大。在其他传统行业，虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增，但是数据量还处于积累期，整体体量都不算大，多则达到PB级别，少则数十TB或数百TB级别。第16页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4017按数据存储的形式划分大数据不仅仅体现在数据量大，还体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛

15、存在于社交网络、物联网、电子商务等领域的非结构化数据。结构化数据简单来说就是数据库，如企业ERP、财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其他核心数据库等数据。非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等数据。03第17页，共419页。1.2 大数据的来源第一章 大数据概念与应用of4018常用的大数据获取途径1）系统日志采集可以使用海量数据采集工具，用于系统日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，这些工具均采用分布式架构，能满足大数据的日志数据采集和传输需求。0

16、43）APP移动端数据采集APP是获取用户移动端数据的一种有效方法，APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器，即便用户在没有访问时，也能获知用户终端的相关信息，包括安装应用的数量和类型等。单个APP用户规模有限，数据量有限；但数十万APP用户，获取的用户终端数据和部分行为数据也会达到数亿的量级。4）与数据服务机构进行合作数据服务机构通常具备规范的数据共享和交易渠道，人们可以在平台上快速、明确地获取自己所需要的数据。而对于企业生产经营数据或学科研究数据等保密性要求较高的数据，也可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。2）互联网数据采集通过网络爬虫或

17、网站公开API等方式从网站上获取数据信息，该方法可以数据从网页中抽取出来，将其存储为统一的本地数据文件，它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网站中包含的内容之外，还可以使用DPI或DFI等带宽管理技术实现对网络流量的采集。第18页，共419页。1.3大数据应用场景1.2大数据的来源1.1大数据的概念与意义第一章大数据概念与应用1.4大数据处理方法全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用of4019习题第19页，共419页。1.3 大数据应用场景第一章 大数据概念与应用of4020大数据7个应用场景 环境教育行业医疗行业 农业 智慧城市零售行业

18、金融行业第20页，共419页。1.3 大数据应用场景第一章 大数据概念与应用of4021零售行业零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户的消费喜好和趋势，进行商品的精准营销，降低营销成本。另一个层面是依据客户购买的产品，为客户提供可能购买的其他产品，扩大销售额，也属于精准营销范畴。未来考验零售企业的是如何挖掘消费者需求，以及高效整合供应链满足其需求的能力，因此，信息技术水平的高低成为获得竞争优势的关键要素。金融行业1）银行数据应用场景利用数据挖掘来分析出一些交易数据背后的商业价值。2）保险数据应用场景用数据来提升保险产品的精算水平，提高利润水平和投资收益。3）证券数据应用场

19、景对客户交易习惯和行为分析可以帮助证券公司获得更多的收益。第21页，共419页。1.3 大数据应用场景第一章 大数据概念与应用of4022医疗行业医疗行业拥有大量的病例、病理报告、治愈方案、药物报告等，通过对这些数据进行整理和分析将会极大地辅助医生提出治疗方案，帮助病人早日康复。可以构建大数据平台来收集不同病例和治疗方案，以及病人的基本特征，建立针对疾病特点的数据库，帮助医生进行疾病诊断。医疗行业的大数据应用一直在进行，但是数据并没有完全打通，基本都是孤岛数据，没办法进行大规模的应用。未来可以将这些数据统一采集起来，纳入统一的大数据平台，为人类健康造福。教育行业信息技术已在教育领域有了越来越广

20、泛的应用，教学、考试、师生互动、校园安全、家校关系等，只要技术达到的地方，各个环节都被数据包裹。通过大数据的分析来优化教育机制，也可以作出更科学的决策，这将带来潜在的教育革命，在不久的将来，个性化学习终端将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向。第22页，共419页。1.3 大数据应用场景第一章 大数据概念与应用of4023农业行业环境行业借助于大数据提供的消费能力和趋势报告，政府可为农业生产进行合理引导，依据需求进行生产，避免产能过剩造成不必要的资源和社会财富浪费。通过大数据的分析将会更精确地预测未来的天气，帮助农

21、民做好自然灾害的预防工作，帮助政府实现农业的精细化管理和科学决策。借助于大数据技术，天气预报的准确性和实效性将会大大提高，预报的及时性将会大大提升，同时对于重大自然灾害如龙卷风，通过大数据计算平台，人们将会更加精确地了解其运动轨迹和危害的等级，有利于帮助人们提高应对自然灾害的能力。大数据技术可以了解经济发展情况、各产业发展情况、消费支出和产品销售情况等，依据分析结果，科学地制定宏观政策，平衡各产业发展，避免产能过剩，有效利用自然资源和社会资源，提高社会生产效率。大数据技术也能帮助政府进行支出管理，透明合理的财政支出将有利于提高公信力和监督财政支出。智慧城市第23页，共419页。1.3大数据应用

22、场景1.4大数据处理方法1.2大数据的来源1.1大数据的概念与意义第一章大数据概念与应用全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用of4024习题第24页，共419页。1.4 大数据处理方法第一章 大数据概念与应用of4025大数据正带来一场信息社会的变革。大量的结构化数据和非结构化数据的广泛应用，致使人们需要重新思考已有的IT模式；与此同时，大数据将推动进行又一次基于信息革命的业务转型，使社会能够借助大数据获取更多的社会效益和发展机会；庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作，通过这些动作后，我们开始建立数据分析的维度，通过对不同的维度数据进行分析，最终才能得

23、到想到的数据和信息。因此，如何进行大数据的采集、导入/预处理、统计/分析和大数据挖掘，是“做”好大数据的关键基础。第25页，共419页。1.4 大数据处理方法第一章 大数据概念与应用of4026大数据的采集1大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。常用的数据采集的方式主要包括以下几种：数据抓取01数据导入02物联网传感设备自动信息采集03第26页，共419页。1.4 大数据处理方法第一章 大数据概念与应用of4027导入/预处理2虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分

24、析，还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。数据清理数据集成数据变换数据归约主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。是将多个数据源中的数据结合起来并统一存储，建立数据仓库。过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形

25、式。寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。第27页，共419页。1.4 大数据处理方法第一章 大数据概念与应用of4028 统计与分析3统计与分析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求，在这些方面可以使用R语言。R语言是用于统计分析、绘图的语言和操作环境，属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R语言在国际和国内的发展差异非常大，国际上R语言已然是专业数据分析领域的标准，但在国内依旧任重而道远，这固然有数据学科地位的原因，国内很多人

26、版权概念薄弱，以及学术领域相对闭塞也是原因。R语言是一套完整的数据处理、计算和制图软件系统。R语言的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动地进行数据分析，甚至创造出符合需要的新的统计计算方法。在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。第28页，共419页。1.4 大数据处理方法第一章 大数据概念与应用of4029大数据挖掘4数据挖掘是创建数据挖掘模型的一组试探法和计算方法，通过对提供的数据进行分析，查找特定类型的模式和趋势，最终形成创建模型。分类朴素贝叶斯算法

27、一种重要的数据分析形式，根据重要数据类的特征向量值及其他约束条件，构造分类函数或分类模型，目的是根据数据集的特点把未知类别的样本映射到给定类别中。支持向量机SVM算法AdaBoost算法C4.5算法CART算法聚类BIRCH算法目的在于将数据集内具有相似特征属性的数据聚集在一起，同一个数据群中的数据特征要尽可能相似，不同的数据群中的数据特征要有明显的区别。K-Means算法期望最大化算法（EM算法）K近邻算法关联规则Apriori算法索系统中的所有数据，找出所有能把一组事件或数据项与另一组事件或数据项联系起来的规则，以获得预先未知的和被隐藏的，不能通过数据库的逻辑操作或统计的方法得出的信息。F

28、P-Growth算法预测模型序贯模式挖掘SPMGC算法一种统计或数据挖掘的方法，包括可以在结构化与非结构化数据中使用以确定未来结果的算法和技术，可为预测、优化、预报和模拟等许多业务系统所使用。第29页，共419页。1新摩尔定律的含义是什么？2大数据现象是怎么形成的？3大数据有哪些特征？4如何对大数据的来源进行分类？5大数据预处理的方法有哪些？6大数据的挖掘方法有哪些？习题：第30页，共419页。感谢聆听第31页，共419页。第二章数据采集与预处理2.12.2数据预处理原理2.3数据仓库与ETL工具习题全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用大数据采集架构of4232第32页，

29、共419页。2.1大数据采集架构第二章 数据采集与预处理如今，社会中各个机构、部门、公司、团体等正在实时不断地产生大量的信息，这些信息需要以简单的方式进行处理，同时又要十分准确且能迅速满足各种类型的数据（信息）需求者。这给我们带来了许多挑战，第一个挑战就是在大量的数据中收集需要的数据，下面介绍常用的大数据采集工具。of42332.1.1概述第33页，共419页。2.1大数据采集架构第二章 数据采集与预处理FlumeChukwaScribleKafka大数据采集工具of42342.1.2 常用大数据采集工具数据采集最传统的方式是企业自己的生产系统产生的数据，除上述生产系统中的数据外，企业的信息系

30、统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越多的企业通过架设日志采集系统来保存这些数据，希望通过这些数据获取其商业或社会价值。第34页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4235在Flume中，外部输入称为Source（源），系统输出称为Sink（接收端）。Channel（通道）把Source和Sink链接在一起。Apache Chukwa项目与Flume有些相类似，Chukwa继承了Hadoop的伸缩性和鲁棒性。也内置一个功能强大的工具箱，用于显示系统监控和分析结果。互联网时代，网络爬虫也是许多企业获取数据的一种方式。Nutch就是网络爬虫中的

31、娇娇者，Nutch是Apache旗下的开源项目，存在已经超过10年，拥有大量的忠实用户。Flume体系架构第35页，共419页。2.1大数据采集架构第二章 数据采集与预处理of42362.1.3 Apache Kafka数据采集Apache Kafka被设计成能够高效地处理大量实时数据，其特点是快速的、可扩展的、分布式的，分区的和可复制的。Kafka是用Scala语言编写的，虽然置身于Java阵营，但其并不遵循JMS规范。Topics（话题）：消息的分类名。Producers（消息发布者）：能够发布消息到Topics的进程。Consumers（消息接收者）：可以从Topics接收消息的进程。B

32、roker（代理）：组成Kafka集群的单个节点。基本Kafka集群的工作流程第36页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4237 1、TopicsTopics是消息的分类名（或Feed的名称）。Kafka集群或Broker为每一个Topic都会维护一个分区日志。每一个分区日志是有序的消息序列，消息是连续追加到分区日志上，并且这些消息是不可更改的。 2、日志区分一个Topic可以有多个分区，这些分区可以作为并行处理的单元，从而使Kafka有能力高效地处理大量数据。Topics与日志分析第37页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4238 3、

33、ProducersProducers是向它们选择的主题发布数据。生产者可以选择分配某个主题到哪个分区上。这可以通过使用循环的方式或通过任何其他的语义分函数来实现。 4、ConsumersKafka提供一种单独的消费者抽象，此抽象具有两种模式的特征消费组：Queuing 和Publish-Subscribe。 5、Apache Kafka的安装及使用因为Kafka是处理网络上请求，所以，应该为其创建一个专用的用户，这将便于对Kafka相关服务的管理，减少对服务器上其他服务的影响。第38页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4239使用useradd命令来创建一个Kafk

34、a用户：$sudo useradd kafka m使用passwd 命令来设置其密码：$sudo passwd kafaka接下来把kafaka用户添加到sudo管理组，以便kafaka用户具有安装Apache Kafka依赖库的权限。这里使用adduser命令来进行添加：$sudo adduser kafka sudo这时就可以使用kafka账户了。 切换用户可以使用su命令：$su - kafka在Apache Kafka安装所依赖的软件包前，最好更新一下apt管理程序的软件列表：$sudo apt-get updateApache Kafka需要Java运行环境，这里使用apt-get命

35、令安装default-jre包，然后安装Java运行环境：$sudo apt-get install default-jre通过下面的命令测试一下Java运行环境是否安装成功，并查看Java的版本信息：$java -version第39页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4240机器有如下显示：第40页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4241第41页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4242第42页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4243第43页，共419页。2.1大数据采集架构

36、第二章 数据采集与预处理of42446、使用Java来编写Kafka的实例首先，编写KafkaPperties文件：zk.connect = localhost:2181broker.list = localhost:9092serializer.class = kafka.serializer.StringEncoderrequest.required.acks = 1下面的代码是使用Java编写了一个Kafka消息发布者：import ducer.Producer;import ducer.KeyedMessage;import ducer.ProducerConfig;public cl

37、ass MyKafkaProducer private Producer producer;private final String topic;public MyKafkaProducer(String topic) throws Exception InputStream in = Properties.class.getResourceAsStream(KafkaPperties);Properties props = new Properties();props.load(in);ProducerConfig config = new ProducerConfig(props);pro

38、ducer = new Producer(config);public void sendMessage(String msg)KeyedMessage data = new KeyedMessage( topic, msg);producer.send(data);producer.close();public static void main(String args) throws ExceptionMyKafkaProducer producer = new MyKafkaProducer(HelloTopic);String msg = Hello Kafka!;producer. s

39、endMessage(msg);第44页，共419页。2.1大数据采集架构第二章 数据采集与预处理of4245下面创建Comsumer，首先编写KafkaProperties文件：zk.connect = localhost:2181group.id = testgroupzookeeper.session.timeout.ms = 500zookeeper.sync.time.ms = 250erval.ms = 1000上述参数配置，十分容易理解，具体的详细说明，可以参考Kafka的官方文档。下面的代码是使用Java编写了一个Kafka的Comsumer。import java.io.In

40、putStream;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.ConsumerConnector;import kafka.consumer.Consumer;publi

41、c class MyKafkaConsumer private final ConsumerConnector consumer;private final String topic;public MyKafkaConsumer(String topic) throws ExceptionInputStream in = Properties.class.getResourceAsStream(KafkaPperties);Properties props = new Properties();props.load(in);ConsumerConfig config = new Consume

42、rConfig(props);consumer = Consumer.createJavaConsumerConnector(config);this.topic = topic;public void consumeMessage() Map topicMap = new HashMap();topicMap.put(topic, new Integer(1);MapString, ListKafkaStream consumerStreamsMap =consumer.createMessageStreams(topicMap);ListKafkaStream streamList = c

43、onsumerStreamsMap.get(topic);for (final KafkaStream stream : streamList) ConsumerIterator consumerIte = stream.iterator();while (consumerIte.hasNext()System.out.println(message : + new String(consumerIte.next().message();if (consumer != null)consumer.shutdown();public static void main(String args) t

44、hrows ExceptionString groupId = testgroup;String topic = HelloTopic;MyKafkaConsumer consumer = new MyKafkaConsumer(topic);consumer.consumeMessage();第45页，共419页。第二章数据采集与预处理2.12.2数据预处理原理2.3数据仓库与ETL工具习题全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用大数据采集架构of4246第46页，共419页。2.2数据预处理原理第二章 数据采集与预处理通过数据预处理工作，可以使残缺的数据完整，并将错误的数

45、据纠正、多余的数据去除，进而将所需的数据挑选出来，并且进行数据集成。数据预处理的常见方法有数据清洗、数据集成与数据变换。of4247第47页，共419页。2.2数据预处理原理第二章 数据采集与预处理填 充缺 失值数据属性分为数值属性和非数值属性进行处理，通过利用已存数据的多数信息来推测缺失值数据属性分为数值属性和非数值属性进行处理，通过利用已存数据的多数信息来推测缺失值大量采用同一属性值，可能会误导挖掘程序得出有偏差甚至错误的结论数据偏离的问题小，但该方法十分费时,不具备实际的可操作性通常当在缺少类标号时，通过这样的方法来填补缺失值利用均值替换缺失值忽略元组人工填写缺失值使用一个全局常量填充缺

46、失值用属性的均值填充缺失值用同类样本的属性均值填充缺失值使用最可能的值填充缺失值of42482.2.1 数据清洗第48页，共419页。2.2数据预处理原理第二章 数据采集与预处理of4249分箱方法通过考察某一数据周围数据的值，即“近邻”来光滑有序数据的值。分箱01回归02光滑数据可以通过一个函数拟合数据来实现。线性回归的目标就是查找拟合两个属性的“最佳”线，使得其中一个属性可以用于预测出另一个属性。聚类03离群点可通过聚类进行检测，将类似的值组织成群或簇，离群点即为落在簇集合之外的值。许多数据光滑的方法也是涉及离散化的数据归约方法。噪声是被测量的变量的随机误差或方差。给定一个数值属性，如何才

47、能使数据“光滑”，去掉噪声？下面给出数据光滑技术的具体内容。第49页，共419页。2.2数据预处理原理第二章 数据采集与预处理of4250数据清洗可以视为一个过程，包括检测偏差与纠正偏差两个步骤：2纠正偏差1检查偏差可以使用已有的关于数据性质的知识发现噪声、离群点和需要考察的不寻常的值。这种知识或“关于数据的数据”称为元数据。即一旦发现偏差，通常需要定义并使用一系列的变换来纠正它们。但这些工具只支持有限的变换，因此，常常可能需要为数据清洗过程的这一步编写定制的程序。第50页，共419页。2.2数据预处理原理第二章 数据采集与预处理（1）模式集成和对象匹配问题（2）冗余问题（3）元组重复（4）数

48、据值冲突的检测与处理问题数据挖掘经常需要数据集成合并来自多个数据存储的数据。数据还可能需要变换成适于挖掘的形式。数据分析任务多半涉及数据集成。问题of42512.2.2 数据集成第51页，共419页。2.2数据预处理原理第二章 数据采集与预处理 1、光滑。去除数据中的噪声 2、聚集。对数据进行汇总或聚集。3、 数据泛化。使用概念分层，用高层概念替换低层或“原始”数据 4、规范化。将属性数据按比例缩放，使之落入一个小的特定区间5、属性构造。可以构造新的属性并添加到属性集中，以帮助挖掘过程of42522.2.3 数据变换数据变换的目的是将数据变换或统一成适合挖掘的形式。数据变换主要涉及以下内容：第

49、52页，共419页。第二章数据采集与预处理2.12.2数据预处理原理2.3数据仓库与ETL工具习题全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用大数据采集架构of4253第53页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理数据仓库中的数据来自于多种业务数据源，这些数据源可能处于不同硬件平台上，使用不同的操作系统，数据模型也相差很远。如何获取并向数据仓库加载这些数据量大、种类多的数据，已成为建立数据仓库所面临的一个关键问题。of42542.3.1 数据仓库与ETL工具数据仓库，是在企业管理和决策中面向主题的、集成的、随时间变化的、非易失性数据的集合。第54页，共

50、419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理如何获取并向数据仓库加载数据量大、种类多的数据，一般要使用专业的数据抽取、转换和装载工具，这些工具合并起来被称为ETL（Extract-Transform-Load）。Informatica PowerCenter常用ETL工具IBM DatastageWarehouse Builder（OWB）Oracle Data Integrator（ODI）Microsoft SQLServer Integration Services开源Kettleof42552.3.2 常用ETL工具第55页，共419页。2.3 数据仓库与ETL工具第

51、二章 数据采集与预处理of4256PowerCenterIBM DatastageKettleInformatica的PowerCenter是一个可扩展、高性能企业数据集成平台，应用于各种数据集成流程，通过该平台可实现自动化、重复使用及灵活性IBM InfoSphere DataStage是一款功能强大的ETL工具，是IBM数据集成平台IBM Information Server的一部分，是专门的数据提取、数据转换、数据发布的工具。Kettle是Pentaho中的ETL工具，Pentaho是一套开源BI解决方案。Kettle是一款国外优秀的开源ETL工具，由纯Java编写，可以在Windows

52、、Linux、UNIX上运行，无须安装，数据抽取高效稳定。第56页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理of425701（1）Chef可使用户创建任务（Job）。它是提供图形用户界面的工作设计工具。02（2）Kitchen可使用户批量使用由Chef设计的任务，一般在自动调度时借助此命令调用调试成功的任务。它是一个后台运行的程序，以命令行方式，没有图形用户界面。03（3）Spoon可使用户通过图形界面来设计ETL转换过程，一般在编写和调试ETL时用到。04（4）Span可使用户批量运行由Spoon设计的ETL转换，Span是一个后台执行的程序，以命令行方式，没有图形界

53、面，一般在自动调度时借助此命令调用调试成功的转换。Kettle目前包括如下4个产品：第57页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理案例：Kettle数据迁移可以在Kettle的官网/下载进入主界面在“输入”文件夹下选择“表输入”，并把它拖动到右侧编辑区of42582.3.3 案例：Kettle数据迁移第58页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理案例：Kettle数据迁移编辑数据来源 配置数据库的参数 选择输入表 设置“字段选择”of4259第59页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理案例：Kettle数据迁

54、移将每一个输入字段改成和输出字段相同的名字自动列出之前表输入中的所有字段of4260第60页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理案例：Kettle数据迁移of4261在“输出”文件夹中拖出一个“表输出”到右侧编辑区，并画连接配置数据库将输出表对象设置为Oracle数据库 映射输入/输出关系单击“确定”按钮关闭窗口第61页，共419页。2.3 数据仓库与ETL工具第二章 数据采集与预处理案例：Kettle数据迁移of4262执行转换去本地Oracle数据库中查看实时显示转换过程第62页，共419页。1采用哪些方式可以获取大数据？2常用大数据采集工具有哪些？3简述什么

55、是Apache Kafka数据采集。4Topic可以有多个分区，这些分区有什么作用？5Kafka抽象具有哪种模式的特征消费组？6查阅相关资料，实例演示Apache Kafka的安装及使用。7使用Java来编写Kafka的实例。8简述数据预处理的原理。9数据清洗有哪些方法？10数据集成需要重点考虑的问题有哪些？11数据变换主要涉及哪些内容？12分别简述常用ETL工具。习题：第63页，共419页。感谢聆听第64页，共419页。全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用第三章数据挖掘算法3.1数据挖掘概述3.2分类3.3聚类3.4关联规则3.5预测规模习题3.6数据挖掘算法综合应用o

56、f3965第65页，共419页。3.1数据挖掘概述第三章 数据挖掘算法20世纪80年代末，数据挖掘（Data Mining，DM）提出。1989年，KDD 这个名词正式开始出现。1995年，“数据挖掘” 流传。从科学定义分析，数据挖掘是从大量的、有噪声的、不完全的、模糊和随机的数据中，提取出隐含在其中的、人们事先不知道的、具有潜在利用价值的信息和知识的过程。从技术角度分析，数据挖掘就是利用一系列的相关算法和技术，从大数据中提取出行业或公司所需要的、有实际应用价值的知识的过程。知识表示形式可以是概念、规律、规则与模式等。准确地说，数据挖掘是整个知识发现流程中的一个具体步骤，也是知识发现过程中最重

57、要的核心步骤。特征处理大数据的能力更强，且无须太专业的统计背景就可以使用数据挖掘工具数据挖掘的最终目的是方便企业终端用户使用，而并非给统计学家检测用的从使用与需求的角度上看，数据挖掘工具更符合企业界的需求of39663.1.1 数据挖掘概念第66页，共419页。3.1数据挖掘概述第三章 数据挖掘算法使用广义角度分类聚类估值预测关联规则数理基础角度机器学习方法统计方法神经网络方法决策树基于范例学习规则归纳遗传算法回归分析时间序列分析关联分析聚类分析粗糙集探索性分析支持向量机最近邻分析模糊集前向神经网络自组织神经网络多层神经网络深度学习感知机可视化of39673.1.2 数据挖掘常用算法第67页，

58、共419页。3.1数据挖掘概述第三章 数据挖掘算法1分类数据挖掘方法中的一种重要方法就是分类，在给定数据基础上构建分类函数或分类模型，该函数或模型能够把数据归类为给定类别中的某一种类别，这就是分类的概念。2聚类3关联规则4时间序列预测聚类也就是将抽象对象的集合分为相似对象组成的多个类的过程，聚类过程生成的簇称为一组数据对象的集合。关联规则属于数据挖掘算法中的一类重要方法，关联规则就是支持度与信任度分别满足用户给定阈值的规则。时间序列预测法是一种历史引申预测法，也即将时间数列所反映的事件发展过程进行引申外推，预测发展趋势的一种方法。of39683.1.2 数据挖掘常用算法第68页，共419页。3

59、.1数据挖掘概述第三章 数据挖掘算法按照数据挖掘的应用场景分类，数据挖掘的应用主要涉及通信、股票、金融、银行、交通、商品零售、生物医学、精确营销、地震预测、工业产品设计等领域，在这些领域众多数据挖掘方法均被广泛采用且衍生出各自独特的算法。1数据挖掘在电信行业的应用2数据挖掘在商业银行中的应用数据挖掘广泛应用在电信行业，可以帮助企业制定合理的服务与资费标准、防止欺诈、优惠政策，为公司决策者提供可靠的决策依据，为市场营销、客户服务、全网业务、经营决策等提供有效的数据支撑，进一步完善了国内电信公司对省、市电信运营的指导，在业务运营中发挥重要的作用，从而为精细化运营提供技术与数据的基础。在美国银行业与

60、金融服务领域数据挖掘技术的应用十分广泛，由于金融业务的分析与评估往往需要大数据的支撑，从中可以发现客户的信用评级与潜在客户等有价值的信息，可成功地预测客户的需求。of39693.1.3 数据挖掘应用场景第69页，共419页。3.1数据挖掘概述第三章 数据挖掘算法3数据挖掘在信息安全中的应用4数据挖掘在科学探索中的应用利用机器学习与数据挖掘等前沿技术与处理方法对入侵检测的数据进行自动分析，提取出尽可能多的隐藏安全信息，从中抽象出与安全有关的数据特征，从而能够发现未知的入侵行为。数据挖掘技术可以建立一种具备自适应性、自动的、系统与良好扩展性的入侵检测系统，能够解决传统入侵检测系统适应性与扩展性较差