大数据概念与应用培训课件

大数据BIGDATA大数据概念与应用培训课件第1页第一章大数据概念与应用1.1大数据概念与意义1.2大数据起源1.3大数据应用场景1.4大数据处理方法of402习题大数据概念与应用培训课件第2页1.1大数据概念与意义第一章大数据概念与应用of403时至今日，“数据”变身“大数据”，“开启了一次重大时代转型”。

“大数据”这一概念形成，有三个标志性事件：1．从“数据”到“大数据”大数据概念与应用培训课件第3页4V特征种类多（Variety）速度快（Velocity）价值高（Value）体量大（Volume）大数据与传统数据相比，数据起源广、维度多、类型杂，各种机器仪表在自动产生数据同时，人本身生活行为也在不停创造数据；不但有企业组织内部业务数据，还有海量相关外部数据。伴随当代感测、互联网、计算机技术发展，数据生成、储存、分析、处理速度远远超出人们想象力，这是大数据区分于传统数据或小数据显著特征。大数据有巨大潜在价值，但同其呈几何指数暴发式增加相比，某一对象或模块数据价值密度较低，这无疑给我们开发海量数据增加了难度和成本。第一章大数据概念与应用of404从至年，人类数据规模将扩大50倍，每年产生数据量将增加到44万亿GB，相当于美国国家图书馆数据量数百万倍，且每18个月翻一番。1.1大数据概念与意义大数据概念与应用培训课件第4页第一章大数据概念与应用大数据数据源整合进行存放、清洗、挖掘、分析后得出结果直到优化企业管理提升效率云计算、硬件性价比提升以及软件技术进步智能设备、传感器普及，推进物联网、人工智能发展计算运行、计算速度越来越快存放存放成本下降智能实现信息对等解放脑力，机器拥有些人智慧of4051.1大数据概念与意义2．大数据技术支撑大数据概念与应用培训课件第5页第一章大数据概念与应用of4061.1大数据概念与意义1）存放：存放成本下降云计算出现之前云计算出现之后在云计算出现之前，数据存放成本是非常高。比如，企业要建设网站，需要购置和布署服务器，安排技术人员维护服务器，确保数据存放安全性和数据传输通畅性，还会定时清理数据，腾出空间方便存放新数据，机房整体人力和管理成本都很高。云计算出现后，数据存放服务衍生出了新商业模式，数据中心出现降低了企业计算和存放成本。比如，企业现在要建设网站，不需要去购置服务器，不需要去雇用技术人员维护服务器，能够经过租用硬件设备方式处理问题。存放成本下降，也改变了大家对数据看法，愈加愿意把1年、2年甚至更久远历史数据保留下来，有了历史数据沉淀，才能够经过对比，发觉数据之间关联和价值。正是因为存放成本下降，才能为大数据搭建最好基础设施。大数据概念与应用培训课件第6页第一章大数据概念与应用of4071.1大数据概念与意义2）计算：运算速度越来越快分布式系统基础架构Hadoop出现，为大数据带来了新曙光；HDFS为海量数据提供了存放；MapReduce则为海量数据提供了并行计算，从而大大提升了计算效率；Spark、Storm、Impala等各种各样技术进入人们视野。海量数据从原始数据源到产生价值，期间会经过存放、清洗、挖掘、分析等多个步骤，假如计算速度不够快，很多事情是无法实现。所以，在大数据发展过程中，计算速度是非常关键原因。大数据概念与应用培训课件第7页第一章大数据概念与应用of4081.1大数据概念与意义3）智能：机器拥有了解数据能力大数据带来最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能深入提升了处理和了解数据能力。比如：谷歌AlphaGo大胜世界围棋冠军李世石阿里云小Ai成功预测出《我是歌手》总决赛歌王12iPhone上智能化语音机器人Siri微信上与大家聊天微软小冰34大数据概念与应用培训课件第8页第一章大数据概念与应用of409美国著名管理学家爱德华·戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。”（1）有数据可说

在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般主要。

（2）说数据可靠

大数据中“数据”真实可靠，它实质上是表征事物现象一个符号语言和逻辑关系，其可靠性数理哲学基础是世界同构原理。世界含有物质统一性，统一世界中一切事物都存在着时空一致性同构关系。这意味着任何事物属性和规律，只要经过适当编码，均能够经过统一数字信号表示出来。1.1大数据概念与意义3．大数据意义

所以，“用数听说话”、“让数据发声”，已成为人类认知世界一个全新方法。大数据概念与应用培训课件第9页1.1从“数据”到“大数据”第一章大数据概念与应用of4010风马牛可相及

在大数据背景下，因海量无限、包罗万象数据存在，让许多看似毫不相干现象之间发生一定关联，使人们能够更简捷、更清楚地认知事物和把握局势。大数据巨大潜能与作用现在难以进行估量，但揭示事物相关关系无疑是其真正价值所在。经典案例：（1）啤酒与尿布（2）谷歌与流感大数据概念与应用培训课件第10页1.1大数据概念与意义1.2大数据起源第一章大数据概念与应用1.3大数据应用场景1.4大数据处理方法of4011习题大数据概念与应用培训课件第11页1.2大数据起源第一章大数据概念与应用of4012全球数据总量图杰姆·格雷（JimGray）提出著名“新摩尔定律”，即人类有史以来数据总量，每过18个月就会翻一番。(EB)(年份)大数据概念与应用培训课件第12页为何全球数据量增加如此之快？大数据概念与应用培训课件第13页1.2大数据起源第一章大数据概念与应用of4014互联网天天产生全部内容能够刻满6.4亿张DVDGoogle天天需要处理24PB数据网民天天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收数据高达44PB全球每秒发送290万封电子邮件，一分钟读一篇话，足够一个人昼夜不停地读5.5年天天会有2.88万个小时视频上传到YouTube，足够一个人昼夜不停地观看3.3年Twitter上天天公布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览大数据到底有多大？

以上一组互联网数据大数据概念与应用培训课件第14页1.2大数据起源第一章大数据概念与应用of4015来自大量传感器机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其它互联网数据海量数据产生伴随人类活动深入扩展，数据规模会急剧膨胀，包含金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内各行业累积数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式能力范围，于是“大数据”这么一个概念才会应运而生。大数据概念与应用培训课件第15页1.2大数据起源第一章大数据概念与应用of4016按产生数据主体划分1）少许企业应用产生数据如关系型数据库中数据和数据仓库中数据等。2）大量人产生数据如推特、微博、通信软件、移动通信数据、电子商务在线交易日志数据、企业应用相关评论数据等。3）巨量机器产生数据如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码（条码）扫描数据等。01大数据概念与应用培训课件第16页1.2大数据起源第一章大数据概念与应用of4017按数据起源行业划分1）以BAT为代表互联网企业baidu企业数据总量超出了千PB级别，阿里巴巴企业保留数据量超出了百PB级别，拥有90%以上电商数据，腾讯企业总存放数据量经压缩处理以后依然超出了百PB级别，数据量月增加到达10%。2）电信、金融、保险、电力、石化系统电信行业数据年度用户数据增加超出10%，金融每年产生数据超出数十PB，保险系统数据量也超出了PB级别，电力与石化方面，仅国家电网采集取得数据总量就到达了数十PB，石油化工领域每年产生和保留下来数据量也快要百PB级别。3）公共安全、医疗、交通领域一个中、大型城市，一个月交通卡口统计数能够到达3亿条；整个医疗卫生行业一年能够保留下来数据就可到达数百PB级别；航班往返一次产生数据就到达TB级别；列车、水陆路运输产生各种视频、文本类数据，每年保留下来也到达数十PB。 024）气象、地理、政务等领域中国气象局保留数据快要10PB，每年约增数百TB；各种地图和地理位置信息每年约数十PB；政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。5）制造业和其它传统行业制造业大数据类型以产品设计数据、企业生产步骤业务数据和生产监控数据为主。其中产品设计数据以文件为主，非结构化，共享要求较高，保留时间较长；企业生产步骤业务数据主要是数据库结构化数据，而生产监控数据则数据量非常大。在其它传统行业，即使线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增，不过数据量还处于积累期，整体体量都不算大，多则到达PB级别，少则数十TB或数百TB级别。大数据概念与应用培训课件第17页1.2大数据起源第一章大数据概念与应用of4018按数据存放形式划分大数据不但仅表达在数据量大，还表达在数据类型多。如此海量数据中，仅有20%左右属于结构化数据，80%数据属于广泛存在于社交网络、物联网、电子商务等领域非结构化数据。结构化数据简单来说就是数据库，如企业ERP、财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其它关键数据库等数据。非结构化数据包含全部格式办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等数据。03大数据概念与应用培训课件第18页1.2大数据起源第一章大数据概念与应用of4019惯用大数据获取路径1）系统日志采集能够使用海量数据采集工具，用于系统日志采集，如HadoopChukwa、ClouderaFlume、FacebookScribe等，这些工具均采取分布式架构，能满足大数据日志数据采集和传输需求。043）APP移动端数据采集APP是获取用户移动端数据一个有效方法，APP中SDK插件能够将用户使用APP信息汇总给指定服务器，即便用户在没有访问时，也能获知用户终端相关信息，包含安装应用数量和类型等。单个APP用户规模有限，数据量有限；但数十万APP用户，获取用户终端数据和部分行为数据也会到达数亿量级。4）与数据服务机构进行合作数据服务机构通常具备规范数据共享和交易渠道，人们能够在平台上快速、明确地获取自己所需要数据。而对于企业生产经营数据或学科研究数据等保密性要求较高数据，也能够经过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。2）互联网数据采集经过网络爬虫或网站公开API等方式从网站上获取数据信息，该方法能够数据从网页中抽取出来，将其存放为统一当地数据文件，它支持图片、音频、视频等文件或附件采集，附件与正文能够自动关联。除了网站中包含内容之外，还能够使用DPI或DFI等带宽管理技术实现对网络流量采集。大数据概念与应用培训课件第19页1.3大数据应用场景1.2大数据起源1.1大数据概念与意义第一章大数据概念与应用1.4大数据处理方法of4020习题大数据概念与应用培训课件第20页1.3大数据应用场景第一章大数据概念与应用of4021大数据7个应用场景环境教育行业医疗行业农业智慧城市零售行业金融行业大数据概念与应用培训课件第21页1.3大数据应用场景第一章大数据概念与应用of4022零售行业零售行业大数据应用有两个层面，一个层面是零售行业能够了解客户消费喜好和趋势，进行商品精准营销，降低营销成本。另一个层面是依据客户购置产品，为客户提供可能购置其它产品，扩大销售额，也属于精准营销范围。未来考验零售企业是怎样挖掘消费者需求，以及高效整合供给链满足其需求能力，所以，信息技术水平高低成为取得竞争优势关键要素。金融行业1）银行数据应用场景利用数据挖掘来分析出一些交易数据背后商业价值。2）保险数据应用场景用数据来提升保险产品精算水平，提升利润水平和投资收益。3）证券数据应用场景对客户交易习惯和行为分析能够帮助证券企业取得更多收益。大数据概念与应用培训课件第22页1.3大数据应用场景第一章大数据概念与应用of4023医疗行业医疗行业拥有大量病例、病理汇报、治愈方案、药品汇报等，经过对这些数据进行整理和分析将会极大地辅助医生提出治疗方案，帮助病人早日康复。能够构建大数据平台来搜集不一样病例和治疗方案，以及病人基本特征，建立针对疾病特点数据库，帮助医生进行疾病诊疗。医疗行业大数据应用一直在进行，不过数据并没有完全打通，基本都是孤岛数据，没方法进行大规模应用。未来能够将这些数据统一采集起来，纳入统一大数据平台，为人类健康造福。教育行业信息技术已在教育领域有了越来越广泛应用，教学、考试、师生互动、校园安全、家校关系等，只要技术到达地方，各个步骤都被数据包裹。经过大数据分析来优化教育机制，也能够作出更科学决议，这将带来潜在教育革命，在很快未来，个性化学习终端将会更多地融入学习资源云平台，依据每个学生不一样兴趣兴趣和专长，推送相关领域前沿技术、资讯、资源乃至未来职业发展方向。大数据概念与应用培训课件第23页1.3大数据应用场景第一章大数据概念与应用of4024农业行业环境行业借助于大数据提供消费能力和趋势汇报，政府可为农业生产进行合理引导，依据需求进行生产，防止产能过剩造成无须要资源和社会财富浪费。经过大数据分析将会更准确地预测未来天气，帮助农民做好自然灾害预防工作，帮助政府实现农业精细化管理和科学决议。借助于大数据技术，天气预报准确性和实效性将会大大提升，预报及时性将会大大提升，同时对于重大自然灾害如龙卷风，经过大数据计算平台，人们将会愈加准确地了解其运动轨迹和危害等级，有利于帮助人们提升应对自然灾害能力。大数据技术能够了解经济发展情况、各产业发展情况、消费支出和产品销售情况等，依据分析结果，科学地制订宏观政策，平衡各产业发展，防止产能过剩，有效利用自然资源和社会资源，提升社会生产效率。大数据技术也能帮助政府进行支出管理，透明合理财政支出将有利于提升公信力和监督财政支出。智慧城市大数据概念与应用培训课件第24页1.3大数据应用场景1.4大数据处理方法1.2大数据起源1.1大数据概念与意义第一章大数据概念与应用of4025习题大数据概念与应用培训课件第25页1.4大数据处理方法第一章大数据概念与应用of4026大数据正带来一场信息社会变革。大量结构化数据和非结构化数据广泛应用，致使人们需要重新思索已经有IT模式；与此同时，大数据将推进进行又一次基于信息革命业务转型，使社会能够借助大数据获取更多社会效益和发展机会；庞大数据需要我们进行剥离、整理、归类、建模、分析等操作，经过这些动作后，我们开始建立数据分析维度，经过对不一样维度数据进行分析，最终才能得到想到数据和信息。所以，怎样进行大数据采集、导入/预处理、统计/分析和大数据挖掘，是“做”好大数据关键基础。大数据概念与应用培训课件第26页1.4大数据处理方法第一章大数据概念与应用of4027大数据采集1大数据采集通常采取多个数据库来接收终端数据，包含智能硬件端、各种传感器端、网页端、移动APP应用端等，而且能够使用数据库进行简单处理工作。惯用数据采集方式主要包含以下几个：数据抓取01数据导入02物联网传感设备自动信息采集03大数据概念与应用培训课件第27页1.4大数据处理方法第一章大数据概念与应用of4028导入/预处理2即使采集端本身有很多数据库，不过假如要对这些海量数据进行有效分析，还是应该将这些数据导入到一个集中大型分布式数据库或者分布式存放集群当中，同时，在导入基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自TwitterStorm来对数据进行流式计算，来满足部分业务实时计算需求。现实世界中数据大致上都是不完整、不一致“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提升数据挖掘质量，产生了数据预处理技术。主要是到达数据格式标准化、异常数据去除、数据错误纠正、重复数据去除等目标。是将多个数据源中数据结合起来并统一存放，建立数据仓库。过平滑聚集、数据概化、规范化等方式将数据转换成适合用于数据挖掘形式。寻找依赖于发觉目标数据有用特征，缩减数据规模，最大程度地精简数据量。大数据概念与应用培训课件第28页1.4大数据处理方法第一章大数据概念与应用of4029

统计与分析3统计与分析主要是利用分布式数据库，或分布式计算集群来对存放于其内海量数据进行普通分析和分类汇总，以满足大多数常见分析需求，在这些方面能够使用R语言。R语言是用于统计分析、绘图语言和操作环境，属于GNU系统一个自由、无偿、源代码开放软件，它是一个用于统计计算和统计制图优异工具。R语言在国际和国内发展差异非常大，国际上R语言已然是专业数据分析领域标准，但在国内依旧任重而道远，这当然有数据学科地位原因，国内很多人版权概念微弱，以及学术领域相对闭塞也是原因。R语言