1.1走进大数据世界(完)

Hadoop大数据项目开发——走进大数据世界引言2020年我国决战脱贫攻坚取得决定性胜利，在脱贫攻坚过程中，大数据技术得到广泛应用，为尽早实现精准脱贫目标提供了可行路径。目录content02大数据的特点01大数据的概念03大数据的应用领域1.大数据概念大数据摩尔定律：数据每年都在以50%的速度增长，人类在最近两年产生的数据量相当于之前产生的全部数据量。中商产业研究院预测2022年全球大数据储量已达61.2ZB。1.大数据概念ZB是个什么概念呢？1TB=1024GB如果把1ZB的文件往1TB的硬盘里装，通过换算，大概需要10亿块1TB的硬盘，硬盘连接起来足够绕地球两圈半。ZB是个什么概念呢？1TB=1024GB1PB=1024TB1PB=1024TB1EB=1024PB1ZB=1024EB1.大数据概念知名咨询公司麦肯锡全球研究院给出的大数据定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件能力范围的数据集合，即大数据。这个数据集合，已超过了以往的常规数据集合。定义大数据国务院在2015年印发的《促进大数据发展行动纲要》中指出，大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。1.大数据概念定义大数据2.大数据的4V特点数据量大（Volume）数据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）1V2V4V3V2.大数据的特点数据量大（Volume）：随着物联网、电子商务、社会化网络的快速发展，全球大数据储量迅猛增长，远远超出人类的想象空间。装在1TB的硬盘里，硬盘重约3000万吨，拉走这些硬盘需要50万节火车车厢。装在1TB的硬盘里，大概需要62亿块，足够绕地球150多圈。2022年的大数据储量61.2ZB2.大数据的特点数据类型繁多（Variety）：大数据的结构类型丰富多样，由结构化和非结构化数据组成，结构化数据占10%左右，存储在数据库中；非结构化数据占90%左右，主要包括邮件、音频、视频、位置信息、微博等。2.大数据的特点这是大数据区分于传统数据挖掘最显著的特征。从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少。“1秒定律”或者秒级定律：就是说对处理速度有要求,一般要在秒级时间范围内给出分析结果,时间太长就失去价值了。在100万张DVD光盘中查询数据只需要1~2秒的时间。Velocity处理速度快2.大数据的特点99%1%价值密度低Value信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。例如：实时摄像头的监控数据，有用的信息往往只有几秒时间。3.大数据应用领域大数据在环境行业中的应用大数据在智慧城市中的应用123564大数据在金融领域中的应用大数据在医疗行业中的应用大数据在环境行业中的应用大数据在农业中的应用大数据在农产品溯源中的应用3.大数据应用领域智慧城市金融医疗遍布于智慧城市中的交通、医疗、生活等城市建设中的各个方面，使得城市的管理已经从“城市经验治理”向“城市数字治理”方向发展。金融交易过程中，每一天都会产生大量的交易记录、业绩报表、研究报告、信贷分析报告等，金融业高度依赖于大数据技术，大数据技术为金融业提供了决策支持。构建大数据平台来收集不同病例和治疗方案，以及病人的基本特征，建立针对疾病特点的数据库，帮助医生进行疾病诊断。3.大数据应用领域环境农业农产品借助于大数据技术，天气预报的准确性和实效性大大提高，同时对于重大自然灾害预报更加准确，有利于帮助人们提高应对自然灾害的能力。利用大数据技术可以管理地块和规划作物种植适宜区，预测气候、自然灾害、病虫害、土壤等环境因素，监测作物长势，指导灌溉和施肥，预估产量。利用大数据技术通过向上