物联网导论【课件】第4章 认识物联网应用层技术 任务2 认识大数据技术25-26讲

物联网导论点击此处结束放映物联网导论物联网导论点击此处结束放映本章主要内容：任务1认识云计算技术任务2认识大数据技术任务3认识人工智能技术任务4认识物联网平台认识云计算技术1.1认识大数据技术1.2认识人工智能技术1.3认识物联网平台1.4物联网导论点击此处结束放映物联网导论

点击此处结束放映

本任务将带领大家认识大数据的基础知识，这部分内容可以帮助人们认识什么才是真正的大数据，理解并掌握整个大数据的相关体系和理念，以及大数据的应用、面临的机遇和挑战。

认识大数据技术1.2物联网导论引导案例——大数据玩跨界

点击此处结束放映

在2018年4月的天猫欢聚日上，安佳酸奶和阿里巴巴合作推出了一款叫作“安佳轻醇限量绽放礼盒”，一经推出，就成为了“小红书”上的晒单爆款。

安佳酸奶通过大数据分析得知：安佳轻醇的目标人群集中在24～30岁的年轻时尚女性中。这类人群非常关注身材和健康饮食，更愿意把钱花在购买原创或独特的品牌产品上，是最早一批非常乐于购买并和别人分享新产品的人。物联网导论4.2.1大数据时代背景

1．三次信息化浪潮阿尔文·托夫勒1983年出版《第三次浪潮》把人类社会划分成三个阶段：①第一阶段是农业阶段，始于约1万年前。②第二阶段是工业阶段，始于17世纪末。③第三阶段为信息化（服务业）阶段，始于20世纪50年代后期。

点击此处结束放映物联网导论2．技术支撑

进入第三次信息化浪潮后，数据得到暴发式的增长，信息技术亟须解决存储、传输和处理三个核心问题。（1）存储容量不断扩大。（2）CPU处理速度大幅提升。（3）网络带宽不断增加。点击此处结束放映物联网导论3．数据产生方式的变革

大数据的兴起除与三种技术的变革有关外，还和数据的产生方式息息相关。数据产生方式的变革是促使大数据时代来临的另一个重要因素。这里，将人类社会的数据产生方式大致归纳为三个阶段：（1）运营式系统阶段。（2）用户原创内容阶段。（3）感知式系统阶段。点击此处结束放映物联网导论4.2.2大数据的定义与特征

大数据的第一个特点是数据体量巨大，单位：Byte（字节）、KB（千字节）、MB（兆字节）GB（吉字节）、TB（太字节）、PB（拍字节）EB（艾字节）、ZB（泽字节）、YB（尧字节）4V特征：数据量大（Volume）、数据类型多样（Variety）处理速度快（Velocity）和价值密度低（Value）点击此处结束放映物联网导论4.2.3大数据结构类型

大数据技术的核心在于数据，因此，大数据结构类型的实质是指数据的结构类型。大数据的多样性使得大数据被分为三类。点击此处结束放映

非结构化数据为大数据的主要部分。IDC的调查报告显示，企业中80%的数据都是非结构化数据，而且这些数据每年还在按照60%增长。物联网导论1．结构化数据

结构化数据是指包括预定义的数据类型、格式和结构的数据，以行为单位进行存储，常见于关系型数据库中的数据结构，一般以二维表的形式进行逻辑表达，一行数据表示一个实体信息，一列数据表示实体的某个属性。点击此处结束放映结构化数据的存储和排列都是有规律的，这对查询和修改等操作很有帮助。物联网导论2．半结构化数据

指具有可识别的模式并可以解析的文本数据文件。它虽然具有一定的结构性，但是和严格理论模型的关系型数据相比更灵活。半结构化数据是一种灵活的数据，虽然它携带了“模式”这一信息，但这个“模式”并不是一成不变的，其可以随时间的变化在单一数据库内任意改变。如，XML和JSON表示的数据就具有半结构化数据的特点。点击此处结束放映物联网导论3．非结构化数据

指不适合用数据库二维表来表现的数据，它与结构化数据是相对的。对于非结构化数据而言，它没有固定的结构，没有预定义的数据模型。

办公文档、HTML、各类报表、图片、视频、音频等都属于非结构化数据。对于这类数据，一般采取直接整体存储的方式，以二进制的数据格式进行存储。点击此处结束放映物联网导论

4.2.4大数据应用1．科学研究领域的应用

图灵奖获得者吉姆·格雷等人在联合编写的TheFourthParadigm：Data-IntensiveScientificDiscovery一书中，将人类科学的发展定义为四种范式：①几千年前，记录和描述自然现象的经验科学称为第一范式。②数百年前，利用模型归纳总结过去记录的科学称为第二范式。③过去数十年，利用计算机对复杂现象进行模拟仿真的计算科学称为第三范式。④如今，随着数据的暴发式增长，计算机不仅仅能进行模拟仿真，还能进行分析和总结，进而得到理论，这就是第四范式，也称为数据密集型科学。

点击此处结束放映物联网导论2．社会生活领域的应用①大数据让人们可以“运筹帷幄之中，决胜千里之外”。②大数据时代的新闻媒体所报道的内容更加贴近民生。③大数据技术真正实现了“地球村”，信息共享。3．政府管理领域的应用①政府利用大数据平台搭建了社会经济各个层面的信息管理公共服务平台。②大数据使政府在社会资源的整体规划和分配。③大数据有利于政府管理“数字化”“货币化”“资本化”。

点击此处结束放映物联网导论

4.2.5大数据面临的机遇与挑战1．大数据面临的机遇

对企业而言，大数据颠覆了传统数据信息的结构，形成了一个流动的、信息共享的数据池。企业可以利用大数据灵活的技术形式实现对数据的深层挖掘与应用。这种商业模式既可为企业盈利，又可以提高企业的竞争实力，为企业的发展带来更大的机遇。对硬件而言、在软件、服务领域。点击此处结束放映物联网导论

2．大数据面临的挑战①大数据时代面对的是海量信息，其中包含大量的个人或企业隐私信息，甚至国家的机密信息等。②与传统的数据技术理念不同，大数据的结构大部分是非结构化的，这就要求大数据的信息必须是可靠安全的。③由于大数据时代的数据量太过庞大，一般采用云端存储，因此数据管理和用户进行数据处理的场所都具有不确定性。点击此处结束放映物联网导论

点击此处结束放