物联网大数据处理技术与实践（第2版）课件 第1、2章-物联网与产业发展、-大数据处理技术的发展

物联网大数据处理技术与实践IoT

BigDataProcessingTechnologyandPractice物联网与产业发展物联网产业的发展1物联网与大数据2物联网产业的机遇与挑战3PARTONE1物联网产业的发展师傅领进门，学艺在自身。------中国谚语1.1物联网产业的发展当前，新一代信息通信技术，包括移动互联网、物联网、云计算和大数据，正引领全球科技革命和产业变革。物联网应用蓬勃发展，与传统领域融合深入，重点领域包括M2M通信、智能汽车等。各国政府积极制定战略，如美国的制造业复兴、德国的工业4.0、中国的制造强国计划，推动全球物联网和大数据迅速增长。中国在物联网领域也采取重要措施，如《中国制造2025》和《智能制造发展规划》，强调信息化与工业化深度融合，推动物联网和新技术应用。1.1.1传感器与智能硬件传感器与智能硬件产业是物联网产业的重要组成部分，其是与物联网产业的发展同步快速发展的。消费者物联网设备包括可穿戴设备、智能家居产品、无人机、无人驾驶汽车等。除了面向消费者的物联网设备之外，产业物联网连接数在总的物联网总连接数中的占比将提速。其中智慧工业、智慧交通、智慧健康、智慧能源等领域将最有可能成为产业物联网连接数增长最快的领域。传感器在赋予手机和物联网产品更强大功能方面发挥关键作用，传感器通常由敏感元件和转换元件组成，将检测感受到的信息转化为电信号，广泛用于各个领域的感知和控制。1.1.2物联网服务平台随着物联网产业的增长，物联网服务平台提供了端到端物联网云服务，帮助制造商打造物联网产品。预测显示到2025年，物联网平台、应用和服务的收入将占据物联网总收入的67%。多家知名科技公司如苹果、华为等都推出了物联网平台或套件，中国移动、阿里巴巴、华为等公司在物联网领域也取得了显著进展，连接数和提供的应用不断增加。物联网服务平台在不同行业，尤其是车联网领域，具有巨大市场潜力，可以改善交通管理和提供智能化的车辆服务。1.1.3工业4.0与CPS美国工业的发展德国工业的发展美国与德国工业发展的异同日本工业4.0的发展美国工业的发展2006年美国提出了虚拟网络-实体物理系统或者信息物理系统（CPS：Cyber-PhysicalSystem）的概念。2010年美国总统奥巴马签署了《美国制造业促进法案》，提出运用数字制造和人工智能等未来科技重构美国的制造业优势。2012年2月美国国家科技委员会发布了《先进制造业国家战略计划》报告，将促进先进制造业发展提高到了国家战略层面2012年11月美国通用电气公司（简称GE）发布《工业互联网——打破智慧与机器的边界》报告，开始向全世界推广工业互联网模式。CPS将物联网和互联网与制造业的融合做出综合性的概括，并将此项技术体系作为新一代技术革命的突破点。汽车、飞机、船舶、电梯、机床以及生产线等，都可以存在于虚拟和实体两个世界，在虚拟世界中将实体的状态以及实体之间的关系透明化.虚拟世界中代表实体状态和相互关系的模型和计算结果能够精确地指导实体的活动，从而使实体的活动相互协调优化.德国工业的发展2011年工业4.0的概念首次在德国汉诺威工业博览会上第一次提出。2013年正式发布了“工业4.0实施建议”，拉开了全球范围内推进第四次工业革命的序幕。“工业4.0”的核心就是信息物联网和服务互联网与制造业的融合创新。“工业4.0”会将智能技术和网络投入到工业应用中，从而进一步巩固德国作为生产地以及制造设备供应国和IT业务解决方案供应国的领先地位。美国与德国工业发展的异同美国与德国面对制造业未来虽然提出的概念不同，但“工业4.0”与CPS本质上是异曲同工的，其战略核心是：制造智能化。“工业4.0”与CPS目标在于通过物联网、信息通讯技术与大数据分析，把不同设备通过数据交互连接到一起，让工厂内部、工厂之间都能成为一个整体，在自动化之上，形成制造的智能化。第四次工业革命主要是指通过物联网和信息物理系统技术，将制造业向智能化转型，实现集中式控制向分散式增强型控制的基本模式转变，最终建立一个高度灵活的个性化和数字化的产品与服务生产模式。物联网、互联网服务以及大数据是“工业4.0”的基础。美国与德国工业发展的异同德国工业4.0的战略意图：（1）对抗美国互联网产业从“信息”领域加速进入“物理”业务领域的影响。（2）工业4.0希望用“信息物理系统”升级“智能工厂”中的“生产设备”，使生产设备因信息物理系统而获得智能。（3）工业4.0战略的推进也是德国在日本、中国等国的制造业快速赶超的背景下保持国际竞争力的重大举措。日本工业4.0的发展2015年1月，日本政府公布了《机器人新战略》，该战略首先列举了欧美与中国的技术赶超，互联网企业向传统机器人产业的涉足，而给机器人产业环境带来了剧变。2021年，我国政府十五部门印发《“十四五”机器人产业发展规划》指出，新一代信息技术、生物技术、新能源、新材料和机器人技术的深度融合，机器人产业迎来升级换代、跨越发展的窗口期。未来五年，我国要突破若干核心技术、实现制造业机器人密度翻番。这些变化，将使机器人开始应用大数据实现自律化，使机器人之间的协同实现网络化，物联网时代也将随之真正到来。PARTTWO2物联网与大数据大数据的产生近年来，随着互联网的飞速发展，特别是随着电子商务、社交网络、移动互联网以及多种传感器的广泛应用，以数量庞大、种类众多、时效性强为特征的非结构化数据不断涌现，数据的重要性愈发凸显。传统的数据存储、处理和分析技术难以有效应对这些大量的非结构化信息，大数据的概念应运而生。大数据的提出2008年9月，《自然（Nature）》刊登了一个名为“BigData”的专辑，首次提出了大数据（BigData）概念。2011年5月,EMC举办了主题为“云计算相遇大数据”的大会。2011年6月麦肯锡全球研究所发布研究报告——《大数据：下一个前沿——创新、竞争和生产力》,提出了“大数据时代”的到来。2012年5月联合国“全球脉冲”计划发布《大数据开发：机遇与挑战》报告，阐述了大数据带来的机遇、挑战以及大数据的应用。大数据的定义大数据：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产从宏观世界角度来讲，大数据是融合物理世界、信息空间和人类社会三元世界的纽带从社会经济角度来讲，大数据是第二经济的核心关键支撑“第二经济的概念是由美国经济学家Auther在2011年提出的，他指出由处理器、链接器、传感器、执行器以及运行在其上的经济活动形成了人们熟知的物理经济（第一经济）之外的第二经济（不是虚拟经济）。第二经济的本质是为第一经济附着一个“神经层”，使国民经济活动能够变得智能化。据Gartner预测，未来几年内，传感和移动设备将更深入延伸至我们的日常生活，导致数据爆发。另根据相关研究统计，物联网中产生的来自传感器的数据逐步超越互联网的数据量，如果算上工业企业自动化生产线及设备上的运行数据，特别是随着工业4.0推进而带来的数据爆炸，物联网数据的量更是呈现几何级数增长。可以说，未来人们谈到或研究“大数据”，无疑物联网将是主要的数据来源。PARTTHREE3物联网产业的机遇与挑战物联网产业面临的挑战物联网市场的增长带来许多好处，方便人们的生活以及企业的生产、提高效率和降低成本。但同时也面临着不少的挑战：碎片化问题安全性和隐私保护问题资源受限问题物联网产业面临的挑战：碎片化“碎片化”原指完整的东西破成诸多零块。我们现在更多地通过网络传媒了解信息，信息内容更加分散，完整的信息被各式各样的分类分解为信息片段。由于终端产品种类繁多，同样的功能可以由不同种类的产品来实现，其终端呈现碎片化。因此相对于互联网，物联网相呈现出更加碎片化的趋势。物联网产业面临的挑战：安全性和隐私保护随着物联网技术的发展扩大，物联网安全问题面临的安全威胁呈现多样化、网络攻击越发猖獗。物联网安全问题的出现可能会导致数据泄露、网络瘫痪等多种后果。业界通过安全标准化、安全保障及隐私保护新技术等多个方面的手段应对此问题。加密通信技术、安全通信技术、访问控制技术等。加强安全管理，严格管理对设备、数据的访问权限。完善物联网相关法律、制定专项安全规章制度等来规范物联网产业。物联网产业面临的挑战：资源受限物联网设备受限于电池寿命物联网的通信环境受限于物理环境条件的限制物联网终端设备的计算能力受限于其自身有限的硬件条件…缓解方法：低功耗硬件通信技术云边协同计算技术物联网操作系统与数据库物联网操作系统提供各种物联网软硬件资源的管理功能，为用户和开发者提供统一的开发接口，具有巨大的发展潜力。物联网操作系统使物联网设备能够在有限的内存带宽、数据量和处理能力的严格参数内通过全球网络与云服务进行交互。物联网操作系统架构示意图物联网操作系统与数据库一部分物联网操作系统通过对智能手机、PC操作系统的改造而成。例如：Windows物联网操作系统Google发布的Brillo操作系统物联网操作系统与数据库一部分物联网操作系统以传统嵌入式操作系统为基础，在其上改造以适应物联网设备的连接及通信等需求。例如：Mbed操作系统Contiki操作系统物联网操作系统与数据库一部分物联网操作系统面向特定的产业研发定制化的操作系统。例如：鸿蒙操作系统物联网操作系统与数据库目前各式各样的物联网操作系统才刚刚推出，还并未成熟，未来还存在很大的变数。无论传感网还是智能硬件，不可避免面临着数据管理问题，传感器数据库、微小型数据库也正在进入人们的视野。随着物联网产业的发展，相信会形成一定的规范与市场需求。物联网大数据未来，物联网产生的数据将超过当今互联网数据作为大数据的主要来源。什么是物联网大数据？物联网技术的发展将和大数据技术紧密结合起来，将成万上亿计的传感器嵌入到现实世界的各种设备中，获取来自传感器的数据。物联网大数据处理与应用物联网大数据处理是指：将成万上亿计的传感器嵌入到现实世界的各种设备中，获取来自传感器的数据，对其进行智能化的处理、分析，挖掘出物联网大数据在单个物联网设备及传感器条件下完全不同的价值，从而提供更加深化、智能、贴近于用户的产品及服务。物联网大数据的应用：智慧城市、智慧医疗、智能家居、工业生产等物联网与大数据结合中的挑战数据类型多样：数据类型多样使得一个应用往往既要处理结构化数据，同时还要处理文本、视频、语音等非结构化数据，这对现有数据库系统来说难以应付。及时响应：在许多应用中，数据是实时变化的，用户对数据处理响应速度及数据处理实时性的需求是关键因素，如何正确、及时地处理连续不断的海量数据面临很大的挑战数据的不确定性：噪声广泛存在于原始数据的采集过程之中，是无法避免的客观因素引起的。但追求高数据质量是对大数据的一项重要要求，最好的数据清理方法也难以消除某些数据固有的不确定性。如何应对大数据带来的上述困难和挑战？各大互联网企业及学术界近几年推出了各种不同类型的大数据处理编程框架、系统等，使大数据分析技术也得到迅速发展，已逐渐被广泛应用于不同的行业和领域。例如：Hadoop框架spark框架THANKS

FOR

YOUR

WATCHINGLoremIpsumDolorSitErElitLamet,ConsectetaurCilliumAdipisicingPecu,SedDoEiusmodTemporIncididuntUtLaboreEtDoloreMagnaAliqua.Thankyou物联网大数据处理技术与实践InternetofThings

BigDataprocessingTechnologyandPractice大数据处理技术的发展大数据存储和管理技术1大数据计算技术2大数据分析技术3人工智能研究的基本内容4人工智能的主要应用和研究领域5PARTONE1大数据存储和管理技术师傅领进门，学艺在自身。------中国谚语大数据存储和管理技术大数据每年都在激增庞大的信息量，加上已有的历史数据信息，对整个业界的数据存储、处理带来了很大的机遇与挑战。对于大数据的存储，存在以下问题和挑战：容量问题延迟问题安全问题灵活性...大数据存储和管理技术数据在存储设备上以数据块的形式存储，人们对物理数据进行直接访问和查询文件系统以文件为单位对数据进行访问和管理数据库在文件系统上增加了一个抽象层，用户可以根据数据模型对文件中的数据进行记录级新增、截取、更新、删除等操作传统的数据存储和管理技术：与传统的单机版文件系统及数据库不同，对于大数据的存储和管理，由于数据规模巨大，必须将数据存储在多个机器中，并且在多台机器中共享这些数据。这时，就需要采用新的文件系统技术。面向大数据的文件系统在多台机器中存储与共享数据：以手工的方式共享文件FTP技术被用来共享文件网络文件系统（NetworkFileSystem,NFS），最初的分布式文件系统分布式文件系统搭建在传统文件系统之上，它必须允许用户在企业内部网上的任一计算机上访问自己的文件，程序可以像对待本地文件一样存储和访问远程文件。为了达到此效果，分布式文件系统必须解决一些基本问题。这些问题包括：1).程序如何寻址远程文件，像对待本地文件一样访问远程文件？2).元数据管理问题3).一致性问题4).并发文件更新问题上世纪八十年代出现的网络文件系统主要解决思路是实现客户端和文件（存储）服务器的交互问题。在缓存和一致性管理方面，Sun公司的网络文件系统NFS采用了简单的弱一致性方式：对于缓存的数据，客户端周期性（30秒）去询问服务器，查询文件被最后修改的时间，如果本地缓存数据的时间早于该时间，则让本地缓存数据无效，下次读取数据时就去服务器获取最新的数据。服务器对外提供统一的命名空间（目录树），存储服务器节点之间不共享存储空间，每个服务器存储不同目录子树的方式实现扩展。网络文件系统的服务器之间缺乏负载均衡和容错机制，不同服务器之间的存储空间也不能得以均衡利用，可靠性差，文件（存储）服务器的可扩展性问题十分突出：每个存储服务器所支持的存储容量局限于SCSI总线的限制而难以扩展。网络文件系统90年代，存储区域网（StorageAreaNetwork，SAN）成为解决存储系统可扩展性的最有效的途径。SAN是用网络取代SCSI总线，从而使存储系统的容量与性能的可扩展性都得以极大提高。在SAN网络中，可以接入多个存储节点，每个节点都对外提供I/O通道，在写入数据时，服务器端可以并行写入到多个存储节点中，从而显著提高I/O吞吐量。早期的SAN主要用于集群计算系统中。存储区域网分布式集群文件系统分布式集群文件系统：在传统文件系统基础上，每台计算机各自提供自己的存储空间，并各自协调管理所有计算机节点中的文件，节点通过前端网络发送请求读写数据。典型代表Google文件系统GFS雅虎工程师开发了HDFSGlusterFS、Ceph、Lustre、MooseFS等分布式集群文件系统HDFS对大文件采用分块存储，非常适合在以计算为主和超大文件存储的应用环境下，支持对大文件的每一块进行独立地计算处理。HDFS可以在集群内进行文件块的移动迁移，将文件块迁移到计算空闲的机器上，以充分利用CPU计算资源，加快数据处理速度。同时，分块导致了文件难以修改数据。Ceph的主要目标是设计成可轻松扩展到数PB容量、基于POSIX、没有单点故障、对多种工作负载提供高性能的访问。目前Ceph支持OpenStack、CloudStack、OpenNebula、Hadoop等。GlusterFS是完全与POSIX标准兼容的分布式集群文件系统。分布式内存文件系统Tachyon可以在集群里以访问内存的速度来访问存在tachyon里的文件Tachyon是框架在分布式文件存储和各种计算框架之间的一种中间件主要职责是将那些不需要落地到普通文件系统里的文件，落地到分布式内存文件系统中，来达到共享内存、提高效率，同时可以达到减少内存冗余、GC时间等的目的面向大数据的数据库系统：并行数据库是指那些在无共享的体系结构中进行数据库操作的数据库系统。这些系统大部分采用了关系数据模型并且支持SQL语句查询，但为了能够并行执行SQL的查询操作，系统中采用了两个关键技术：关系表的水平划分：根据某种策略将关系表中的元组分布到集群中的不同节点上，这些节点上的表结构是一样的，这样就可以对元组并行处理SQL查询的分区执行：首先为SQL查询生成总的执行计划，再拆分成能够在各个节点上独立执行的子计划。在执行时，每个节点将中间结果发送到某一特定节点进行聚集产生最终结果。并行数据库优点：拥有较高的性能和可用性缺点：没有较好的可伸缩性；系统的容错性较差只适合小规模集群，以及资源需求相对固定的应用程序NoSQL数据管理系统由于传统关系数据库（Oracle、MSSQLServer和MySQL等）不擅长处理模式不确定性的数据、使传统关系数据库表结构变得复杂和对事务管理的严格要求严重影响了系统在分布式环境下的可用性和可伸缩性等原因，出现了NoSQL数据管理系统。NoSQL（NotOnlySQL）数据存储和管理系统是指那些非关系型的、分布式的、不保证遵循ACID原则的数据存储系统,并分为key-value存储、文档数据库和图数据库这3类。根据CAP定理，对于分布式系统来说，系统的一致性(consistency，C)、可用性(availability，A)和分区容错性(partitiontolerance，P)三者是不可能同时实现的，任何设计高明的分布式系统只能同时保障其中的两个性质。如以上的NoSQL数据库中，Cassandra,Dynamo满足CAP定理中的AP；BigTable,MongoDB满足CP；而关系数据库,如MySQL和Postgres满足AC。NoSQL数据管理系统NoSQL典型地遵循BASE原则，更加强调读写效率、数据容量以及系统可扩展性.NoSQL数据库一般只支持简单的key/value接口，只支持根据惟一的键值(key)定义在一个数据项上的读写操作。支持事务的分布式NoSQL--FoundationDB优点：相对于复杂的关系数据库系统，其主要优点在于其查询速度快、支持大规模数据存储且支持高并发，非常适合只需要通过主键进行简单查询的应用场景。缺点：它本身没有任何表示约束和关系的机制，因此数据完整性的保障完全依赖客户程序本身；由于目前出现了很多NoSQL数据存储系统的产品或工具，但由于缺乏统一标准，彼此之间兼容性差等。NewSQL数据管理系统NewSQL能够提供SQL数据库的质量保证，也能提供NoSQL数据库的可扩展性。VoltDB是NewSQL的实现之一，其开发公司的CTO宣称，它们的系统使用NewSQL的方法处理事务的速度比传统数据库系统快45倍。VoltDB可以扩展到39个机器上，在300个CPU内核中每分钟处理1600万事务，其所需的机器数比Hadoop集群要少很多。NewSQL的出现：2012年Google在OSDI上发表了Spanner的论文，2013年在SIGMOD发表了F1的论文。这两篇论文让业界第一次看到了关系模型和NoSQL的扩展性在超庞大集群规模上融合的可能性。这种可扩展、高性能的SQL数据库被称为NewSQL，其中“New”用来表明与传统关系型数据库系统的区别。PARTTWO2大数据计算技术批处理计算模式

批量数据三大特征数据体量巨大数据精确度高数据价值密度低大数据的批处理系统适用于先存储后计算，实时性要求不高，同时数据的准确性和全面性更为重要的场景。批处理计算模式批量数据处理适合大型、相对成熟的作业，但可能浪费时间，因为处理结果与预期差异大。MapReduce编程模型在批处理计算中广泛应用，因为它具有良好的性价比、易于使用和可伸缩性。离线批处理计算模式适用于静态数据，但对于实时性要求高的应用不够强大，因为它有一些局限性，如中间数据传输难以优化、任务重启开销大等。交互式查询计算模式数据查询和分析是迭代的交互过程，对实时性要求高，大数据环境下需要改进响应时间，引入索引和内存计算等手段，如Spark和Dremel系统。Spark系统：是高效的开源集群计算系统，利用内存快速处理数据，比Hadoop快10倍~100倍，兼容Hadoop存储API，支持交互式查询。Dremel系统：交互式数据分析系统，处理PB级数据，秒级响应，嵌套数据模型适合大规模数据和相关查询，结合Web搜索技术，能够实现并发执行查询。流处理计算模式流处理计算的现状流处理计算的方式流处理的应用流处理计算的现状流数据具有持续到达、规模大且速度快等特点，通常不会对所有数据进行永久化存储，而基本在内存中完成。流数据处理方式更多地依赖于内存中设计巧妙的概要数据结构。在云计算和大数据环境下面临新的挑战，流处理仍旧是研究热点。物联网领域由于大量实时产生的感知数据，也对流处理计算模式有广泛的需求。流处理计算的方式流处理两种典型的处理方式：真正的流处理方式：计算是针对一条新的记录进行一次。

（例如Storm，其响应时间可以达毫秒级。）微批处理方式：将流数据分为很多小的片段，针对每个片段进行一次处理。（例如SparkStreaming，响应时间难以达到毫秒级。）流处理的应用Twitter的Storm系统

Storm是一套分布式、可靠、可容错的用于处理流数据的系统。其流式处理作业被分发至不

同类型的组件,每个组件负责一项简单的、特定的处理任务。Storm提供了简单的类似于MapReduce的编程模型，降低了实时处理的复杂性。它也具有拥有良好的水平扩展能力,其流式计算过程是在多个线程、进程和服务器之间并行进行的。Linkedin的Samza系统

Samza与Kafka的关系可以类比MapReduce与HDFS的关系。Samza系统由3个层次组成,包括流式数据层(Kafka)、执行层(YARN)、处理层(SamzaAPI).一个Samza任务的输入与输出均是流。

Samza使用Kafka来保证所有消息都会按照写入分区的顺序进行处理,绝对不会丢失任何消息。SparkStreaming系统

SparkStreaming是SparkAPI的一个扩展，它并不会像Storm那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的微批处理作业。大数据实时处理的架构：Lambda及KappaLambda架构是由Storm的作者NathanMarz提出的一个实时大数据处理框架。Lambda架构将大数据系统构建为多个层次。

理想状态下，任何数据访问都可以通过对数据的直接查询获取，但是，若数据达到相当大的一个级别（例如PB），且还需要支持实时查询时，就需要耗费非常庞大的资源。大数据实时处理的架构：Lambda及Kappa

在Lambda架构中，实现batchview的部分被称之为批处理层（Batchlayer）。主要包含两个职责：

存储主数据集（不变的持续增长的数据集）

针对这个主数据集进行预运算

大数据实时处理的架构：Lambda及Kappa加速层只处理最近的数据，它会在接收到新数据时，进行一种增量的计算。

大数据实时处理的架构：Lambda及Kappa

针对Lambda架构的缺点，LinkedIn的工程师JayKreps提出了应对大数据实时处理的另外一种方式，即Kappa架构。

在Kappa架构中，流处理系统来处理输入的数据，流处理系统的输出直接进入数服务层，而应用直接从服务层获取查询结果。也就是说Kappa只有两层：实时处理层和服务层。大数据实时处理的架构：Lambda及Kappa

在Kappa架构中，不需要对数据的处理开发和维护两套不同的系统，因此系统复杂度减少了。

但是，由于Kappa架构去掉了批处理层，