大学计算机基础（第6版）（微课版） 课件 第11章 计算机新技术与应用

大学计算机基础

第11章计算机新技术与应用大学计算机基础课程组2022年4月目录：教学内容大数据1云计算2物联网3区块链4人工智能52教学目标掌握大数据、云计算、物联网、区块链、人工智能的基本概念12了解大数据、云计算、物联网、区块链的关键技术3掌握大数据、云计算、物联网、区块链、人工智能的基本特征1.1大数据的概念大数据（BigData），或称巨量资料，指的是所涉及的资料量规模巨大到无法通过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策等积极目的的资讯。大数据并不是一种新的产品，也不是一种新的技术，它只是数字化时代出现的一种现象。“大数据”时代产生了庞大、繁杂、快速变化的数据，使用传统技术手段已经无法管理与应用这些数据。概念1.2大数据的特征

特征5V1.2大数据的特征特征1．大量化指数据的采集、存储及计算的量都非常大。数据的规模与数据存储和网络技术的发展紧密相关。随着数据处理技术和通信技术的发展，数据的产生量和存储量成倍增长。数据量已经从TB级别跃升到PB、EB乃至ZB级别。存储单位从GB到TB,乃至PB、EB级别。据IDC估测，人类社会产生的数据每年都在以50%的速度增长。社交网络、移动网络、各种智能工具及服务工具等都成为数据的来源。1.2大数据的特征特征2．快速化大数据的快速化主要表现为数据的实时响应和快速处理。数据处理快速化是大数据区别于传统数据挖掘最显著的特征。3．多样化多样化指大数据包括多种不同类型的数据。数据有三种基本类型：结构化数据、非结构化数据和半结构化数据。1.2大数据的特征特征4．价值化大数据的价值具有稀缺性、不确定性。大数据中数据价值密度相对较低，即有价值的数据所占比例很低。随着数据量的增长，数据中有意义的信息却没有成相应比例增长。通常可通过机器学习、数据挖掘等方法从数据中挖掘有价值的信息，并将其应用于相关领域。5．真实性真实性指数据的质量和保真性。大数据环境下的数据要保证准确性、可信赖度。1.3大数据的技术大数据技术是使用一系列非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。1.3大数据的技术1．数据采集技术①系统日志数据采集方法：很多互联网企业都有自己的用于系统日志数据采集的海量数据采集工具，如Hadoop的Chukwa。②对非结构化数据采集方法：非结构化数据包括企业内部数据和网络数据。网络数据采集是利用互联网搜索引擎技术实现对有针对性、行业性的数据抓取，并按一定规则和标准进行数据归类，形成数据库文件的过程。如通过网络爬虫从网站上获取相关网页内容，从中抽取用户所需要的属性内容。③其它数据采集方法：对企业或科研院所的保密性要求较高的数据，可通过与其合作的方式，使用特定系统接口等方法采集数据。1.3大数据的技术2．数据预处理技术数据预处理包含4个部分：数据清理、数据集成、数据变换、数据规约。（1）数据清理数据清理是在获取多个维度、多个来源、多种结构的数据之后，对数据进行遗漏值处理、噪音数据处理和不一致数据处理。目的在于删除重复信息，纠正错误信息。①遗漏数据-可用全局常量、属性均值、可能值填充或者直接忽略该数据等方法处理。②噪音数据-可用分组（先对原始数据进行分组，然后对每一组内的数据进行平滑处理）、聚类、人机检查、回归等方法去除噪音。③对于不一致数据可进行手动更正。1.3大数据的技术2．数据预处理技术（2）数据集成数据集成是指把来自不同数据源、不同格式、不同性质的数据整合并存储到一个统一的数据库中,这一过程并非简单的数据合并，而是将数据进行统一化和规范化处理后形成初始的挖掘数据。在这个过程中需要着重解决3个问题：模式匹配、数据冗余、数据值冲突检测与处理。（3）数据变换数据变换就是将数据转换成适合挖掘的形式，采用线性或非线性的数学变换方法将多维数据压缩成较小维的数据，消除他们在时间、空间、属性及精度等方面的差异。如统计学的数据标准化。1.3大数据的技术2．数据预处理技术（4）数据规约数据规约是从数据库或数据仓库中选取并建立用户感兴趣的数据集合，并从数据集合中过滤掉一些无关的、有偏差的、重复的数据。数据规约包括数据方聚集、维归约、数据压缩、数值规约和概念分层。数据规约主要有两种途径：属性选择和数据采样。使用数据规约技术可以使数据集在变小的同时仍然保持数据的完整性。1.3大数据的技术3．数据存储及管理大数据存储及管理技术重点研究复杂结构化、半结构化和非结构化大数据管理与处理技术,解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。具体来讲需要解决以下几个问题：海量文件的存储与管理、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性。目前常用的数据存储方法：开发新型数据库技术；对海量数据进行分区操作；加大虚拟内存；使用数据仓库和多维数据库存储等。1.3大数据的技术4．数据处理技术

大数据主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。

（1）批处理模式批处理模式最具代表性的编程模型是Google公司在2004年提出的MapReduce。该模型采用“分而治之”的并行处理思想。首先将大规模原始数据源进行分块，然后分别交给不同的Map任务去并发处理；Map任务从输入中解析出key/value对集合，然后对这些集合执行用户自行定义的Map函数以得到中间结果，并将该结果写入本地硬盘；Reduce任务从硬盘上读取数据之后，会根据key值进行排序，将具有相同key值的数据组织在一起。最后，用户自定义的Reduce函数会作用于排序后的结果并输出最终结果。1.3大数据的技术4．数据处理技术

（2）流处理模式流数据是指在时间分布和数量上无限的一系列动态数据集合体，是大数据分析中的重要数据类型，具有持续到达、速度快、规模巨大等特点。当新的数据到来时就必须实时计算处理并返回所需的结果，否则会造成数据堆积和丢失，数据的价值随着时间的流逝而不断减少等问题。1.3大数据的技术5．数据分析与挖掘技术大数据处理的核心就是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。大数据不断增长的复杂性使大数据的分析方法显得尤为重要，可以说大数据的分析方法是决定最终信息是否有价值的决定性因素。数据挖掘是指从数据之中提取隐含的、未知的、潜在有用信息的过程。利用数据挖掘进行数据分析的常用方法主要有分类、回归分析、聚类、关联规则等，它们分别从不同的角度对数据进行挖掘。1.3大数据的技术6．数据可视化技术数据可视化是指将大型数据集中的数据以图形、图像的形式表示，并且利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化借助图形化手段实现直观地反映出最终结果，从而清晰、有效地传达与沟通信息。数据可视化包括许多方法：基于几何的技术、面向像素的技术、基于图标的技术、基于层次的技术、1.4大数据的应用1.4大数据的应用（1）电商领域：我国多个著名的网购电商平台，如淘宝、京东等利用大数据技术，通过对用户购物喜好、购买力等信息进行分析，为用户推送适合的产品。（2）交通领域：采用大数据技术对交通流量进行监控、分析、预测未来道路交通状况，缓解拥堵。导航软件就是根据大数据计算为用户选择适合的通行路线和出行方案。（3）医疗领域：医疗行业通过实时统计分析临床数据、远程病人数据分析、就诊行为分析等，辅助医生进行临床决策，从而提高医生的工作效率。电子病历是大数据在医疗领域最强大的应用，该应用使得病人的医疗记录在不同医疗机构之间实现共享。除此之外，血压跟踪器、睡眠检测仪、心脏检测器等穿戴设备的应用可实时收集病人的健康数据。1.4大数据的应用（4）传媒领域：传媒相关企业通过收集各式各样的信息，分析了用户的阅读、观看及收听习惯和喜好，实现对读者需求的准确定位，并追踪用户的浏览习惯，不断进行信息优化。（5）安防领域：安防行业可实现视频图像模糊查询、快速检索、精准定位，并能够进一步挖掘海量视频监控数据背后的有价值的信息，辅助决策判断。（6）金融领域：金融和保险业利用大数据和预测分析技术进行风险评估等用途。金融机构也在利用大数据来加强其网络安全工作，并为客户提供个性化的金融决策。1.4大数据的应用（7）教育领域：通过大数据进行分析，能够为每位学生量身定做一个的个性化课程，为学生的多年学习提供一个富有挑战性的学习计划。例如：大数据公司Knewton开发了一个数字平台，分析了几百万学生从幼儿园到大学的学习过程，在此基础上设计开发了个性化课程。1.4大数据的应用（8）政府领域：“智慧城市”已经在多地尝试运营，通过大数据，政府部门得以感知社会的发展变化需求，从而更加科学化、精准化、合理化的为市民提供相应的公共服务以及资源配置。2.1云计算概念云计算（CloudComputing）是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投人很少的管理工作，或与服务供应商进行很少的交互。也就是说云计算既是一种商业模式，也是一种计算模式。云计算是网格计算、分布式计算、并行计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。2.2云计算特征（1）大规模。

（2）虚拟化。（3）可靠性高。（4）通用性。（5）高扩展性。（6）按需服务。（7）性价比高。特征2.3云计算技术云计算的关键技术包括以下几个方向：（1）虚拟机技术虚拟机，即服务器虚拟化，是云计算底层架构的重要基石。在服务器虚拟化中，虚拟化软件需要实现对硬件的抽象、资源的分配、调度和管理，虚拟机与宿主操作系统及多个虚拟机间的隔离等功能。（2）数据存储技术为同时满足大量用户的需求，并行地为大量用户提供服务，云计算的数据存储技术必须具有分布式、高吞吐率和高传输率的特点。目前数据存储技术主要有非开源的Google的GFS（GoogleFileSystem）以及开源的HDFS（HadoopDistributedFileSystem）。2.3云计算技术云计算的关键技术包括以下几个方向：（3）数据管理技术如何读取海量数据并进行大量的分析，如何提高数据的更新速率是未来的数据管理技术必须解决的问题。云计算的数据管理技术最著名的是Google的BigTable数据管理技术。（4）分布式编程与计算为了使用户能更轻松的享受云计算带来的服务，云计算允许用户利用编程模型编写简单的程序。云计算上的编程模型十分简单。2.3云计算技术云计算的关键技术包括以下几个方向：（5）虚拟资源的管理与调度云计算区别于单机虚拟化技术的重要特征是通过整合物理资源形成资源池，并通过资源管理中间件实现对资源池中虚拟资源的调度。云计算的资源管理包括负责资源管理、任务管理、用户管理和安全管理等工作。（6）云计算的业务接口云计算对用户提供统一的业务接口，不仅方便用户业务由传统IT系统向云计算环境的迁移，而且使用户业务在云与云之间的迁移更加容易。2.4云计算应用2.4云计算应用介绍几种应用场景：（1）存储云又称云存储，是在云计算技术上发展起来的一个新的存储技术，是一个以数据存储和管理为核心的云计算系统。存储云向用户提供了存储容器服务、备份服务、归档服务和记录管理服务等，大大方便了使用者对资源的管理。用户可以将本地的资源上传至云端，可以通过互联网来获取云上的资源。大家所熟知的谷歌、微软等大型网络公司均有云存储的服务，在国内，百度云和微云则是市场占有量最大的存储云。（2）医疗云是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。医院的预约挂号、电子病历、医保等都是云计算与医疗领域结合的产物。2.4云计算应用（3）金融云金融云，是指利用云计算的模型，将信息、金融和服务等功能分散到庞大分支机构构成的互联网“云”中，旨在为金融机构提供互联网处理和运行服务，同时共享互联网资源，从而达到高效、低成本的目标。现在基本普及了的快捷支付就是金融与云计算结合的产物，只需要在手机上简单操作，就可以完成银行存款、购买保险等。（4）教育云教育云，实质上是教育信息化的一种发展。教育云将教育资源虚拟化并传入互联网中，以向教育机构、学生、老师提供一个方便快捷的平台。现在流行的慕课（MOOC，大规模开放的在线课程）就是教育云的一种应用。概念3、物联网物联网是在计算机网络的基础上，利用射频自动识别(RFID)、无线数据通信等技术，构造一个覆盖世界上万事万物的“InternetofThings”。实际上是利用RFID技术，通过计算机网络实现物品的自动识别和信息的互联、共享。特征3.1物联网全面感知：利用物联网上部署了海量的多种类型传感器随时随地对物体进行信息采集和获取。可靠传递：为了保障数据的正确性和及时性，必须适应各种异构网络和协议；智能处理：从传感器获得的海量信息中分析、加工和处理有意义的数据，以适应不同用户的不同需求。3.1物联网的体系结构感知层、网络层和应用层三大层3.1物联网的体系结构感知层：感知层是物联网的底层，主要解决物联网全面感知的核心能力，其主要功能是感知和识别物体，采集和捕获信息。网络层：网络传输层的主要功能是通过各类网络，在感知控制层与系统平台层之间及时、有序、安全地传递信息。应用层：物联网的应用层提供丰富的基于物联网的应用，是物联网与用户的接口3.2物联网的关键技术传感器技术：传感器就是感觉器官，在物联网收集数据中不可或缺，发挥着至关重要的作用。3.2物联网的关键技术射频识别技术：原理为阅读器与标签之间进行非接触式的数据通信，达到识别目标的目的。可以随时掌握物品的准确位置及其周边环境。3.2物联网的关键技术无线传感器网络：由大量的静止或移动的传感器以自组织和多跳的方式构成的无线网络，以协作地感知、采集、处理和传输网络覆盖地理区域内被感知对象的信息，并最终把这些信息发送给网络的所有者。3.2物联网的关键技术嵌入式系统技术：综合了计算器软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。嵌入式系统由硬件和软件组成。是能够独立进行运作的器件。其软件内容只包括软件运行环境及其操作系统。硬件内容包括信号处理器、存储器、通信模块等在内的多方面的内容。概念4.1区块链利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算范式。简单地说，区块链就是一种去中心化的分布式账本数据库。网络层、协议层、应用服务层4.2区块链架构网络层是区块链系统的技术支撑，分为：数据层和网络层。数据层主要描述区块链技术的物理形式，是设计账本的数据结构。网络层的主要是为了实现区块链网络中节点之间的信息交流。网络层、协议层、应用服务层4.2区块链架构协议层是连接应用和网络的桥梁，分为共识层、激励层、合约层。

共识层负责调配记账节点的任务负载，能让高度分散的节点在去中心化的系统中高效地针对区块数据的有效性达成共识。

激励层是制定记账节点的“薪酬体系”，主要提供一定的激励措施，鼓励节点参与区块链的安全验证工作。

合约层主要是指各种脚本代码、算法机制以及智能合约等，赋予账本可编程的特性。网络层、协议层、应用服务层4.2区块链架构应用服务层是获得持续发展动力所在，应用层封装了区块链的各种应用场景和案例。4.3区块链的关键技术分布式存储

区块链账本采用的是分布式存储记账方式，这是一种从分布在不同物理地址或不同组织内的多个网络节点构成的网络中进