《物联网应用基础》课件 关雷 第4、5章-智慧交通系统中的关键技术、智慧城市系统中的关键技术

第四章智慧交通系统中的关键技术《物联网应用基础》1背景概述2图像识别技术本章要点45智慧交通中的物联网案例蓝牙技术与网络3全球定位系统GPS4.1背景概述4.1.1我国道路交通系统面临的挑战目前的道路交通系统主要面临以下几个问题：

（1）汽车车速慢、路网运行效率低（2）汽车能耗高、尾气排放量大（3）交通安全事故发生频率高面对这些交通运输系统带来的拥堵、能耗、污染以及安全问题，简单地通过限制车辆增加或增大路网覆盖率，是远远不够的。解决复杂的交通运输问题，必须将道路、车辆、出行者作为一个有机的整体加以考虑，利用系统工程的方法改造传统的交通运输系统，寻找实现交通系统优化的方案。面对机动化水平提高带来的交通拥堵和道路安全等问题，世界各国政府和交通专家都开始了研究电子通信技术在交通领域的应用，形成了早期的智慧交通系统。发达国家纷纷认识到，将电子通信技术和信息技术引入到交通领域应用中，不但有助于缓解交通拥堵的问题，而且对交通安全、交通事故的处理与救援、高速公路收费系统等方面都将产生巨大的影响。ITS作为现代交通运输发展的趋势，在全球交通发展中正扮演着越来越重要的角色。4.1.2智慧交通与互联网技术作为未来交通系统发展的大趋势，国家对发展智慧交通产业高度重视，各相关部门都采取了多种措施予以积极推动，提出将智慧交通作为我国未来交通运输领域发展的重要方向和优先领域予以支持。4.1.3智慧交通的市场前景巨大的市场面前，众多互联网企业、金融、科技企业纷纷抢滩入驻，并且在头部已经诞生了几家巨头，如阿里、腾讯、百度、华为、平安、高德等。在国家政策的大力支持，以及社会需求、技术的大力推动下，近年来我国智慧交通行业发展迅速。4.1.3智慧交通的市场前景4.1.3智慧交通的市场前景4.2.图像识别技术4.2.1概述图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术。（1）技术发展：图像识别技术是人工智能的一个重要领域。为了编制模拟人类图像识别活动的计算机程序，人们提出了不同的图像识别模型。模式识别包括两个阶段，即学习阶段和实现阶段，前者是对样本进行特征选择，寻找分类的规律，后者是根据分类规律对未知样本集进行分类和识别。图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术。（2）基本过程：信息的获取——>预处理——>特征抽取和选择——>分类器设计——>分类决策4.2.1概述（3）主要应用领域：

图像识别技术是立体视觉、运动分析、数据融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值：

遥感图像识别、通讯领域的应用、军事、公安刑侦等领域的应用、生物医学图像识别、机器视觉领域的应用。

4.2.1概述

OCR（OpticalCharacterRecognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。4.2.2光学字符识别（1）发展简史OCR的概念是在1929年由德国科学家Tausheck最先提出来的，后来美国科学家Handel也提出了利用技术对文字进行识别的想法。早在60、70年代，世界各国就开始有OCR的研究，而研究的初期，多以文字的识别方法研究为主，且识别的文字仅为0至9的数字。20世纪70年代初，日本的学者开始研究汉字识别，并做了大量的工作。到1986年，我国提出“863”高新科技研究计划，汉字识别的研究进入一个实质性的阶段。4.2.2光学字符识别（2）软件结构OCR软件主要是由下面几个部分组成：1）图像输入、预处理2）二值化3）噪声去除4）倾斜较正5）版面分析6）字符切割7）字符识别8）版面恢复9）后处理、校对（3）工作流程从影像到结果输出，须经过影像输入、影像前处理、文字特征抽取、对比识别、最后经人工校正将认错的文字更正，将结果输出。4.2.2光学字符识别

车牌识别系统是计算机视频图像识别技术在车辆牌照识别中的一种应用。车牌识别系统是指能够检测到受监控路面的车辆并自动提取车辆牌照信息（含汉字字符、英文字母、阿拉伯数字及号牌颜色）进行处理的技术。牌照自动识别技术可以在汽车不作任何改动的情况下实现汽车“身份”的自动登记及验证，这项技术已经应用于公路收费、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等各种场合。4.2.3车牌识别系统（1）车牌识别系统的应用：1）监测报警

2）超速违章处罚

3）车辆出入管理4）自动放行5）高速公路收费管理6）计算车辆旅行时间7）牌照号码自动登记4.2.3车牌识别系统（2）识别原理：1）识别流程：当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。车牌识别单元对图像进行处理，定位出牌照位置，再将牌照中的字符分割出来进行识别，然后组成牌照号码输出。2）车辆检测：车辆检测可以采用埋地线圈检测、红外检测、雷达检测技术、视频检测等多种方式。可以避免破坏路面、不必附加外部检测设备、不需矫正触发位置、节省开支，而且更适合移动式、便携式应用的要求。4.2.3车牌识别系统3）号码识别：

①牌照定位②牌照字符分割③牌照字符识别方法（3）技术路线：国际ITS通行的两条主流技术路线是自然光和红外光图像采集识别。自然光和红外光不会对人体产生不良的心理影响，也不会对环境产生新的电子污染，属于绿色环保技术。4.2.3车牌识别系统（4）触发方式

车牌识别系统有两种触发方式，一种是外设触发，另一种是视频触发。（5）识别方法1）间接法2）直接法：①图像处理技术

②统模式识别技术③人工神经网络技术4.2.3车牌识别系统4.3.1概述

GPS是美国从20世纪70年代开始研制，具有在海、陆、空进行全方位实时三维导航与定位功能的新一代卫星导航与定位系统。（1）全球定位系统的发明：

20世纪70年代，美国国防部为了给陆、海、空三大领域提供实时、全天候和全球性的导航服务，并进行情报收集、核爆监测和应急通讯等一些军事目的，开始研制“导航卫星定时和测距全球定位系统”，简称全球定位系统。4.3GPS（2）全球定位系统的发展历史：

GPS是指利用GPS卫星，向全球各地全天候、实时性地提供三维位置、三维速度等信息的一种无线电导航定位系统。GPS的前身是1958年美国军方研制的一种子午仪（Transit）卫星定位系统。（3）定位原理：

GPS定位包括伪距单点定位、载波相位定位和实时差分定位。4.3.1概述4.3GPS4.3.2GPS的组成部分

全球定位系统由以下三个部分组成：空间部分（GPS卫星）、地面监控部分和用户部分。GPS卫星可分为试验卫星和工作卫星两类。4.3.3GPS的特点（1）全球，全天候连续不断的导航定位能力（2）实时导航，定位精度高，观测时间短（3）测站无需通视（4）可提供全球统一的三维地心坐标（5）仪器操作简便（6）抗干扰能力强、保密性好（7）功能多、应用广泛4.3GPS

中国北斗卫星导航系统（英文名称：BeiDouNavigationSatelliteSystem，简称BDS）是中国自行研制的全球卫星导航系统，也是继GPS、GLONASS之后的第三个成熟的卫星导航系统。卫星导航系统是全球性公共资源，多系统兼容与互操作已成为发展趋势。中国始终秉持和践行“中国的北斗，世界的北斗”的发展理念，服务“一带一路”建设发展，积极推进北斗系统国际合作。与其他卫星导航系统携手，与各个国家、地区和国际组织一起，共同推动全球卫星导航事业发展，让北斗系统更好地服务全球、造福人类。4.3.4北斗卫星导航系统（1）系统标志创意说明北斗卫星导航系统标志由正圆形、写意的太极阴阳鱼、北斗星、网格化地球和中英文文字等要素组成，如图4-6所示。圆形构型象征中国传统文化中的“圆满”，深蓝色的太空和浅蓝色的地球代表航天事业。太极阴阳鱼蕴含了中国传统文化。4.3.4北斗卫星导航系统（2）北斗系统建设第一步，建设北斗一号系统。第二步，建设北斗二号系统。第三步，建设北斗三号系统。4.3.4北斗卫星导航系统（3）北斗应用与产业化1）基础产品及设施北斗基础产品已实现自主可控，国产北斗芯片、模块等关键技术全面突破，性能指标与国际同类产品相当。2）行业及区域应用北斗系统提供服务以来，已在交通运输、农林渔业、水文监测、气象测报、通信系统、电力调度、救灾减灾、公共安全等领域得到广泛应用，融入国家核心基础设施，产生了显著的经济效益和社会效益。3）大众应用北斗系统大众服务发展前景广阔。基于北斗的导航服务已被电子商务、移动智能终端制造、位置服务等厂商采用，广泛进入中国大众消费、共享经济和民生领域，深刻改变着人们的生产生活方式。4.3.4北斗卫星导航系统4.4蓝牙技术与网络4.4.1概述蓝牙（Bluetooth）是一种无线技术标准，可实现固定设备、移动设备和楼宇个人域网之间的短距离数据交换。4.4.2蓝牙的特点蓝牙技术的特点：（1）全球范围适用（2）可同时传输语音和数据（3）可以建立临时性的对等连接（4）ISM频带是对所有无线电系统都开放的频带，因此使用其中的某个频段都会遇到不可预测的干扰源。蓝牙技术规范的目的是使符合该规范的各种应用之间能够实现互操作，互操作的远端设备需要使用相同的协议栈，不同的应用需要不同的协议栈。但是，所有的应用都要使用蓝牙技术规范的数据链路层和物理层。蓝牙协议栈的体系结构由底层硬件模块、中间协议层和高端应用层三部分组成。4.4.3蓝牙协议栈（1）底层硬件模块它包括链路管理协议（LinkManagementProtocol,LMP）、基带（BaseBand,BB）、射频（RadioFrequency,RF）等三部分。

（2）中间协议层它由逻辑链路控制和适配协议、服务发现协议、串口仿真协议（或称线缆替换协议RF-COMM）、二进制电话控制协议等构成。4.4.3蓝牙协议栈4.4.4蓝牙应用模式

（1）文件传输模式文件传输的目的是使两个终端之间的数据交换成为可能。

（2）因特网网桥模式文种用户模式可通过手机或无线调制解调器向PC提供拨号入网和收发传真的功能。4.4.4蓝牙应用模式（3）头戴式设备模式使用该模式，用户打电话时可自由移动。

（4）蓝牙手机模式蓝牙手机可接入公用电话网与其他座机或手机通话，也可在基站内使用。4.4.4蓝牙应用模式（5）局域网访问模式无线接入过程类以于拨号接入。

（6）个人资料管理模式常见的个人资料管理有电话簿记录查询、日历、任务通知和名片的输入及更新，传送的协议或格式由收发双方共同确认。4.4.4蓝牙应用模式（7）数据同步模式数据同步模式提供设备到设备的个人资料管理（PIM）的同步更新功能，其典型应用如电话簿、日历、通知和记录等。4.4.4蓝牙应用模式4.4智慧交通中的物联网案例4.5.1区域交通控制系统传统的交通控制方法主要包括定时控制、多时段控制、感应或半感应控制、绿波带控制和区域静态控制。以上几种区城交通控制方案基本都是离线控制，方法简单、可靠，但不能及时响应交通流的随机变化。真正的智慧交通控制系统将不仅仅是一个实现反馈控制的信号控制系统，而是转变为以交通诱导为主从而实现真正的智能交互。（1）城市交通出行诱导系统：

依托物联网强大的交通状态感知和处理技术，通过实时采集城市道路交通流量、可用停车位等数据，持续进行建模和分析，并实时分析路网交通状态和交通事件，向出行者提供实时交通信息和路径引导信息。通过诱导出行者的出行行为来改善道路交通状况，实现交通流路网交通流的均衡分配。4.5.2动态交通信息服务一个典型的城市交通综合诱导系统：4.5.2动态交通信息服务（1）城市交通出行诱导系统：

交通诱导信息主要包括车辆速度和旅行时间，一般通过可变信息板、用户移动终端和互联网等方式进行分布。4.5.2动态交通信息服务（2）智能停车诱导系统：

通过引入物联网技术实时采集停车场的车位信息，将结果融合后发布给驾驶者，以构建智能停车系统。作为城市智慧交通的组成部分它能合理地安排停车，提高停车设施泊位利用率，促使停车设施利用均衡化，减少驾驶者寻找停车泊位的时间消耗，从而减少市中心为停车而附加的交通量。4.5.2动态交通信息服务

电子收费系统（ElectronicTollCollection,ETC）是物联网技术在道路收费中的应用。通过在车辆上安装具有身份标识的标签，在收费口安装对应的通信和计费装置通过自动识别通信车辆并使用电子货币结算实现了道路不停车收费。（1）高速公路电子收费系统：4.5.3道路电子收费系统整个ETC电子收费运行过程如下：（1）用户前往发行安装部门申请安装车载装置，预缴通行费或设立事后付费账户，相应的信息被存入车载装置中，然后该车便可上路。（2）在进入收费站时，车辆按规定限速通过收费车道。路边装置识别车辆相关信息，并通过无线通信与车载单元双向通信来完成收费过程。（3）每次收费操作都需将收费操作的相关信息递交收费计算机，事后付款方式的收费数据将定时（或实时）递送给后台系统，以便生成转账清单向金融机构请求支付。4.5.3道路电子收费系统（2）新加坡的电子道路收费系统：新加坡开发了电子公路收费系统（ElectronicRoadPricing,ERP），针对高峰时段驶入中心商业区、高速公路和交通拥挤区域的车辆征收车辆拥堵费。ERP系统共包括3个部分：车载读卡器，ERP道口检测器和中央控制中心。4.5.3道路电子收费系统（3）斯德哥尔摩电子收费系统：

该系统由联网的摄像头、激光扫描设备、收发器以及收费系统组成。斯德哥尔摩的电子收费系统仅在系统部署的前期使用了RFID技术作为车辆信息的交换方式，在系统正式投人使用后，完全使用了车牌号码识别技术，不再要求在车辆上安装RFID标签。4.5.3道路电子收费系统

物联网技术可以有效改善公共交通管理水平，利用GPS定位技术、通信技术、地理信息系统等技术实现运营公交车、出租车，出行乘客、查询终端、公交站点和管理中心等元素的互联互通。4.5.4公共交通管理系统

智能车辆主要致力于提高汽车的安全性、舒适性，以及提供优良的人车交互界面。（1）安全辅助驾驶：基于车车通信的安全辅助驾驶系统是当前智能汽车领域使用的主流方法。，每个车辆上安装车载装置，将车辆通过自组网方式互相连接。车辆间通过无线通信接口来交换车辆行驶信息，包括方向灯转向动作、车速、GPS以及车辆类型等。4.5.5智能车辆（2）车载信息服务系统：车载信息服务系统（Telematics）的主要内容是指通过内置在汽车上的计算机系统、无线通信技术，卫星导航装置和强大的后台服务系统对搜集到的各项信息和数据进行处理，从而为车主提供行驶导航、实时路况、道路救援、远程故障诊断、安全监视、个性化资讯及娱乐资讯等服务。4.5.5智能车辆 本章完结第四章

智能交通系统中的关键技术《物联网应用基础》 第五章智慧城市系统中的关键技术《物联网应用基础》1背景概述2云计算本章要点34人工智能大数据5.1背景概述智慧城市是以具有科学城市治理理念的智慧型服务政府为主导，建构在信息泛在基础之上的新型城市发展模式。智慧城市基于泛在化的信息网络、智能的感知技术和信息安全基础设施，透明、充分地获取城市管理、行业、公众用户海量数据，为公众提供共享信息，打造智能生活、智能产业、智能管理的城市信息化应用。（1）国内智慧城市发展情况目前国内智慧城市建设主要分以下几类：①以发展智慧产业为核心②创新推进智慧城市建设③以发展智慧管理和智慧服务为重点④以发展智慧技术和智慧基础设施为路径⑤以发展智慧人文和智慧生活为目标（2）国外智慧城市发展情况美国：“智慧地球”概念；日本：U-Japan；新加坡：“智慧国2015计划”。5.1背景概述（3）智慧城市总体架构

“三个基础、两大体系、一大平台、多项应用”5.1背景概述智慧城市总体架构1）城市基础设施：深度三网融合，建成多层次、立体化、高带宽、全覆盖的无线基础网络。

2）城市公共资源数据中心：处理公共计算网络中的信息，形成规范化的、可以直接提供使用的几大类公共数据库：

①基础数据库②业务数据库③服务数据库3）城市公共信息平台：城市公共资源数据中心的数据主要包括在城市公共计算网络的原始数据和经过公共资源数据中心处理后的公共数据库。5.1背景概述（1）政务城域网络针对各部门单位原有电于政务网络繁杂无序、各自为政、重复投资建设等问题，对政务专网进行整合，建立起党政机关、事业单位的政务城域网。整个网络系统主要包括：中心核心网络、专网接入网络、互联网接入网络及服务器存储网络。5.1.1智慧城市的基础网络建设（2）行业应用专网行业应用专网向下接入所有行业内部网点，其核心节点通过内外网安全隔离设备，采用双链路连接到中心节点的双路由交换设备。（3）无线网络建设

分区域、按步骤部署无线宽带接入网络，加快实施4G无线宽带网络的广度和深度覆盖。（4）宽带网络建设

在宽带网络全覆盖的基础上，积极推进下一代互联网，建设基于IP6的下一代高速宽带网络及城域高速互联。5.1.1智慧城市的基础网络建设（1）智慧城市的数据库公共基础数据库是智慧城市公共基础数据中心，主要包括城市公共基础数据库群、城市公共应用数据库群以及城市专项服务数据库群。（2）智慧城市的公共信息平台公共信息平台的目标是实现全市性的共性问题的统一处理，解决某个应用单位或机构难以独立完成的城市管理或公共服务问题，为政府、企业和公众的各类应用及其协同提供平台支撑。5.1.2智慧城市的数据库及平台智慧城市的公共信息平台

公共信息平台是智慧城市系统的基础设施，其作用体现为如下三点：1）公共信息平台具备支撑多级平台应用能力。2）公共信息平台通过接口与服务系统实现城市公共数据的服务共享。3）通过数据交换服务系统和数据整合服务系统实现城市公共数据的采集、对比、清洗、加工和整合等。5.1.2智慧城市的数据库及平台应用单位接入规范提出了应用单位接入公共信息平台所需的环境要求、技术要求、管理要求等规范要求。1）支撑数据

2）数据交换服务3）数据整合服务

4）时空信息承载服务5）目录管理与服务

6）接口与服务7）平台门户5.1.2智慧城市的数据库及平台（3）智慧城市的应用平台1）空间信息服务平台：

指在城市信息化进程中，用以满足各个行业进行与地理空间相关信息的采集、应用、交互、共享，并能提供标准框架数据及运行环境的集合，是城市各行业、各单位和部门进行数据共享和数据交换的公共平台。5.1.2智慧城市的数据库及平台空间信息服务平台

城市空间信息服务平台用于存储公用的空间数据，并通过城域网与各部门进行连接，为它们的业务应用系统提供数据服务，形成一种分布式的空间数据共享应用环境。5.1.2智慧城市的数据库及平台2）位置服务信息平台：

智慧位置服务信息平台建设包括底层关键技术集成、智慧位置服务引擎平台及系统搭建以及上层LBS（定位服务）应用系统的开发。移动终端应用系统建设与研发可以包括如下方面：①商品互动点评与推荐②特殊人监护应用系统5.1.2智慧城市的数据库及平台3）城市数据共享与交换平台

采用“云计算”理念和技术，打造信息化建设的私有云计算平台，实现跨行业的数据集中、共享和交换；建立智慧城市资源池，并且为管理中心和市政、城管、社管、交通、照明等单位提供主要为IaaS和PaaS等的服务。

4）城市运行综合体征评价平台

5）领导监督和辅助决策平台5.1.2智慧城市的数据库及平台

智慧城市的产业链上包括政府、运营商、设备供应商、软件应用提供商四个角色，具体分工如下：（1）政府主导（2）设备供应商介入（3）运营商机遇与挑战共存（4）软件应用提供商积极参与社会各方合力提供应用能力，促进产业成熟、健康、可持续发展。5.1.3智慧城市的运营模式分析（1）重要地点边界监控系统及城市视频监控系统

该系统采用复合传感器、智能视频相结合的方式，通过传送网络，对政府、军事单位等重要地点周边边界和区域内重要场所进行全天候、全方位的监控。（2）危险源监控系统

该系统通过建立危险源数据采集及监控系统，来实现报警、监控、管理和执法监管水平的提高（3）交通管理及公交、环卫、救护、城管等特种车辆定位系统

可以智能化解决交通拥堵和停车问题，尽量减少噪声和空气污染。5.1.4智慧城市的运营模式分析5.2.1概述

云计算（CloudComputing），它是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。

5.2云计算典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。狭义云计算是指IT基础设施的交付和使用模式。广义云计算是指服务的交付和使用模式。5.2.1概述

（1）云计算的发展背景云计算是继20世纪80年代大型计算机到客户端-服务器大转变之后的又一种巨变。

（2）云计算的演化云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次是电厂模式、效用计算、网格计算和云计算。5.2.2云计算的发展背景和演化云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS，即设施云）、平台即服务（PaaS，即平台云）和软件即服务（SaaS，即应用云）。除了上述三种常用服务形态之外，还有一种ACaaS（AccessControl-as-a-Service），门禁即服务。5.2.3云计算常用服务形态解析（1）IaaS

IaaS（Infrastructure-as-aService）即基础设施即服务，消费者通过Internet可以从完善的计算机基础设施获得服务。5.2.3云计算常用服务形态解析（2）PaaS

PaaS（Platform-as-a-Service）即平台即服务。平台通常包括操作系统、编程语言的运行环境、数据库和Web服务器。5.2.3云计算常用服务形态解析（3）SaaS

SaaS（Software-as-a-Service）即软件即服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。5.2.3云计算常用服务形态解析（1）MapReduce产生的背景：

MapReduce采用了“分而治之”的思想，具体来说，其处理过程可以高度概括为两个函数：Map（）和Reduce（）。Map函数的任务是进行初始任务的分解，使之成为多个子任务，而Reduce函数主要负责的是把这些子任务分解处理后的结果给汇总起来。5.2.4计算的MapReduce编程模型（2）Google的MapReduce框架：在Google框架的实现机制中，有两个工作节点比较特殊：一个是工作机（Worker），用于运行Map（）或Reduce（）任务，另一个是主控程序（Master），用于将Map（）和Re-duce（）分配到的合适的工作机上。5.2.4计算的MapReduce编程模型（3）Hadoop上MapReduce的工作机制：

相比较于Google的MapReduce框架，Hadoop项目编写了大量的代码以实现计算任务的分发、调度、运行、容错等机制。主要包含了以下几个独立的大类组件：①Client

②JobTracker

③MapTaskTracker

④ReduceTaskTracker⑤分布式文件存储系统

⑥Job（作业）

⑦Task（任务）5.2.4计算的MapReduce编程模型（4）MapReduce作业运行流程：1）作业提交2）作业初始化3）任务分配4）Map任务执行5）Reduce任务执行6）作业完成5.2.4计算的MapReduce编程模型（5）进程和状态的更新：

因为MapReduce框架要处理的数据是面向集群的批处理作业，所以所有的描述实时状态的信息在作业期间是不断变化的。最后，JobClient每秒查淘JobTracker从而来接收最新的状态。而客户端也可以通过JobClient中GetJob（）方法来得到一个RunningJob的实例，其中也包含了作业的全部状态信息。5.2.4计算的MapReduce编程模型（6）Hadoop提供的3种作业调度：对作业调度的实现，Hadoop为了支持用户扩展自己的调度器而采用了可插拔的设计。Hadoop提供了3种默认的调度器，分为先进先出（FIFO）调度器、公平（Fair）调度器和能力（Capacity）调度器。

先进先出调度器提供的优先级机制不支持资源抢占，因为只要已经开始执行的作业，不论其优先级高低，都不会被未执行的作业所打断。

公平调度器还具有支持资源抢占、每个资源池自定义调度方式等高级特性。

能力调度器使用的是多队列的方式来将集群中的计算资源得以组织。5.2.4计算的MapReduce编程模型（7）MapReduce容错机制：因为MapReduce在通常情况下都是在大型集群系统中进行海量数据的处理，所以容错机制对其来说也是必不可少的。1）Master容错：Master节点控制任务调度。Master节点是用来保存元数据的，它会周期性地设置检查点（CheckPoint），随之将Master中的数据信息导出。2）Worker容错：Worker节点负责计算任务的执行。若Master发送的ping命令没有得到回应，就说明该Worker节点已经失效，Master会将此节点状态设置为空闲并且把这个Worker任务分配给其他的Worker节点来再次执行。5.2.4计算的MapReduce编程模型（1）云计算的主要特征1）资源配置动态化2）需求服务自助化

3）以网络为中心4）服务可计量化

5）资源的池化和透明化（2）云计算的核心特性1）快速、低价获得技术架构资源。2）具有应用程序界面API，允许软件与云以类似“人机交互”的方式来进行信息交换。3）允许用户通过网页浏览器来获取资源而无需关注用户自身是通过何种设备或在何地介入资源（如PC、移动设备等）。4）一种称为多租户的软件架构技术允许在多用户池下共享资源与消耗5）如果多个冗余站点被使用，则改进了可靠性。6）无需用户对峰值负载进行工程构造。5.2.5云计算的主要特征与核心特征云计算意味着数据被转移到用户主权掌控范围外的机器上，也就是云计算服务提供商的手中。具体发展趋势如下：

（1）私有云不会消失，而会获得大发展。

（2）混合云仍将是大多数组织的务实选择。

（3）PaaS将赢得开发者的芳心。

（4）服务中断事故将使消费者意识到服务质量的差异。5.2.6云计算的发展趋势5.3.1概述“大数据”（BigData）作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来的隐患，但是随着时间的推移，人们将越来越多地意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。5.3大数据“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（1）大数据四个特性：

海量性、多样性、高速性、易变性（2）大数据三个特征：①数据类型繁多②数据价值密度相对较低③处理速度快，时效性要求高5.3.2大数据的定义物联网的发展离不开大数据，依靠大数据可以提供足够丰富的资源。大数据除了经济方面的影响，同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。5.3.3大数据对生活、工作的影响（1）数据仓库概念：

数据仓库就是面向主题的、集成的、不可更新的（稳定的）、随时间不断变化的数据集合。（2）数据仓库的特征：

1）面向主题

2）集成性3）相对稳定4）反映历史变化（3）数据仓库的分析技术：

1）OLAP（联机分析处理）的概念：

OLAP是数据处理的一种技术概念。基本目的是使企业的决策者能灵活地掌握企业的数据，以多维的形式从多面角度来观察企业的状态了解企业的变化。5.3.4数据挖掘技术2）联机分析处理与数据仓库的关系：

随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决策管理信息系统的解决方案。数据仓库系统的核心是联机分析处理，但数据仓库包括更为广泛的内容。①数据层。②应用层。③表现层。

应用：

联机分析处理、

传统的报表、数理统计、

人工智能5.3.4数据挖掘技术（4）数据挖掘的处理过程：数据挖掘，又称数据库中的知识发现，是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式。数据挖掘技术主要包括以下几步：

准备、数据选择、数据预处理、数据缩减、确定数据挖掘的目标、确定知识发现算法、数据挖掘、模式解释、知识评价。5.3.4数据挖掘技术数据挖掘技术主要有四种开采任务：①

数据总结是对数据进行浓缩，给出它的紧凑描述。②

分类是运用分类器把数据库中的数据项映射到给定类别中的某一个，用于对未来数据进行预测。③

聚类是把一组个体按照相似性归成若干类别，使得属于同一类别的个体之间的距离尽可能小，而不同类别的个体的距离尽可能大。④

关联规则是指事物之间的联系具有多大的支持度和可信度。5.3.4数据挖掘技术虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。未来，数据可能成为最大的交易商品。大数据的发展趋势主要体现在几个方面：大数据与学术，大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。数据资源化，大数据在国家、企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。5.3.5大数据的发展方向5.4.1人工智能的诞生（1）控制论与早期神经网络：20世纪30年代末到50年代初，一系列科学进展交汇引发最初的人工智能研究。神经学研究发现大脑是由神经元组成的电子网络。1953年IBM推出IBM702，成为第一代AI研究者使用的电脑。1956年，人工智能才被确立为一门学科。5.4人工智能（2）游戏AI：游戏AI一直被认为是评价AI发展水平的一种标准。（3）图灵测试：1950年，图灵发表了一篇划时代的论文，文中预言了创造具有真正智能机器的可能性。他提出了著名的图灵测试：如果一台机器能够与人类展开对话（通过电传设备）而不被辨别出其机器身份，那么称这台机器具有智能。图灵测试是人工智能在哲学方面第一个严肃的提案。5.4.1人工智能的诞生（4）符号推理与“逻辑理论家”程序：20世纪50年代中期，一些科学家直觉地感到符号操作可能是人类思维的本质。1955年，纽厄尔和西蒙开发了“逻辑理论家”这个程序能够证明《数学原理》中前2个定理中的38个。（5）1956年达特茅斯会议：AI的诞生：会议提出的断言之一是“学习或者智能的任何其他特性的每一个方面都应能被精确地加以描述，使得机器可以对其进行模拟”。人工智能是研究开发能够模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门新的技术科学。5.4.1人工智能的诞生年达特茅斯会议：AI的诞生

人工智能研究目的是促使智能机器会听（语音识别、识别人说话、机器翻译）、会看（图像识别、文字识别、车牌识别）、会说（语音合成、人机对话）、会思考（人机对弈、定理证明、医疗诊断）、会学习（机器学习、知识表示）、会行动（机器人、自动驾驶汽车、无人机）。5.4.1人工智能的诞生（1）人工智能的发展阶段人工智能发展并不是一帆风顺的，我们将人工智能的发展历程划分为六个阶段：起步发展期、反思发展期、应用发展期、低迷发展期、稳步发展期和蓬勃发展期。5.4.1人工智能的发展1）起步发展期（1956年至20世纪60年代初）人工智能概念提出后，相继取得了一批令人瞩目的研究成果，如机器定理证明、跳棋程序等，掀起了人工智能发展的第一个高潮。2）反思发展期（20世纪60年代至70年代初）人工智能发展初期的突破性进展大大提高了人们对人工智能的期望，人们开始尝试更具挑战性的任务，并提出了一些不切实际的研发目标。5.4.1人工智能的发展3）应用发展期（20世纪70年代初至80年代中）20世纪70年代出现的专家系统，通过模拟人类专家的知识和经验来解决特定领域的问题，实现了人工智能从理论研究走向实际应用，从一般推理策略探讨转向运用专门知识的重大突破。4）低迷发展期（20世纪80年代中至90年代中）随着人工智能的应用规模不断扩大，专家系统存在的应用领域狭窄、缺乏常识性知识、知识获取困难、推理方法单一、缺乏分布式功能难以与现有数据库兼容等问题逐渐暴露出来。5.4.1人工智能的发展5）稳步发展期（20世纪90年代中至2010年）由于网络技术特别是互联网技术的发展，加速了人工智能的创新研究，促使人工智能技术进一步走向实用化。6）蓬勃发展期（2011年至今）随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展，大幅跨越了科学与应用之间的“技术鸿沟”。5.4.2人工智能的发展（2）人工智能史上的关键事件：

人工智能经过60年的曲折发展，这一期间经历了一些关键事件：

1946年，全球第一ENIAC台通用计算机诞生。

1950年，艾伦·图灵提出“图灵测试”。

1956年，“人工智能”概念首次被提出。

1959年，首台工业机器人诞生。

1964年，首台聊天机器人诞生。

1965年，专家系统首次亮相。

1968年，首台人工智能机器人诞生。

1970年，能够分析语义、理解语言的系统诞生。

1976年，专家系统广泛使用。5.4.2人工智能的发展1981年，第五代计算机项目研发。

1984年，大百科全书（Cyc）项目。

1997年，“深蓝”战胜国际象棋世界冠军。

2011年，Watson参加智力问答节目。

2016-2017年，AlphaGo战胜围棋冠军。

2017年，深度学习大热。5.4.2人工智能的发展（3）人工智能的关键技术：人工智能产业链的关键技术，主要分为三个核心层：基础层、技术层和应用层。5.4.2人工智能的发展

人工智能的关键技术：

基础层：大数据管理和云计算技术得到广泛的运用，为人工智能技术的实现和人工智能应用的落地提供了基础的后台保障，是一切人工智能应用得以实现的大前提。

技术层：聚焦于人机交互、计算机视觉、深度学习等领域。

应用层：聚焦于智能语音、智能医疗、机器人、智能家居、汽车电子等领域，当前正处于由专业应用向通用应用过渡的发展阶段。5.4.2人工智能的发展

人工智能的关键技术：人工智能技术包含了机器学习、知识图谱、自然语言处理、人机交互、计算机视觉、生物特征识别、AR/VR七个关键技术。1）机器学习：机器学习是一门涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领