第4章 管理信息系统(滕佳东 第五版)

第4章云计算与大数据第4章云计算与大数据本章所讲的主要内容如下：4.1云计算概述4.2大数据概述4.3云计算与大数据的相关技术4.4数据管理4.5云计算和大数据在信息系统中的应用第4章云计算与大数据4.1云计算概述

4.1.1云计算简介4.1.2云计算的特点4.1.3云计算的发展本节所讲的内容如下：第4章云计算与大数据4.1.1云计算简介

美国国家标准与技术研究院(NIST)关于云计算的定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作或与服务供应商进行很少的交互。第4章云计算与大数据4.1.1云计算简介

云计算中三个公认的服务层次：IaaS、PaaS和SaaS。图4-1云计算的服务层次IaaS的意思是基础设施即服务PaaS的意思是平台即服务SaaS的意思是软件即服务第4章云计算与大数据4.1.1云计算简介

从用户角度来看：IaaS:用户可以从云计算服务供应商处获得多核的CPU资源、指定大小的内存、给定的网络宽带以及所需存储空间，然而用户需要自行安装和开发应用程序和系统。典型代表为Amazon的EC2。PaaS：用户可以从云计算服务供应商处获得包含基本数据库和中间件程序的一套完整系统，然而用户需要根据接口编写所需的应用程序。如Google的AppEngine、Microsoft的Azure和Amazon的SimpleDB。第4章云计算与大数据4.1.1云计算简介

SaaS：用户可以从云计算服务供应商处获得完整的应用程序,只需根据地址进行访问,通过设定好的账号和密码进行使用,或对多个不同的服务进行整合。典型的SaaS服务有SalesForce、YahooHadoop和CiscoWebex、Collaboration等。第4章云计算与大数据4.1.2云计算的特点

云计算核心特点是计算的虚拟化。多虚一：通过将大量低性能的服务器或运算单元虚拟成为一台具有极强运算能力的超级计算机来完成复杂的计算任务。一虚多：在一台服务器上定义多台虚拟机,将计算任务分配给多台虚拟机共同完成。从而最大限度地发挥服务器的运算能力

根据多虚一和一虚多两种不同的技术发展方向,云计算可被分为集中云与分散云。第4章云计算与大数据4.1.2云计算的特点集中云

集中云的技术基础是计算的多虚一，其最早期的应用实例是Google应用于搜索引擎的云计算实现。多虚一技术可分为主备模式(Active-Standby)和负载均衡模式(LoadBalance)两大类。集中云主要应用于大型互联网服务提供商和大型研究机构所构建的云服务和数据中心。

第4章云计算与大数据4.1.2云计算的特点分散云分散云的技术基础是一虚多,这已成为当前云服务的关键底层技术。一虚多的最主要目的是为了提高服务器的运算效率,通过在同一台服务器上安装多台虚拟机实现对CPU运算能力最大限度的使用,并充分利用所有的内存和带宽资源。一虚多在技术方面的实现方案大致可分为三类:(1)操作系统虚拟化OS-Level(2)主机虚拟化Hosted(3)裸金属虚拟化Bare-Metal第4章云计算与大数据4.1.3云计算的发展第4章云计算与大数据4.2大数据概述

4.2.1大数据简介4.2.2大数据处理系统4.2.3大数据处理的层次本节所讲的内容如下：第4章云计算与大数据4.2.1大数据简介大数据,也称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》一书中,大数据被解释为摒弃了抽样调查而采用所有数据进行分析处理的方法。:BigData第4章云计算与大数据4.2.1大数据简介大数据的定义,核心特征是以V开头的三个关键词——Volume、Variety和Velocity:Volume也就是数据量（目前指几十TB〜几PB的数量级）。

Variety指的是大数据的多样性（结构化数据+非结构化数据）。Velocity表示数据产生和更新的频率很快（每秒几十条以上）。

第4章云计算与大数据4.2.2大数据处理系统从服务的对象角度对大数据处理系统进行分类,可以将其分为个体服务和整体服务两种类型。从提供服务的时间点的角度对大数据处理系统进行分类,可以分为实时和批处理两种类型。

实时批处理个体服务•为特定的个体提供最优的解决方案•实时反馈•为特定的个体提供最优的解决方案•反馈的时机不限整体服务•为集体或者整个社会提供解决方案•实时反馈•为集体或者整个社会提供解决方案•反馈的时机不限表4-1大数据处理系统的分类第4章云计算与大数据4.2.2大数据处理系统1.个体服务-批处理型：在电商网站中基于用户的历史浏览和购买记录所进行的一对一营销;保险公司通过对能够反映客户驾驶习惯的数据(如驾驶频率、速度、急刹次数等)进行收集和分析,以确定对保费所给予的折扣等

。2.个体服务-实时型：当顾客位于某门店附近或停留在某购物网站的时候自动为其实时地推送相关信息等。3.整体服务-批处理型：通过对社交网络中的文本信息进行分析来预测市场趋势并确定对冲基金的操作策略;利用搜索引擎中的大量搜索信息来预测感冒流行趋势等。4.整体服务-实时型运用：大量智能手机用户中GPS采集的位置信息来实时监测交通阻塞的状况并反映到地图软件中等。大数据处理系统应用举例：第4章云计算与大数据4.2.3大数据处理的层次运用大数据来解决现实问题,通常会遵循“对过去的分析→对现状的监控→对将来的预测→对行动的优化”这样的过程循序渐进地进行。图4-2大数据处理的层次第4章云计算与大数据4.3云计算与大数据的相关技术

4.3.1云计算与大数据4.3.2云计算与物联网4.3.3智能决策系统

4.3.4数据挖掘与机器学习4.3.5Haoop——分布式大数据系统本节所讲的内容如下：第4章云计算与大数据4.3.1云计算与大数据大数据处理力求在合理的时间内达到从庞杂的数据中撷取、管理、处理及整理出可以帮助企业经营用户进行决策的有用资讯。为实现这一目标,实践中通常会采用包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等技术和方法。

第4章云计算与大数据4.3.2云计算与物联网物联网(InternetofThings,IoT)的概念自提出之初就常常同大数据的采集和处理联系在一起。它被定义为:通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现智能化感知、识别、定位、跟踪、监控和管理的一种网络概念。

第4章云计算与大数据4.3.2云计算与物联网云计算是实现物联网的核心技术之一,也是推动物联网服务创新的重要基础。

在物联网的建设中,有三大重要的基础:(1)传感器等电子元器件;(2)传输的通道,即网络;(3)高效的、动态的,可以大规模扩展的数据处理能力。物联网所采集到的实时动态信息完全具有大数据的大体量、多样性、高速度的特性,而这里所提到的第三个基础正是在云计算技术的帮助下得以实现的。

第4章云计算与大数据4.3.2云计算与物联网云计算与互联网结合方式大致分为以下几种：单中心,多终端此模式由单一的云计算中心和若干物联网终端(传感器、摄像头等)组成。。这类应用主要运用云计算中心所提供的海量存储和统一界面、分级管理等功能,为日常生活提供较好的帮助。如家庭电子设备的监测、对高速路段的监控、幼儿园小朋友监管等。多中心,大量终端此模式适用于区域跨度较大的企业和单位。譬如,一个跨多地区或者多国家的企业,因其分公司或分厂较多,要对其各公司或工厂的生产流程进行监控、对相关的产品进行质量跟踪等。这一模式的前提是云计算中心须包含公共云和私有云,并且它们之间的互联没有障碍。

信息、应用分类处理,海量终端在这一模式下,具体根据应用模式和场景,对各种信息、数据进行分类处理,然后选择相关的途径给相应的终端。

对需要大量数据传送但安全性要求不高的数据等,可以采取本地云计算中心处理或存储。对于计算要求高、数据量不大的,可以放在专门负责高端运算的云计算中心里。而对于数据安全要求非常高的信息和数据,我们可以放在具有灾备中心功能的云中。

第4章云计算与大数据4.3.3智能决策系统

影响非结构化问题的因素往往既存在于企业现有的结构化数据库中,也存在于社会中和互联网上,这些因素与决策问题本身并不构成明显的因果关系但却又无法忽视它们的影响。在这种情况下,尽可能多地将相关因素的数据收集起来,并对其潜在的模式和知识进行挖掘进而指导决策,就成为了一种自然而然的想法。实现这种决策的系统就是基于智能数据分析方法的智能决策系统。智能决策系统第4章云计算与大数据4.3.3智能决策系统智能决策系统中的专家系统(ExpertSystem)常被用来替代专业技术人员以辅助管理者进行决策,这类系统也被称为基于知识的系统(Knowledge-BasedSystem)。专家系统是一种基于数据分析和智能算法的决策系统,它非常适用于诊断性问题和指令性问题。它可以被用来对问题的状态进行判断,或对备选方案进行选择。

主要应用领域：

会计——用于审计、管理咨询和培训。医药——病症的初步诊断、辅助开具药物处方。财务管理——辨别高风险账户。生产——机械故障诊断、指导各类产品的加工制造。

专家系统第4章云计算与大数据4.3.3智能决策系统

优点处理大量的数据。减少决策失误。汇集来自各种渠道的信息。改善用户体验。提高决策的一致性。减少人力投入。降低成本。第4章云计算与大数据4.3.4数据挖掘与机器学习

数据挖掘是对大量存储的数据进行分析,并从中找出隐藏在项目之间的相互关系和模式等信息的手段。也就是说,数据挖掘是通过聚类分析、神经网络、模糊逻辑、回归分析、决策树、关联分析、自然语言处理等手段,由计算机从大量的历史数据中找到知识的过程。

数据挖掘第4章云计算与大数据4.3.4数据挖掘与机器学习相关技术简要介绍：聚类分析。聚类(Clustering)是指将数据集中相似的样本点聚集到一起,将整个数据分成几个组,每个组内的样本被认为具有类似的性质。例如,在推荐系统中,可以运用聚类分析的方法将兴趣爱好类似的用户分在同一个用户组内,然后以组为单位来推荐商品。回归分析(RegressionAnalysis)。是指当某个变量的变化受若干其他变量的影响时,用于求得表现它们之间关系的公式的一种统计学分析方法。

第4章云计算与大数据4.3.4数据挖掘与机器学习相关技术简要介绍：神经网络(NeuralNetwork)。是指在计算机上实现与人脑神经系统类似的计算方式。通过模仿神经元之间的信息传递和相互刺激的模式来实现对非线性问题的学习。神经网络可以用于解决分类、回归、预测等数据挖掘中的典型问题,它具有下述特点:•独立学习并能够适应环境参数的变化。•适于大规模并行处理。•可以在具有不完整或不良结构信息的情况下进行工作。•能够处理变量之间具有依赖性的大量信息。•可以分析信息中的非线性关系。第4章云计算与大数据4.3.4数据挖掘与机器学习相关技术简要介绍：决策树(DecisionTree)是一种用于预测和分类的分析方法,将决策过程中的条件用树状结构表示出来。对于其中的某一个条件,分别给出其为Yes和No两种情况下的处理方式。关联分析(AssociationAnalysis)又叫购物篮分析(MarketBasketAnalysis),是一种在多个商品中找到可能会同时购买的商品组合(如购买商品A的人很有可能同时购买商品B)的分析方法。第4章云计算与大数据4.3.4数据挖掘与机器学习相关技术简要介绍：遗传算法(GeneticAlgorithm)是一种人工智能系统,它通过模仿进化过程中适者生存的规律从而产生一个问题的逐步改进的解决方案。换句话说,遗传算法是一种优化系统,