云计算基础-云计算与大数据

第九章云计算与大数据九.一概述九.一.一大数据地概念九.一.二大数据发展概况九.一.三大数据发展趋势九.一.四云计算与大数据地关系九.二大数据地应用九.二.一大数据产业链九.二.二大数据核心技术九.二.三大数据应用领域九.一概述

大数据地概念什么是大数据？一.大数据是一个体量与数据类别特别大地数据集,无法用传统数据库工具对其内容行抓取,管理与处理。二.大数据本质上与传统地数据本无差异,它们大多是结构化,半结构化或者非结构化地数据。只是因为它们地数量级增长太快,我们需要用全新地方式来计算这些数据。九.一概述

大数据地概念大数据具有四V特点:一.规模大(volumes),这种规模可以从两个维度来衡量,一是从时间序列累积大量地数据,二是在深度上更加细化地数据。二.多样化(variety),可以是不同地数据格式,如文字,图片,视频等,可以是不同地数据类别,如口数据,经济数据等,还可以有不同地数据来源,如互联网,传感器等。三.动态化(Velocity）。数据是不停地变化地,可以随着时间快速增加大量数据,也可以是在空间上不断移动变化地数据。四.真实(Veracity）。也就是价值密度低,因为大数据本身也具有一些问题,比如高噪声,缺失值等问题,因此需要更加精细化地分析处理,才能取得更好地效果。九.一概述

大数据发展概况一.在全球七大重点领域内（包括教育,通,消费,电力,能源,大健康以及金融）,大数据地应用价值预计在三二二零零-五三九零零亿美元之间。二.我大数据仍处于起步发展阶段,各地发展大数据积极较高,行业应用得到快速推广,市场规模增速明显。三.面临挑战:五九%地数据是无效数据,七零%-八五%地数据过于复杂,八五%地企业数据架构无法适应数据量与复杂增长地需求,九八%地企业无法及时,准确地为业务提供正确地信息。九.一概述

大数据发展趋势机器学算法越来越重要在分析领域内存计算应用更普遍Hadoop地应用领域将更加广泛预测分析业务激增,精准地预测未来可能放生地行为与数据可视化技术方便数据检索与处理物联网,云技术,大数据与网络安全深层融合边缘计算技术兴起九.一概述

云计算与大数据地关系一.二者关系:云计算是硬件资源地虚拟化,而大数据是海量数据地高效处理。大数据着眼于数据,云计算着眼于计算,数据是计算地对象。二.大数据地总体架构包括三层:数据存储,数据处理与数据分析。分布式数据挖掘分布式处理分布式数据库云存储虚拟化如:Mahout如:MapReduce,JobKeeper如:HBase,数据立方如:HDFS,cStor如:VMare,OpenStackSaaSPaaSIaaS九.二大数据地应用一.精准化定制:主要是针对供需两方地,获取需方地个化需求,帮助供方定准定位目地,然后依据需求提供产品,最终实现供需双方地最佳匹配。智能化地搜索引擎,精准营销,选址定位等。大概可以分为三类:a.个化产品,比如智能化地搜索引擎,搜索同样地内容,每个地结果都不同。或者是一些定制化地新闻服务,或者是网游等。b.精准营销,现在已经比较常见地互联网营销,百度地推广,淘宝地网页推广等,或者是基于地理位置地信息推送,当到达某个地方,会自动推送周边地消费设施等。c.选址定位,包括零售店面地选址,或者是公基础设施地选址。大数据地应用可以概括为两个方向,一是精准化定制,二是预测。九.二大数据地应用二.预测:主要是围绕目地对象,基于它过去,未来地一些有关因素与数据分析,从而提前做出预警,或者是实时动态地优化。从具体地应用上,也大概可以分为三类:a.决策支持类,小到企业地运营决策,证券投资决策,医疗行业地临床诊疗支持,以及电子政务等。b.风险预警类,比如疫情预测,日常健康管理地疾病预测,设备设施地运营维护,公安全,以及金融业地信用风险管理等。c.实时优化类,比如智能线路规划,实时定价等。九.二大数据地应用

大数据产业链大数据产业链主要包括数据采集,数据存储,数据处理与数据应用等环节。以数据产品为心地纵向结构与以大数据技术为心地横向结构结成一个"T"型价值链结构九.二大数据地应用

大数据核心技术大数据处理关键技术一般包括:大数据采集,大数据预处理,大数据存储及管理,大数据分析及挖掘,大数据展现与应用。数据应用门户报表系统自助取款绩效考核专题分析监控预警数据挖掘实时API工作流引擎非结构转换搜索引擎推荐引擎Oracle/MySql/DB二..文件服务HBase/HDFS数据集模型PDMOcacle/DB二...传统数据库分布式计算Hadoop/HIve/SparkSQL实时流计算Storm/SparkStreaming临时数据层数据集市ETL工具日志采集网络爬虫FTP/HTTPScript业务数据库终端设备日志网站日志网络数据其它数据运行状态及任务调度数据质量及系统监控元数据及数据管理权限及安全管理系统管理九.二大数据地应用

大数据核心技术一.大数据采集技术:数据库采集,网络数据采集,文件采集;二．大数据预处理技术:数据清理,数据集成,数据归约,数据转换;三.大数据存储及管理技术:MPP架构地新型数据库集群,基于Hadoop地技术扩展与封装,大数据一体机;四.大数据展现与应用技术:大数据检索,可视化,应用,安全等。九.二大数据地应用

大数据核心技术五.大数据分析及挖掘技术数据挖掘概念:就是从大量地,不完全地,有噪声地,模糊地,随机地实际应用数据,提取隐含在其地,们事先不知道地,但又是潜在有用地信息与知识地过程。大数据分析地五个基本方面大数据分析地理论核心就是数据挖掘算法,各种算法基于不同地数据类型与格式能更加科学地呈现出数据本身地特点。可视化分析能够直观地呈现大数据特点,同时容易被读者接收与理解,简单明了。大数据分析离不开数据质量与数据管理,它们保证了分析结果地真实与价值。大数据分析地重要领域之一就是预测分析,从大数据挖掘出特点,建立模型,从而行预测。大数据分析广泛应用于网络数据挖掘,如:用户搜索关键词或者其它输入语义分析,从而判断用户需求,提高用户体验与广告匹配。可视化分析数据挖掘预测分析语