大数据概念技术与应用138

大数据大数据引领我们走向数据智能化时代BigData目录大数据的定义理解相关技术与应用机遇与挑战大数据的定义理解一什么是大数据Dada大大数据的构成123大数据的的定义理理解大数据的的“4V”特征大数据时时代的背背景大数据时时代的背背景facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联21世纪是数数据信息息大发展展的时代代，移动动互联、、社交网网络、电电子商务务等极大大拓展了了互联网网的边界界和应用用范围，，各种数数据正在在迅速膨膨胀并变变大。互联网（（社交、、搜索、、电商））、移动动互联网网（微博博）、物物联网（（传感器器，智慧慧地球））、车联联网、GPS、医学影影像、安安全监控控、金融融（银行行、股市市、保险险）、电电信（通通话、短短信）都都在疯狂狂产生着着数据。。“大数据””的诞生生：半个世纪纪以来，，随着计计算机技技术全面面融入社社会生活活，信息息爆炸已已经积累累到了一一个开始始引发变变革的程程度。它它不仅使使世界充充斥着比比以往更更多的信信息，而而且其增增长速度度也在加加快。信信息爆炸炸的学科科如天文文学和基基因学，，创造出出了“大大数据””这个概概念*。。如今，，这个概概念几乎乎应用到到了所有有人类智智力与发发展的领领域中。。20世纪90年代，数数据仓库库之父的的BillInmon就经常提提及BigData2011年5月，在“云计算算相遇大大数据””为主题的的EMCWorld2011会议中，EMC抛出了BigData概念BigData名词由来来全球每秒秒钟发送送2.9百万封电子邮件件，一分分钟读一一篇的话话，足够够一个人人昼夜不不息的读读5.5年…每天会有有2.88万个小时的视频上上传到Youtube，足够一一个人昼昼夜不息息的观看看3.3年…推特上每每天发布布5千万条消息，假假设10秒钟浏览览一条信信息，这这些消息息足够一一个人昼昼夜不息息的浏览览16年…每天亚马马逊上将将产生6.3百万笔订单…每个月网网民在Facebook上要花费费7千亿分钟，被移动动互联网网使用者者发送和和接收的的数据高高达1.3EB…Google上每天需需要处理理24PB的数据…新的时代代，人们们从信息息的被动动接受者者变成了了主动创创造者大数据时时代到来来TBPBZBEB大量新数数据源的的出现则则导致了了非结构构化、半半结构化化数据爆爆发式的的增长根据IDC监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量数据量增加数据结构日趋复杂这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代正在来临..大数据时时代到来来大数据的的4V特征“大量化化(Volume)、多样化化(Variety)、快速化化(Velocity))、价值密密度低（（Value）”就是是“大数数据”的的显著特特征，或或者说，，只有具具备这些些特点的的数据，，才是大大数据。。体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的的构成大数据=海量数据据+复杂类型型的数据据海量交易易数据：：企业内部部的经营营交易信信息主要要包括联联机交易易数据和和联机分分析数据据，是结结构化的的、通过过关系数数据库进进行管理理和访问问的静态态、历史史数据。。通过这这些数据据，我们们能了解解过去发发生了什什么。大数据包包括：交易数据据和交互互数据集集在内的的所有数数据集海量交互互数据：：源于Facebook、Twitter、LinkedIn及其他来来源的社社交媒体体数据构构成。它它包括了了呼叫详详细记录录CDR、设备和和传感器器信息、、GPS和地理定定位映射射数据、、通过管管理文件件传输ManageFileTransfer协议传送送的海量量图像文文件、Web文本和点点击流数数据、科科学信息息、电子子邮件等等等。可可以告诉诉我们未未来会发发生什么么。海量数据据处理：：大数据的的涌现已已经催生生出了设设计用于于数据密密集型处处理的架架构。例例如具有有开放源源码、在在商品硬硬件群中中运行的的ApacheHadoop。大数据要要解决的的问题Volume海量的数数据规模模Variety多样的数数据类型型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的数数据流转转巨大的数数据价值值相关技术与应用二大数据怎么用大数据时时代的背背景相关技术术云计算与大数据大数据领的应用123相关技术术相关技术术大数据技技术将被被设计用用于在成成本可承承受（economically）的条件件下，通通过非常常快速（（velocity）的采集集、发现现和分析析，从大大量化（（volumes）、多类类别（variety）的数据据中提取取价值（（value），将是IT领域新一一代的技技术与架架构企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合什么是BigData技术分析技术术：数据处理理：自然然语言处处理技术术统计和分分析：A/Btest;topN排行榜；；地域占占比；文文本情感感分析数据挖掘掘：关联联规则分分析；分分类；聚聚类模型预测测：预测测模型；；机器学学习；建建模仿真真大数据技技术：数据采集集：ETL工具数据存取取：关系系数据库库；NoSQL；SQL等基础架构构支持：：云存储储；分布布式文件件系统等等计算结果果展现：：云计算算；标签签云；关关系图等等一些相关关技术存储结构化数数据：海量数据据的查询询、统计计、更新新等操作作效率低低非结构化化数据图片、视视频、word、pdf、ppt等文件存存储不利于检检索、查查询和存存储半结构化化数据转换为结结构化存存储按照非结结构化存存储解决方案案：Hadoop（MapReduce技术）流计算（（twitter的storm和yahoo！的S4）数据采集数据储存数据管理数据分析与挖掘技术领域域的挑战战1、对现有有数据库库管理技技术的挑挑战传统的数数据库部部署不能能处理数数TB级别的数数据，也也不能很很好的支支持高级级别的数数据分析析。急速速膨胀的的数据体体量即将将超越传传统数据据库的管管理能力力。如何构建建全球级级的分布布式数据据库(Globally--DistributedDatabase))，可以扩扩展到数数百万的的机器，，数已百百计的数数据中心心，上万万亿的行行数据。。2、经典数数据库技技术并没没有考虑虑数据的的多类别别（variety）SQL（结构化化数据查查询语言言），在在设计的的一开始始是没有有考虑非非结构化化数据的的。3、实时性性的技术术挑战：：一般而言言，像数数据仓库库系统、、BI应用，对对处理时时间的要要求并不不高。因因此这类类应用往往往运行行1、2天获得结结果依然然可行的的。但实实时处理理的要求求，是区区别大数数据应用用和传统统数据仓仓库技术术、BI技术的关关键差别别之一。。网络架构构、数据据中心、、运维的的挑战：：技术架构构的挑战战：人们每天天创建的的数据量量正呈爆爆炸式增增长，但但就数据据保存来来说，我我们的技技术改进进不大，，而数据据丢失的的可能性性却不断断增加。。如此庞大大的数据据量首先先在存储储上就会会是一个个非常严严重的问问题，硬硬件的更更新速度度将是大大数据发发展的基基石。大数据与与云计算算云计算的的模式是是业务模模式，本本质是数数据处理理技术。。数据是资资产，云云为数据据资产提提供存储储、访问问和计算算。当前云计计算更偏偏重海量量存储和和计算，，以及提提供的云云服务，，运行云云应用，，但是缺缺乏盘活活数据资资产的能能力，挖挖掘价值值性信息息和预测测性分析析，为国国家、企企业、个个人提供供决策和和服务，，是大数数据核心心议题，，也是云云计算的的最终方方向。白云下面面数据跑跑蓝蓝的天天上白云云飘如果数据据是财富富，那么么大数据据就是宝宝藏，而而云计算算就是挖挖掘和利利用宝藏藏的利器器！没有有强大的的计算能能力，数数据宝藏藏终究是是镜中花花；没有有大数据据的积淀淀，云计计算也只只能是杀杀鸡用的的宰牛刀刀！大数据与与云计算算2012云计算，，2013大数据？？美国：美国政府府在2012年3月29日宣布投投资两亿亿美元拉拉动大数数据相关关产业发发展，将将“大数数据战略略”上升升为国家家意志。。中国：中国商业业联合会会：副会会长刘建建沪介绍绍说，随随着互联联网的快快速发展展，中国国的电子子商务企企业纷纷纷组建了了数据分分析部门门。2011年10月，工信信部确认认京沪深深杭等5城市为““云计算算中心””试点城城市。而而真正的的问题或或许不在在于怎样样建设““云计算算中心””。国家家信息中中心常务务副主任任杜平直直言不讳讳：“应应对大数数据的到到来，需需要不断断建基础础设施，，但是建建了干什什么，有有些数据据需要存存储，也也有很多多数据可可能不需需要储存存。”大数据的的市场有有多大？？中央财财经大学学中国经经济管理理研究院院博士张张永力说说，国外外大数据据行业约约有1000亿美元的的市场，，而且每每年都以以10%的速度在在增长，，增速是是软件行行业的两两倍。行业拓展展者，打打造大数数据行业业基石：：大数据的的应用——企业在投投入IBM：IBM大数据提提供的服服务包括括数据分分析，文文本分析析，蓝色色云杉（（混搭供供电合作作的网络络平台））;业务事件件处理；；IBMMashupCenter的计量，，监测，，和商业业化服务务（MMMS）IBM的大数据据产品组组合中的的最新系系列产品品的InfoSpherebigInsights，基于ApacheHadoop。该产品组组合包括括：打包的ApacheHadoop的软件和和服务，，代号是是bigInsights核心，用用于开始始大数据据分析软件被称称为bigsheet，软件目目的是帮帮助从大大量数据据中轻松松、简单单、直观观的提取取、批注注相关信信息为金融，，风险管管理，媒媒体和娱娱乐等行行业量身身定做的的行业解解决方案案微软：2011年1月与惠普普（具体体而言是是HP数据库综综合应用用部门））合作作目标是是开发了了一系列列能够提提升生产产力和提提高决策策速度的的设备。。EMC：EMC斩获了纽纽交所和和Nasdaq；大数据解解决方案案已包括括40多个产品品。Oracle：Oracle大数据机机与OracleExalogic中间件云云服务器器、OracleExadata数据库云云服务器器以及OracleExalytics商务智能能云服务务器一起起组成了了甲骨文文最广泛泛、高度度集成化化系统产产品组合合。政府职能能变革重视应用用大数据据技术，，盘活各各地云计计算中心心资产：：把原来来大规模模投资产产业园、、物联网网产业园园从政绩绩工程，，改造成成智慧工工程；在安防领领域，应应用大数数据技术术，提高高应急处处置能力力和安全全防范能能力；在民生领领域，应应用大数数据技术术，提升升服务能能力和运运作效率率，以及及个性化化的服务务，比如如医疗、、卫生、、教育等等部门；；解决在金金融，电电信领域域等中数数据分析析的问题题：一直直得到得得极大的的重视，，但受困困于存储储能力和和计算能能力的限限制，只只局限在在交易数数型数据据的统计计分析；；政府投入入将形成成示范效效应，大大大推动动大数据据的发展展。大数据的的应用——政府“智慧大脑”智能感知互联互通智能运营协同共享大数据的的应用——热点：智智慧城市市美国奥巴巴马政府府在白宫宫网站发发布《大数据研研究和发发展倡议议》，提出““通过收收集、处处理庞大大而复杂杂的数据据信息，，从中获获得知识识和洞见见，提升升能力，，加快科科学、工工程领域域的创新新步伐，，强化美美国国土土安全，，转变教教育和学学习模式式”；；中国工程程院院士士邬贺铨铨说道，，“智慧慧城市是是使用智智能计算算技术使使得城市市的关键键基础设设施的组组成和服服务更智智能、互互联和有有效，随随着智慧慧城市的的建设，，社会将将步入““大数据据”时代代。”难点：1、在最初初就合理理规划智智慧城市市（深度度思考哪哪些领域域能够运运用）；；2、在城市市发展基基础设施施和“云云产业””的同时时，更多多重视““数据””的价值值；3、在大数数据处理理领域的的核心技技术不足足，需要要政府更更大的投投入。大数据的的应用——未来，改改变一切切数据的再再利用：：由于在信信息价值值链中的的特殊位位置，有有些公司司可能会会收集到到大量的的数据，，但他们们并不急急需使用用也不擅擅长再次次利用这这些数据据。例如如，移动动电话运运营商手手机用户户的位置置信息来来传输电电话信号号，这对对以他们们来说，，数据只只有狭窄窄的技术术用途。。但当它它被一些些发布个个性化位位置广告告服务和和促销活活动的公公司再次次利用时时，则变变得更有有价值。。大数据价价值链的的3大构成：：数据本本身、技技能与思思维其中三者者兼具的的又谷歌歌公司，，谷歌在在刚开始始收集数数据的时时候就已已经有多多次使用用数据的的想法。。比方说说，它的的街景采采集车手手机全球球定位系系统数据据不光是是为了创创建谷歌歌地图，，也是为为了制成成全自动动汽车以以及谷歌歌眼镜等等与实景景交汇的的产品。。未来，企企业会依依靠洞悉悉数据中中的信息息更加了了解自己己，也更更加了解解客户。。《大数据时时代》传统行业业最终都都会转变变为大数数据行业业，无论论是金融融服务也也、医药药还是制制造业。。机遇与挑战三大数据赋赋予我们们洞察未未来的能能力机遇马云成功功预测2008年经济危危机“2008年初,阿里巴巴巴平台上上整个买买家询盘盘数急剧剧下滑，，欧美对对中国采采购在下下滑。海海关是卖卖了货，，出去以以后再获获得数据据；我们们提前半半年时间间从询盘盘上推断断出世界界贸易发发生变化化了。””通常而言言，买家家在采购购商品前前，会比比较多家家供应商商的产品品，反映映到阿里里巴巴网网站统计计数据中中，就是是查询点点击的数数量和购购买点击击的数量量会保持持一个相相对的数数值，综综合各个个维度的的数据可可建立用用户行为为模型。。因为数数据样本本巨大,保证用户户行为模模型的准准确性。。因此在在这个案案例中，，询盘数数据的下下降，自自然导致致买盘的的下降。。人类从依依靠自身身判断做做决定到到依靠数数据做决决定的转转变，也也是大数数据作出出的最大大贡献之之一。——《大数据时时代》挑战诸多领域域的问题题亟待解解决，最最重要的的是每个个人的信信息都被被互联网网所记录录和保留留了下来来，并且且进行加加工和利利用，为为人所用用，而这这正是我我们所担担忧的信信息安全全隐患！！更多的隐隐私、安安全性问问题：我我们的隐隐私被二二次利用用了多少密码码和账号号是因为为“社交交网络””流出去去的？2011年4月索尼的的系统漏漏洞导致致7700万用户资资料失窃窃2011年4月，iOS被发现会会按照时时间顺序序记录用用户的位位置坐标标信息2011年CSDN密码泄露露事件…眼下中国国互联网网热门的的话题之之一就是是互联网网实名制制问题，，我愿意意相信这这是个好好事。毕毕竟我们们如果明明着亮出出自己的的身份，，互联网网才能对对我们的的隐私给给予更好好保护。。数据汇集集传统解解决方案案卫生信息息平台定义接口口联调测试试数据校验验

卫生信息平台医疗机构设备采购购业务开发发实施部署署医疗机构构业务厂商商开发周周期长标准变更更，频繁繁调试无工具支支撑，厂厂商能力力有限，，数据质质量难以以保证公共卫生信息平台数据上不来，，建档率率低活档率低低，数据据质量不不合格异常情况况发现不不及时卫生局的的困惑医疗机构构的无奈奈???面临现状锐易特数据采采集与交交换解决决方案服务共享数据交换集中监管

数据同步双向转诊

标准交互

服务部署服务管理

服务维护

核心服务协同服务

外部服务

……发布/订阅

协同医疗……

服务监控安全保障……企业服务务总线（（ESB）卫生数据据采集与与交换一一体机(卫生一体体机)软硬件一体机ESB内核安全监管业务模板硬件、网络（有/无线）操作系统、防火墙、中间件信息交换（多协议）数据集成（数据/服务）远程集中管理、多种认证模式安全审计、实时监控统计13大类、67小类3500项全集业务数据功能架构构A医院（HIS//LIS/PACS）配置管理理数据上报报调度中心心数据抽取取安全认证证数据缓存存数据集成成/交换网关关配置管理理安全审计计消息路由由服务监控控企业服务务总线（（ESB）服务调度度规则业务接口口业务校验验业务监控控数据中心心数据转换换消息分发发发布订阅阅流程调度度流程监控控安全认证证远程升级级业务扩展展共享库数据集成成/交换网关关B医院（HIS//LIS/PACS）WSWSFTPJDBC数据传输输通道(JMS/MQ,FTP，SOAP/HTTP))服务治理理配置管理理数据上报报调度中心心数据抽取取安全认证证数据缓存存数据转换换远程升级级业务扩展展综合统计分析库日志采集集WSFTPJDBC采集与交换异构数据据源抓取取多厂商应应用适配配数据及语语义转换换结构映射数据校验验安全保障访问安全传输安全全数据安全全安全审计计传输模式式手动/自动实时/定时主动/被动统一监管管集中管理远程监控控流程跟踪踪卫生一体体机核心心功能数据采集集过程数据质量量数据来源源数据标准准数据汇集数据汇合传统前置置VS