大数据方面学习3

大数据时代不知道BIGDATA?你out了!反对派认为，我们现在处在一个盲目的大数据崇拜时代大数据的定义理解大数据相关技术与应用目录facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB

=2^50字节1EB

=2^60字节1ZB=2^70字节大数据时代的爆炸增长“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据的4V特征大数据=海量数据+复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。大数据的构成大数据的定义理解大数据相关技术与应用目录1、密不可分的大数据与云计算商业模式驱动应用需求驱动云计算本身也是大数据的一种业务模式大数据是落地的云云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。2、大数据不仅仅是“大”多大？至少PB级比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值3、软件是是大数据据的引擎擎和数据中中心（DataCenter）一样，软软件是大大数据的的驱动力力，软件件改变世世界大数据生生态：软软件是引引擎4、大数据据的应用用不仅仅仅是精准准营销通过用户户行为分分析实现现精准营营销是大大数据的的典型应应用，但但是大数数据在各各行各业业特别是是公共服服务领域域具有广广阔的应应用前景景消费行业业金融服务务食品安全全医疗卫生生军事交通环保保电子商务务气象5、管理大大数据““易”理理解大数数据“难难”虽然大数数据是一一个重大大问题，，真正的的问题是是让大数数据更有有意义目前大数数据管理理多从架架构和并并行等方方面考虑虑，解决决高并发发数据存存取的性性能要求求及数据据存储的的横向扩扩展，但但对非结结构化数数据的内内容理解解仍缺乏乏实质性性的突破破和进展展，这是是实现大大数据资资源化、、知识化化、普适适化的核核心非结构化化海量信信息的智智能化处处理：自自然语言言理解、、多媒体体内容理理解、机机器学习习等大数据的定义理解大数据相关技术与应用目录分析技术术：数据处理理：自然然语言处处理技术术统计和分分析：A/Btest;topN排行榜；；地域占占比；文文本情感感分析数据挖掘掘：关联联规则分分析；分分类；聚聚类模型预测测：预测测模型；；机器学学习；建建模仿真真大数据技技术：数据采集集：ETL工具数据存取取：关系系数据库库；NoSQL；SQL等基础架构支持持：云存储；；分布式文件件系统等计算结果展现现：云计算；；标签云；关关系图等存储结构化数据：：海量数据的查查询、统计、、更新等操作作效率低非结构化数据据图片、视频、、word、pdf、ppt等文件存储不利于检索、、查询和存储储半结构化数据据转换为结构化化存储按照非结构化化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）数据采集数据储存数据管理数据分析与挖掘一些些相相关关技技术术行业业拓拓展展者者，，打打造造大大数数据据行行业业基基石石：：IBM：IBM大数数据据提提供供的的服服务务包包括括数数据据分分析析，，文文本本分分析析，，蓝蓝色色云云杉杉（（混混搭搭供供电电合合作作的的网网络络平平台台））;业务务事事件件处处理理；；IBMMashupCenter的计计量量，，监监测测，，和和商商业业化化服服务务（（MMMS）IBM的大大数数据据产产品品组组合合中中的的最最新新系系列列产产品品的的InfoSpherebigInsights，基基于于ApacheHadoop。该产产品品组组合合包包括括：：打包包的的ApacheHadoop的软软件件和和服服务务，，代代号号是是bigInsights核心心，，用用于于开开始始大大数数据据分分析析软件件被被称称为为bigsheet，软软件件目目的的是是帮帮助助从从大大量量数数据据中中轻轻松松、、简简单单、、直直观观的的提提取取、、批批注注相相关关信信息息为金金融融，，风风险险管管理理，，媒媒体体和和娱娱乐乐等等行行业业量量身身定定做做的的行行业业解解决决方方案案微软：：2011年1月与惠惠普（（具体体而言言是HP数据库库综合合应用用部门门）合合作作目标标是开开发了了一系系列能能够提提升生生产力力和提提高决决策速速度的的设备备。EMC：EMC斩获了了纽交交所和和Nasdaq；大数据据解决决方案案已包包括40多个产产品。。Oracle：Oracle大数据据机与与OracleExalogic中间件件云服服务器器、OracleExadata数据库库云服服务器器以及及OracleExalytics商务智智能云云服务务器一一起组组成了了甲骨骨文最最广泛泛、高高度集集成化化系统统产品品组合合。大数据的应应用——企业在投入入政府职能变变革重视应用大大数据技术术，盘活各各地云计算算中心资产产：把原来来大规模投投资产业园园、物联网网产业园从从政绩工程程，改造成成智慧工程程；在安防领域域，应用大大数据技术术，提高应应急处置能能力和安全全防范能力力；在民生领域域，应用大大数据技术术，提升服服务能力和和运作效率率，以及个个性化的服服务，比如如医疗、卫卫生、教育育等部门；；解决在金融融，电信领领域等中数数据分析的的问题：一一直得到得得极大的重重视，但受受困于存储储能力和计计算能力的的限制，只只局限在交交易数型数数据的统计计分析；政府投入将将形成示范范效应，大大大推动大大数据的发发展。大数据的应应用——政府“智慧大脑”智能感知互联互通智能运营协同共享美国奥巴马马政府在白白宫网站发发布《大数据研究究和发展倡倡议》，提出“通通过收集、、处理庞大大而复杂的的数据信息息，从中获获得知识和和洞见，提提升能力，，加快科学学、工程领领域的创新新步伐，强强化美国国国土安全，，转变教育育和学习模模式”；；中国工程院院院士邬贺贺铨说道，，“智慧城城市是使用用智能计算算技术使得得城市的关关键基础设设施的组成成和服务更更智能、互互联和有效效，随着智智慧城市的的建设，社社会将步入入“大数据据”时代。。”难点：1、在最初就就合理规划划智慧城市市（深度思思考哪些领领域能够运运用）；2、在城市发发展基础设设施和“云云产业”的的同时，更更多重视““数据”的的价值；3、在大数据据处理领域域的核心技技术不足，，需要政府府更大的投投入。大数据的应应用——热点：智智慧城市市政府、金金融、电电信等行行业投资资建立大大数据的的处理分分析手段段，实现现综合治治理、业业务开拓拓等目标标；应用用到制造造等更多多行业。。更多行业业的应用用数据的再再利用：：由于在信信息价值值链中的的特殊位位置，有有些公司司可能会会收集到到大量的的数据，，但他们们并不急急需使用用也不擅擅长再次次利用这这些数据据。例如如，移动动电话运运营商手手机用户户的位置置信息来来传输电电话信号号，这对对以他们们来说，，数据只只有狭窄窄的技术术用途。。但当它它被一些些发布个个性化位位置广告告服务和和促销活活动的公公司再次次利用时时，则变变得更有有价值。。大数据价价值链的的3大构成：：数据本本身、技技能与思思维其中三者者兼具的的又谷歌歌公司，，谷歌在在刚开始始收集数数据的时时候就已已经有多多次使用用数据的的想法。。比方说说，它的的街景采采集车手手机全球球定位系系统数据据不光是是为了创创建谷歌歌地图，，也是为为了制成成全自动动汽车以以及谷歌歌眼镜等等与实景景交汇的的产品。。未来，企企业会依依靠洞悉悉数据中中的信息息更加了了解自己己，也更更加了解解客户。。《大数据时代》传统行业最终终都会转变为为大数据行业业，无论是金金融服务也、、医药还是制制造业。大数据的应用用——未来，改变一一切大数据赋予我我们洞察