我眼中的大数据

大数据(bigdata)1大数据背景大数据带来的好处数据仓库大数据可视化facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB

=2^50字节1EB

=2^60字节1ZB=2^70字节大数据时代的爆炸增长“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据的4V特征:大数据背景大数据带来的好处数据仓库大数据可视化用途？互联网上的数据看起来数量庞大却用处寥寥，但事实上，只要处理好这些数据，就能给商家带来巨大的利益。举一个简单的例子：商家消费意向通过网页浏览记录通过人人、微博等消费水平通过淘宝等消费记录通过社交平台信息消费位置通过手机软件定位客户针对性地给客户提供广告与优惠信息消费服务7前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。互联网越来越智能Google精确掌握用户行为、获取需求8政治经济监控手机的使用状况和账单的缴付模式如果数据突然发生变化，那可能预示着经济困境正在加剧国情调控对Twitter和Facebook等社交媒体网站的数据筛查若社交媒体提及粮食或种族冲突，那可能预示爆发了饥荒或者国内骚乱医疗保卫社交媒体上提到某地区受到感染，是对疫情流行的有效早期预警9经典案例：10在一家超市中，人们发现了一个特别有趣的现象：尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。这可不是一个笑话，而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。这个发现为商家带来了大量的利润，但是如何从浩如烟海却又杂乱无章的数据中，发现啤酒和尿布销售之间的联系呢？这又给了我们什么样的启示呢？美国超市Target基于数据挖掘的精准销售案例11消费者每一次进行消费，其实都将自己的消费模式细节透露给销售方。现在销售商、尤其是电子商务销售公司，致力于利用数据挖掘分析出消费者的个人偏好、需求、对不同优惠券的反应等，进行客户信息管理，向客户精准推销，提高销售效率。Target超市的数据库系统给每个顾客分配一个TargetGuestID，在该条目下详细记录顾客的信用卡信息、网上注册信、在Target官网浏览的每一个页面和停留时间长短、每次的购买行为等信息，数据挖掘团队专门分析这些收集到的历史信息，预测顾客将来的购物行为和需求甚至生活方式，然后发邮件给顾客。吃货集中营12数据化运营…13啤酒和尿布ORACLE2012年3月29日奥巴马政府公布了”大数据研发计划”。该计划的目标是改进现有人们从海量和复杂的数据中获取知识的能力，从而加速美国在科学与工程领域发明的步伐，增强国家安全，转变现有的教学和学习方式。大数据的浪潮BI商业智能人工智能数据分析

ETL大数据可视化互联网Googlefacebook基于海量数据云计算数据仓库个人隐私IBM实际上，你的数据，不管用什么样的方式计算出来，如果不能很快去查，你的数据永远只是一些数字而已，产生不了任何的商业价值。提到大数据，你会想到什么呢？大数据背景大数据带来的好处数据仓库大数据可视化数据仓库的基本概念数据仓库的概念由被誉为“数据仓库之父”的WilliamH.Inmon提出的：数据仓库是一个面向主题的、集成的、随时间变化的、信息相对稳定的数据集合，它用于对企业管理和决策提供支持。所谓主题：是指用户使用数据仓库进行决策时所关心的重点方面，如：客户、产品、账务、事件、服务使用、资源、客户服务、地域等；所谓面向主题，是指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的；16数据仓库项目过程:ETL工具展现分析工具数据库WEB服务器数据库建模工具COGNOSBOSSRSORACLEDB2NETEZZATomcatWeblogicPowerDesignerERWinInformaticaDataStageJBoss解决方案方法论行业模型典型分析项目控制项目建设物理模型数据加载应用开发上线加载产品选购方案选择项目工作SSIS17数据仓库的技术要求-ETL数据仓库的技术要求包含如下几个方面：ETL(Extract/Transformation/Load)：用户从数据源抽取出所需的数据，经过数据清洗、转换,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去；ETL是数据仓库系统中最重要的概念之一，ETL在一个数据仓库系统项目中要花一半以上的时间。18ETL在技术上涉及到：增量、全量、定时、调度、监控等方面技术。增量数据：流水类数据、话单类数据的抽取方式；全量数据：用户信息类数据，状态会更新发生变化的数据；定时抽取：数据抽取一般在生产系统比较闲暇的时候进行，凌晨时候比较多，而且按照要分析数据的周期，还分为按日、按月数据；作业调度：由于涉及到的业务系统的数据量庞大，需要分批进行抽取，以及抽取数据后面的一系列处理过程；作业监控：对所有作业执行的监控；数据仓库的技术要求-ETL19大数据背景大数据带来的好处数据仓库大数据可视化大数据的技术领域-数据可视化数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察数据可视化的根本目的:传达与沟通信息Echarts简介Echarts举例Echarts模块化引入大数据可视化IntrductionECharts，纯Javascript图表库，基于Canvas，底层依赖ZRender，商业产品通用图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表，支持折线图（区域图）、柱状图（条状图）、散点图（气泡图）、K线图、饼图（环形图）、雷达图（填充雷达图）、和弦图、力导向布局图、地图（内置世界地图、中国及全国34个省市自治区地理数据），同时支持任意维度的堆积和多图表混合展现。23Echarts举例Echarts模块化引入大数据可视化Echarts简介单图表类型：Pie单图表类型：Pie

单图表类型：Bar

单图表类型：Bar

单图表类型：force单图表类型：forceEcharts简介Echarts模块化引入大数据可视化Echarts举例模块化引入Echarts:引入一个模块加载器，如esl.js或者require.js为ECharts准备一个具备大小（宽高）的Dom（当然可以是动态生成的）为模块加载器配置echarts的路径，从当前页面链接到echarts.js动态加载echarts然后在回调函数中开始使用（当你确保同一页面已经加载过echarts，再使用时直接require('echarts').init(dom)就行）<scriptsrc="/r/www/cache/ecom/esl/1-6-10/esl.js"></script><divid="main"style="height:400px"></div>require.config({paths:{'echarts':'/build/echarts','echarts/chart/bar':'/build/echarts'}});varmyChart=ec.init(document.getElementById('main'));...myChart.setOption(option);32大数据的技术领域-数据可视化数据可视化相关工具:GooglePublicData

ExplorerInstantatlasDataDeskDAVIXEye-SysFerretDataVisualizationandAnalysisGGobiIBMOpenDXIDL(programminglanguage)StyleIntelligenceOpenLinkAJAXToolkitParaViewSmile(software)信息可视化的相关方法:Cladogram

(phylogeny)分支图Coloralphabet

色彩字母表Dendrogram

(classification)树状图