纸牌屋与大数据25

大数据“大数据据”“大数据据”这个个术语最最早期的的引用可可追溯到到apacheorg的开源项项目Nutch。当时，，大数据据用来描描述为更更新网络络搜索索索引需要要同时进进行批量量处理或或分析的的大量数数据集。。战略意义义大数据技技术的战战略意义义不在于于掌握庞庞大的数数据信息息，而在在于对这这些含有有意义的的数据进进行专业业化处理理。换言言之，如如果把大大数据比比作一种种产业，，那么这这种产业业实现盈盈利的关关键，在在于提高高对数据据的“加加工能力力”，通通过“加加工”实实现数据据的“增增值”。结构从技术上上看，大大数据与与云计算算的关系系就像一一枚硬币币的正反反面一样样密不可可分。大大数据必必然无法法用单台台的计算算机进行行处理，，必须采采用分布布式架构构。它的的特色在在于对海海量数据据进行分分布式数数据挖掘掘（SaaS），但它它必须依依托云计计算的分分布式处处理、分分布式数数据库（（PaaS）和云存存储、虚虚拟化技技术（IaaS）。4个基本特特征一、数据据体量巨大大。二、数据据类型多样。现现在的数数据类型型不仅是是文本形形式，更更多的是是图片、、视频、、音频、、地理位位置信息息等多类类型的数据。三、处理理速度快。。数据处处理遵循循“1秒定律””，可从从各种类类型的数数据中快快速获得得高价值值的信息息。四、价值值密度低。。以视频频为例，，一小时时的视频频，在不不间断的的监控过过程中，，可能有有用的数数据仅仅仅只有一一两秒。。大数据的作作用第一，对对大数据据的处理理分析正正成为新新一代信信息技术术融合应应用的结结点。移移动互联联网、物物联网、、社交网网络、数数字家庭庭、电子子商务等等是新一一代信息息技术的的应用形形态，这这些应用用不断产产生大数数据。云云计算为为这些海海量、多多样化的的大数据据提供存存储和运运算平台台。通过过对不同同来源数数据的管管理、处处理、分分析与优优化，将将结果反反馈到上上述应用用中，将将创造出出巨大的的经济和和社会价价值。大数据的的作用第二，大大数据是是信息产产业持续续高速增增长的新新引擎。。面向大大数据市市场的新新技术、、新产品品、新服服务、新新业态会会不断涌涌现。在在硬件与与集成设设备领域域，大数数据将对对芯片、、存储产产业产生生重要影影响，还还将催生生一体化化数据存存储处理理服务器器、内存存计算等等市场。。在软件件与服务务领域，，大数据据将引发发数据快快速处理理分析、、数据挖挖掘技术术和软件件产品的的发展。大数据的的作用第三，大大数据利利用将成成为提高高核心竞竞争力的的关键因因素。各各行各业业的决策策正在从从“业务务驱动””转变变“数据据驱动””大数据的的作用第四，大大数据时时代科学学研究的的方法手手段将发发生重大大改变。。大数据的的处理1.采集大数据的的采集是是指利用用多个数数据库来来接收发发自客户户端（Web、App或者传感感器形式式等）的的数据，，并且用用户可以以通过这这些数据据库来进进行简单单的查询询和处理理工作。大数据的的处理2.导入/预处理虽然采集集端本身身会有很很多数据据库，但但是如果果要对这这些海量量数据进进行有效效的分析析，还是是应该将将这些来来自前端端的数据据导入到到一个集集中的大大型分布布式数据据库，或或者分布布式存储储集群，，并且可可以在导导入基础础上做一一些简单单的清洗洗和预处处理工作作。大数据的的处理3.统计/分析统计与分分析主要要利用分分布式数数据库，，或者分分布式计计算集群群来对存存储于其其内的海海量数据据进行普普通的分分析和分分类汇总总等，以以满足大大多数常常见的分分析需求求，在这这方面，，一些实实时性需需求会用用到EMC的GreenPlum、Oracle的Exadata，以及基基于MySQL的列式存存储Infobright等，而一一些批处处理，或或者基于于半结构构化数据据的需求求可以使使用Hadoop。大数据的的处理4.挖掘与前面统统计和分分析过程程不同的的是，数数据挖掘掘一般没没有什么么预先设设定好的的主题，，主要是是在现有有数据上上面进行行基于各各种算法法的计算算，从而而起到预预测（Predict）的效果果，从而而实现一一些高级级别数据据分析的的需求。大数据的的处理整个大数数据处理理的普遍遍流程至至少应该该满足以上上四个方面的的步骤，，才能算算得上是是一个比比较完整整的大数数据处理理。人们对大数据据的认识识误区一、数据据不等于于信息经常有人把数数据和信信息当作作同义词词来用。。其实不不然，数数据指的的是一个个原始的的数据点点（无论论是通过过数字，，文字，，图片还还是视频频等等）），信息息则直接接与内容容挂钩，，需要有有资讯性性（informative）。数据据越多，，不一定定就能代代表信息息越多，，更能不不能代表表信息就就会成比比例增多多。人们对大大数据的的认识误误区二、信息不不等于智智慧（Insight）现在我们去除除了数据据中所有有重复的的部分，，也整合合了内容容类似的的数据，，现在我我们剩下下的全是是信息了了，这对对我们就就一定有有用吗？？不一定定，信息息要能转转化成智智慧，至至少要满满足一下下三个标标准：可破译性、关联性、、新颖性性。案例1.大数据应应用案例例之：医医疗行业业[1]SetonHealthcare是采用IBM最新沃森森技术医医疗保健健内容分分析预测测的首个个客户。。该技术术允许企企业找到到大量病病人相关关的临床床医疗信信息，通通过大数数据处理理，更好好地分析析病人的的信息。。[2]加拿大多多伦多一一家医院院，针对对早产婴婴儿，每每秒钟有有超过3000次的数据据读取。。通过这这些数据据分析，，医院能能够提前前知道哪哪些早产产儿出现现问题并并且有针针对性地地采取措措施，避避免早产产婴儿夭夭折。[3]它让更多多的创业业者更方方便地开开发产品品，比如如通过社社交网络络来收集集数据的的健康类类App。也许未未来数年年后，它它们搜集集的数据据能让医医生给你你的诊断断变得更更为精确确，比方方说不是是通用的的成人每每日三次次一次一一片，而而是检测测到你的的血液中中药剂已已经代谢谢完成会会自动提提醒你再再次服药药。案例2.大数据应应用案例例之：能能源行业业[1]智能电网网现在欧欧洲已经经做到了了终端，，也就是是所谓的的智能电电表。在在德国，，为了鼓鼓励利用用太阳能能，会在在家庭安安装太阳阳能，除除了卖电电给你，，当你的的太阳能能有多余余电的时时候还可可以买回回来。通通过电网网收集每每隔五分分钟或十十分钟收收集一次次数据，，收集来来的这些些数据可可以用来来预测客客户的用用电习惯惯等，从从而推断断出在未未来2~3个月时间间里，整整个电网网大概需需要多少少电。有有了这个个预测后后，就可可以向发发电或者者供电企企业购买买一定数数量的电电。因为为电有点点像期货货一样，，如果提提前买就就会比较较便宜，，买现货货就比较较贵。通通过这个个预测后后，可以以降低采采购成本本。[2]维斯塔斯斯风力系系统，依依靠的是是BigInsights软件和IBM超级计算算机，然然后对气气象数据据进行分分析，找找出安装装风力涡涡轮机和和整个风风电场最最佳的地地点。利利用大数数据，以以往需要要数周的的分析工工作，现现在仅需需要不足足1小时便可可完成。。案例3.大数据应应用案例例之：通通信行业业[1]XOCommunications通过使用用IBMSPSS预测分析析软件，，减少了了将近一一半的客客户流失失率。XO现在可以以预测客客户的行行为，发发现行为为趋势，，并找出出存在缺缺陷的环环节，从从而帮助助公司及及时采取取措施，，保留客客户。[2]电信业者者透过数数以千万万计的客客户资料料，能分分析出多多种使用用者行为为和趋势势，卖给给需要的的企业，，这是全全新的资资料经济济。[3]中国移动动通过大大数据分分析，对对企业运运营的全全业务进进行针对对性的监监控、预预警、跟跟踪。系系统在第第一时间间自动捕捕捉市场场变化，，再以最最快捷的的方式推推送给指指定负责责人，使使他在最最短时间间内获知知市场行行情。[4]NTTdocomo(日本最大大的移动动通信运运营商，，拥有超超过6千万的签签约用户户)把手机位位置信息息和互联联网上的的信息结结合起来来，为顾顾客提供供附近的的餐饮店店信息，，接近末末班车时时间时，，提供末末班车信信息服务务。案例4.大数据应应用案例例之：零零售业[1]""我们的某某个客户户，是一一家领先先的专业业时装零零售商，，通过当当地的百百货商店店、网络络及其邮邮购目录录业务为为客户提提供服务务。公司司希望向向客户提提供差异异化服务务，如何何定位公公司的差差异化，，他们通通过从Twitter和Facebook上收集社社交信息息，更深深入的理理解化妆妆品的营营销模式式，随后后他们认认识到必必须保留留两类有有价值的的客户：：高消费费者和高高影响者者。希望望通过接接受免费费化妆服服务，让让用户进进行口碑碑宣传，，这是交交易数据据与交互互数据的的完美结结合，为为业务挑挑战提供供了解决决方案。。"Informatica的技术帮帮助这家家零售商商用社交交平台上上的数据据充实了了客户主主数据，，使他的的业务服服务更具具有目标标性。[2]零售企业业也监控控客户的的店内走走动情况况以及与与商品的的互动。。它们将将这些数数据与交交易记录录相结合合来展开开分析，，从而在在销售哪哪些商品品、如何何摆放货货品以及及何时调调整售价价上给出出意见，，此类方方法已经经帮助某某领先零零售企业业减少了了17%的存货，，同时在在保持市市场份额额的前提提下，增增加了高高利润率率自有品品牌商品品的比例例。纸牌屋“可能会会动摇美美国传统统电视产产业，传传统电视视产业的的变革即即将从《纸牌屋》开始”——《福布斯》纸牌屋这部改编自同同名英国国政治惊惊悚小说说的电视视剧，讲讲述的是是一