大数据应用项目解决方案

年大数据应用项目解决方案目录TOC\o"1-5"\h\z\u蒜1.叙旋大数据概述慨地6她1.1.寇协概述替乒6垒1.2.困毫大数据定义袖筛6丈1.3.绳数大数据技术麻发展挨斩8菠2.宇辉大数据应用锤蝶11四2.1.臣季大数据应用芦阐述宗搬11鸭2.2.幻途大数据应用墓架构第贞13恭2.3.千娃大数据行业饮应用缎联13念烈.伪永医疗行业栏陕13舟畜.膀猛能源行业兰袭14软局.伪规通信行业撒踪14已美.脚术零售业斧溜15乏3.踏衡大数据解决弟方案敲胁16够3.1.钓际大数据技术蕉组成带骨16犬谊.属番分析技术菜桐16纠冤.1.萄厉可视化分析坏昌16胜航.2.酒算数据挖掘算诱法秤间16得冬.3.宾揉预测分析能乎力端聋16浮赤.4.设挺语义引擎推虫16崇户.5.迷氧数据质量和荷数据管理哥恭17住梯.凳驴存储数据库季仍17势跌.绕俭分布式计算奇技术梦杀18任3.2.榜拜大数据处理掌过程被暑20嗓提.陵锤采集撤液20刻漂.屯梅导入/预处恒理之星21岁射.其耐统计/分析聚毙21并喝.太疑挖掘盲帅21菊3.3.们晴大数据处理誓的核心技术蓄-Hado解op享锯21末3.客3.1.救伤Hadoo绿p的组成驳图22件络.纽蠢Hadoo胳p的优点：吵坊25丧创.1.构其高可靠性。泳欢25卸申.2.需筋高扩展性。绳愉25溜航.3.丢框高效性。炭签25陈回.4.弟少高容错性。旷赛25历迟.回搞Hadoo另p的不足归狼25搏惊.躬都主要商业性洁“哈大数据许”衔处理方案臭钢26大丛.5.疲莫IBMI悄nfoSp进here大目数据分析平裤台复啊26敌激.6.针他Or悬acl艺eBi但gDa歌taA共pplia表nc使犯27宅况.7.乌躬Mic鸟ros穷of仿tSQ碑LServ烈er腿饺27该刷.8.声鸡Sybas暂eIQ参忽28志卵.毙妨其他圣“馒大数据诉”户解决方案折叙28蹦鉴.9.顺洁EMC雷剑28恨沃.10.竿刺BigQu骨ery横辩29蜓橡.芒梯大数据锹”问与科技文献奥信息处理醋省29稿3.4.扮娇大数据处理款技术发展前梁景屑冶29问纠.跳习大数据复杂顽度降低骄虹29旋畅.剩毒大数据细分疤市场萄婆30厕格.绢孝大数据开源锻电30样悬.龟同Hadoo漠p将加速发命展膏出30葵乞.糟维打包的大数玻据行业分析它应用惭鹊30炎矩.丙揭大数据分析尚的革命性方案法出现谷魄31失炸.深妇大数据与云书计算:深度较融合规但31睛课.齐扁大数据一体缓机陆续发布暖额31三4.怪嫩基于基站大躲数据应用及致案例波罢32义4.1.横耀气象灾害应迟急短信发布猪平台垂公32效邀.赴长概述损杠32坟出.1.肢部项目背景难粪32蚊厚.2.迈像平台概述鸦飞32说闯.负嫩平台建设特巴点与原则庙伯32源直.1.芹含建设特点何糟32鹅尿.2.旋龙建设原则耻惕32运超.3.貌化大数据管理区平台特点妈半33返芹.伐洞平台整体架府构得葬33育沉.1.暴姨建设原理盗戚33驳某.2.给舍平台总体设穗计痰塘35逗1.猜骡平台总体结剖构咏钞35臣2.具材平台技术架闸构呼苦36记彩.3.逐然平台技术思浅路僻各37某式.4.专之平台技术路好线扑三38益1.批违内存数据库醉滤38目2.宜衔短信发送多柏链路配置蚂虽38殿3.慈盐队列缓存赌荒38孕4.猾妇参数可配置盾译38某茶.5.浮店平台性能要扔求茧春38职这.猴倾平台网络拓垄扑汽助38笼递.歇格平台关键流池程岂迫39兰恒.1.蜻毕平台数据流淘程辫盯39砌茎.2.良脾平台业务主独流程滨任40抄巨.3.犬蹦短信下发审傍批流程此泉41疤锦.4.阀爹信令分析处歪理流程节帮42那刻.5.名拦短信发送流酷程民祸43号垄.摔凑平台功能模告块顶砖43照把.1.撑洒信令分析子暑系统渡贪43铺俘.2.倡疏短信发送子套系统物个44真1.浪刻短信发送功急能判酷44辣2.刑修短信回执接原收功能雅浅44边3.作耗短信批量发奥送管理功能气邻45被4.求凤统计报表在授45清淘.3.阅涌管理子系统挽印45周1.漠姻用户管理蚁拦45兵2.范断权限管理牛冠46识3.助逐实时监控桑琴46字4.溉瞎日志管理么治46宿5.牧端基站位置信减息管理英黑46漆6.籍腊系统参数配诚置管理借推46罪冈.4.耗习内容数据库返子系统仓害46标需.搞僚平台外部接释口棒科47锈虚.1.耕掉信令采集接委口翼柳47俱1.淡翻接口说明漫架47脉2.拘详数据采集模蓄式席洁47嫂状.2.篮扁短信发送接也口馋但47沫1.燃泊短信发送通卖知接口东邀47吨2.菊启短信发送状截态查询接口尸跨47永3.汇过短信发送接社口但康47咏恋.3.县待基站位置信慧息接口犹角48摔1.挂丛数据同步模桌式衫侮48吃2.耐途基站位置信样息全量同步滑接口瓜之48杀3.刺倘基站位置信罢息增量同步龄接口逗踏48摔4.2.梯僵旅游客源分听析栗各48焰哄.慎与建设目标晨贯48需床.霞响整体方案分蛇49陵滤.1.年验方案思路所哑49郑授.2.朱影分析范围诸谈49墙江.3.牵滚方案特点筹画50纵蚁.养郊方案设计恋合51饥敢.1.暑召系统关系裹禾51稿吐.2.掀原系统架构哨哑51比1.良热数据分析后基台能力井缸52哥2.绞唤Web前台叉能力弃蝶52阅集.3.埋蓄数据采集吴膀53潜未.4.牧滚业务分析鞋阀53电1.球搬总体分析流缝程暗结53似2.赞赛景区综合流粗量统计分析浪智54宋3.阳蚕景区游客来图源地构成分卧析破坑55滚4.步饶景区全网总概游客实时估叛算物炭57考5.孔尽景区流量预伤判模型分析播棍58兰6.圾衫景区流量上卫限告警售踏59辫7.隙嫌旅游景点热暑度排名分析漆哨59乒8.陈劫旅游线路归肯类统计梦役60久9.少晓景区与相关莫场所关联分北析眯采61扁复.5.献词界面功能介惹绍透京61嗽1.逝信菜单功能列远表摆锤62威2.黄尚界面辅助功轿能介绍砌时63部3.垒陡运营部门应袄用Port男al跨验64依4.介具用户权限筐下64大数据概述概述甜大数据，I博T行业的又赞一次技术变怨革，大数据蚀的浪潮汹涌原而至，对国径家治理、企港业决策和个毯人生活都在首产生深远的毫影响，并将怎成为云计算抢、物联网之率后信息技术劫产业领域又世一重大创新团变革。未来页的十年将是昆一个轨“遥大数据盘”司引领的智慧酿科技的时代慕、随着社交斧网络的逐渐涛成熟，移动骗带宽迅速提贱升、云计算波、物联网应让用更加丰富张、更多的传泽感设备、移膏动终端接入效到网络，由猴此而产生的钟数据及增长猜速度将比历油史上的任何懒时期都要多寺、都要快。货数据技术发勿展历史如图随一所示：图一大数据定义在“个大数据卧”嫩是一个涵盖卷多种技术的碗概念，简单巴地说，是指览无法在一定浩时间内用常晕规软件工具莲对其内容进振行抓取、管弊理和处理的梨数据集合。滔IBM将晒“衫大数据框”删理念定义为爹4个V，即澡大量化(V骨olume顶)、多样化呆(Vari酱ety)、丘快速化(V伶eloci嫁ty)及由辅此产生的价办值(Val滋ue)。如提图二;图二控要理解大数饲据这一概念缎，首先要从杆"大"入手沾，"大"是求指数据规模守，大数据一锄般指在10朽TB(1T仅B=102等4GB)规爷模以上的数柔据量。大数鲜据同过去的旱海量数据有艘所区别，其废基本特征可欧以用4个V钢来总结(V闲ol-um慨e、Var卷iety、踪Value曾和Velo美c-ity亿)，即体量驳大、多样性图、价值密度凝低、速度快仗。触数据体量巨尚大纺。从TB级慎别，跃升到槽PB级别。庭数据类型繁屠多世，如前文提平到的网络日泡志、视频、狂图片、地理嫌位置信息，烤等等。尝价值密度低途。以视频为丛例，连续不丙间断监控过忍程中，可能皮有用的数据识仅仅有一两猎秒。茅处理速度快规。1秒定律叙。最后这一覆点也是和传争统的数据挖彼掘技术有着像本质的不同笨。物联网、耕云计算、移懒动互联网、证车联网、手哨机、平板电东脑、PC以冰及遍布地球旬各个角落的稿各种各样的付传感器，无孙一不是数据创来源或者承贪载的方式。乐大数据技术齿是指从各种喉各样类型的荒巨量数据中轧，快速获得更有价值信息等的技术。解牢决大数据问惹题的核心是素大数据技术武。目前所说漫的"大数据榴"不仅指数窗据本身的规赌模，也包括设采集数据的叹工具、平台朝和数据分析锁系统。大数异据研发目的猫是发展大数星据技术并将裹其应用到相佛关领域，通对过解决巨量减数据处理问蚕题促进其突坝破性发展。趁因此，大数祸据时代带来优的挑战不仅务体现在如何吉处理巨量数触据从中获取北有价值的信氧息，也体现汽在如何加强淹大数据技术印研发，抢占屿时代发展的悄前沿。暴大数据技术判发展求大数据技术销描述了一种乎新一代技术烫和构架，用青于以很经济卖的方式、以研高速的捕获啊、发现和分窗析技术，从都各种超大规脸模的数据中队提取价值，兼而且未来急顶剧增长的数俭据迫切需要晶寻求新的处芬理技术手段页。如图三所追示：图三邻在疯“阿大数据底”墓(Big拳data)阿时代，通过旱互联网、社挣交网络、物往联网，人们莫能够及时全研面地获得大案信息。同时涨，信息自身苹存在形式的单变化与演进昨，也使得作衡为信息载体逐的数据以远棚超人们想象闭的速度迅速默膨胀。顶云时代的到咬来使得数据床创造的主体炸由企业逐渐寿转向个体，东而个体所产缺生的绝大部头分数据为图核片、文档、背视频等非结成构化数据。亮信息化技术中的普及使得窑企业更多的碌办公流程通数过网络得以持实现，由此凤产生的数据厦也以非结构仍化数据为主晌。预计到2阶012年，陆非结构化数晚据将达到互笨联网整个数鬼据量的75桶%以上。用践于提取智慧冤的气“坑大数据伍”厘，往往是这攀些非结构化近数据。传统庙的数据仓库燥系统、BI燥、链路挖掘册等应用对数拖据处理的时听间要求往往室以小时或天敏为单位。但搁“驱大数据献”袄应用突出强蛇调数据处理量的实时性。绩在线个性化触推荐、股票肯交易处理、据实时路况信端息等数据处覆理时间要求索在分钟甚至嗓秒级。翼全球技术研断究和咨询公龄司Gart铸ner将校“颗大数据兵”赶技术列入2恩012年对跨众多公司和街组织机构具姐有战略意义汗的十大技术初与趋势之一倍，而其他领宇域的研究，艳如云计算、荒下一代分析宿、内存计算乡等也都与撕“镇大数据狱”首的研究相辅丛相成。Ga眉rtner父在其新兴技测术成熟度曲寿线中将寨“疯大数据览”晕技术视为转团型技术，这仅意味着丸“嚼大数据白”搏技术将在未过来3炮—盼5年内进入嚷主流。扁而渗“斤大数据泰”打的多样性决概定了数据采县集来源的复戒杂性，从智而能传感器到归社交网络数惠据，从声音闹图片到在线肺交易数据，谎可能性是无咳穷无尽的。都选择正确的潜数据来源并插进行交叉分涨析可以为企沉业创造最显膛著的利益。圾随着数据源饭的爆发式增席长，数据的松多样性成为旅“烟大数据旨”稻应用亟待解梁决的问题。狐例如如何实锐时地及通过迷各种数据库闹管理系统来的安全地访问脉数据，如何迷通过优化存手储策略，评鹅估当前的数瞎据存储技术米并改进、加邀强数据存储伤能力，最大突限度地利用单现有的存储伪投资。从某扑种意义上说魔，数据将成洲为企业的核佳心资产。珠“转大数据阵”句不仅是一场程技术变革，马更是一场商损业模式变革篇。在泄“吉大数据伙”鸽概念提出之询前，尽管互顾联网为传统及企业提供了葵一个新的销耻售渠道，但前总体来看，套二者平行发煮展，鲜有交挨集。我们可棕以看到，无膀论是Goo惯gle通过秩分析用户个纺人信息，根天据用户偏好场提供精准广尸告，还是F臭acebo五ok将用户飘的线下社会古关系迁移在长线上，构造灵一个半真实意的实名帝国夕，但这些商牛业和消费模希式仍不能脱塔离互联网，装传统企业仍居无法嫁接到斩互联网中。罗同时，传统泥企业通过传县统的用户分叔析工具却很书难获得大范况围用户的真米实需求。苏企业从大规柿模制造过渡粘到大规模定负制，必须掌斗握用户的需属求特点。在绞互联网时代终，这些需求悔特征往往是胳在用户不经手意的行为中长透露出来的肉。通过对信众息进行关联蜡、参照、聚衔类、分类等仪方法分析，竿才能得到答支案。姨“蓝大数据乘”流在互联网与黑传统企业间泉建立一个交言集。它推动眉互联网企业投融合进传统恶企业的供应娇链，并在传亭统企业种下皇互联网基因才。传统企业孩与互联网企勾业的结合，贡网民和消费福者的融合，确必将引发消奇费模式、制俱造模式、管睁理模式的巨辞大变革。回大数据正成河为IT行业蒸全新的制高砍点，各企业熟和组织纷纷脊助推大数据可的发展，相强关技术呈现疮百花齐放局幼面，并在互裤联网应用领据域崭露头角很，具体情况用如下图四所斧示：图四因大数据将带戴来巨大的技麻术和商业机饺遇，大数据杏分析挖掘和让利用将为企罪业带来巨大匪的商业价值羊，而随着应茎用数据规模晃急剧增加，刃传统计算面滔临严重挑战企，大规模数崭据处理和行封业应用需求垄日益增加和湿迫切出现越夸来越多的大负规模数据处粒理应用需求鲁，传统系统俗难以提供足滋够的存储和闹计算资源进激行处理，云屡计算技术是度最理想的解估决方案。调种查显示：目增前，IT专瞧业人员对云防计算中诸多耳关键技术最吓为关心的是固大规模数据母并行处理技栗术大数据并罪行处理没有艰通用和现成乒的解决方案切对于应用行瘦业来说，云版计算平台软折件、虚拟化闷软件都不需听要自己开发辰，但行业的帆大规模数据木处理应用没俱有现成和通赔用的软件，旗需要针对特屑定的应用需董求专门开发灾，涉及到诸矿多并行化算瑞法、索引查汇询优化技术奴研究、以及浑系统的设计见实现，这些鸭都为大数据母处理技术的晚发展提供了集巨大的驱动忌力，大数据应用显大数据应用涉阐述坐大数据能做备什么？我们狼那么多地方越探讨大数据场，无非总结搬下来就做三聪件事：默第一，对信兼息的理解。球你发的每一时张图片、每今一个新闻、启每一个广告壁，这些都是牢信息，你对记这个信息的鄙理解是大数所据重要的领锯域。简第二，用户惜的理解，每旋个人的基本症特征，你的萌潜在的特征纲，每个用户秘上网的习惯肢等等，这些衣都是对用户报的理解。筐第三，关系煎。关系才是系我们的核心龙，信息与信咸息之间的关投系，一条微夸博和另外一留条微博之间惹的关系，一且个广告和另剧外一个广告抗的关系。一膨条微博和一污个视频之间盛的关系，这丘些在我们肉难眼去看的时将候是相对简汁单的。右比如有条微资博说这两天汁朝鲜绑架我翠们船的事，夹那条微博也发大概是谈这执件事的。人叼眼一眼就能顿看出来。但炉是用机器怎商么能看出来息这是一件事泪，以及他们宾之间的因果待关系，这齐是很有难度氏的。然后就秩是用户与用绝户之间的关稳系。哪些人断你愿意收听怪，是你的朋豆友，哪些是先你感兴趣的后领域，你是介一个音乐达原人，你是一防个吃货，那捞个用户也山是一个吃货开，你愿意收扔听他。这就训是用户与用闲户之间的关买系理解。还终有用户与信明息之间的理状解，就是你躁对哪一类型迹的微博感兴涂趣，你对哪攀一类型的信北息感兴趣，傲如果牵扯坚到商业化，绞你对哪一类灾的广告或者限商品感兴趣杂。其实就是板用户与信息为之间的关系狂，他无非是江做这件事。优大数据说的蛮那么悬，其洁实主要是做泥三件事：对士用户的理解帜、对信息的括理解、对关坑系的理解。芝如果我们在枣这三件事之轿间还要提一风件事的话，志一个叫趋势辟。他也是界关系的一种东变种，只是咬关系稍微远泽一点，情感值之间的分析若，还有我们哪政府部门做跨的舆情监控室。他可以监貌控大规模的亦数据，可以芳分析出人的采动向。在美影国的好莱脱坞，这两年帐也是基于F宾ACEBO荷OK和TI四WTTER底的数据来预困测即将上映滑的电影的票融房。他也是超一个趋势的分分析，只是吹我们把这个式趋势提前来睁。核心就是秩这三件事。烟大数据应用花架构腐大数据行业腔应用医疗行业负Seton枣Heal畅thcar慈e是采用I灿BM最新沃浆森技术医疗留保健内容分硬析预测的首投个客户。该族技术允许企洪业找到大量圈病人相关的锻临床医疗信犁息，通过大谜数据处理，优更好地分析店病人的信息焰。涝在加拿大多虾伦多的一家赏医院，针对描早产婴儿，每每秒钟有超第过3000犁次的数据读郊取。通过这趋些数据分析芽，医院能够叉提前知道哪狠些早产儿出逃现问题并且扬有针对性地抽采取措施，藏避免早产婴午儿夭折。盗它让更多的料创业者更方像便地开发产啦品，比如通秧过社交网络愧来收集数据积的健康类A六pp。也许牌未来数年后览，它们搜集饿的数据能让场医生给你的知诊断变得更猛为精确，比润方说不是通亏用的成人每昏日三次一次剩一片，而是锦检测到你的地血液中药剂胞已经代谢完岂成会自动提担醒你再次服描药。能源行业组智能电网现诚在欧洲已经适做到了终端抚，也就是所腥谓的智能电诵表。在德国气，为了鼓励刮利用太阳能警，会在家庭捞安装太阳能糊，除了卖电丰给你，当你怪的太阳能有剧多余电的时辉候还可以买慧回来。通过酬电网收集每题隔五分钟或扔十分钟收集纤一次数据，滤收集来的这园些数据可以琴用来预测客剖户的用电习幕惯等，从而沈推断出在未塘来2~3个须月时间里，鹿整个电网大勉概需要多少半电。有了这截个预测后，读就可以向发军电或者供电毛企业购买一攻定数量的电饿。因为电有伟点像期货一割样，如果提礼前买就会比箭较便宜，买王现货就比较傅贵。通过这环个预测后，乓可以降低采钢购成本。制维斯塔斯风刷力系统，依职靠的是Bi宋gInsi筹ghts软长件和IBM隆超级计算机吉，然后对气捏象数据进行昼分析，找出弯安装风力涡翁轮机和整个按风电场最佳雄的地点。利采用大数据，燕以往需要数汇周的分析工庸作，现在仅雪需要不足1股小时便可完航成。通信行业未XOCo警mmuni赌catio磁ns通过使上用IBM胖SPSS预这测分析软件吵，减少了将录近一半的客女户流失率。荒XO现在可备以预测客户毅的行为，发锤现行为趋势注，并找出存嘴在缺陷的环续节，从而帮均助公司及时知采取措施，傅保留客户。卵此外，IB筑M新的Ne垄tezza岁网络分析加烦速器，将通废过提供单个纯端到端网络殃、服务、客钓户分析视图将的可扩展平洽台，帮助通缩信企业制定阅更科学、合联理决策。凝电信业者透勿过数以千万哗计的客户资榴料，能分析唉出多种使用速者行为和趋好势，卖给需敢要的企业，淋这是全新的缓资料经济。幼中国移动通乎过大数据分亭析，对企业选运营的全业岗务进行针对智性的监控、炭预警、跟踪之。系统在第梨一时间自动炮捕捉市场变袜化，再以最屑快捷的方式谱推送给指定疏负责人，使隆他在最短时纤间内获知市购场行情。秆NTTd旨ocomo习把手机位置造信息和互联右网上的信息承结合起来，情为顾客提供虏附近的餐饮垄店信息，接猜近末班车时狗间时，提供蛙末班车信息污服务。零售业柜"我们的某垄个客户，是真一家领先的念专业时装零合售商，通过例当地的百货私商店、网络丧及其邮购目勾录业务为客僵户提供服务隙。公司希望笛向客户提供线差异化服务匙，如何定位沫公司的差异割化，他们通腹过从Tw兄itter音和Fa奔ceboo国k上收集料社交信息，劝更深入的理零解化妆品的录营销模式，勺随后他们认魂识到必须保习留两类有价吩值的客户：涌高消费者和捷高影响者。猫希望通过接骨受免费化妆科服务，让用堆户进行口碑皂宣传，这是怎交易数据与什交互数据的莫完美结合，凝为业务挑战付提供了解决昏方案。"I或nform滋atica述的技术帮助卷这家零售商案用社交平台策上的数据充四实了客户主治数据，使他歌的业务服务育更具有目标秒性。撇零售企业也峰监控客户的悠店内走动情键况以及与商喜品的互动。刊它们将这些凝数据与交易墓记录相结合浙来展开分析吗，从而在销竿售哪些商品柏、如何摆放混货品以及何止时调整售价菠上给出意见斯，此类方法临已经帮助某辨领先零售企海业减少了1箱7%的存货扔，同时在保华持市场份额作的前提下，袋增加了高利维润率自有品锯牌商品的比球例。虾大数据解决绳方案牛大数据技术窝组成桑大数据技术纷由四种技术移构成，它们沃包括：分析技术束分析技术意陵味着对海量慕数据进行分狠析以实时得妖出答案，由典于大数据的兴特殊性，大欣数据分析技盗术还处于发散展阶段，老断技术会日趋松完善，新技绢术会更多出胶现。大数据钓分析技术涵婚盖了以下的威的五个方面可视化分析税数据可视化咳无论对于普妨通用户或是吼数据分析专浮家，都是最霸基本的功能置。数据图像奴化可以让数笔据自己说话国，让用户直钞观的感受到馒结果。问数据挖掘算嫩法喘图像化是合将机器语言统翻译给人看吩，而数据挖峰掘就是机器足的母语。分剃割、集群、很孤立点分析日还有各种各沃样五花八门否的算法让我施们精炼数据醒，挖掘价值度。这些算法机一定要能够戚应付大数据闷的量，同时昌还具有很高爸的处理速度办。芬预测分析能国力聪数据挖掘可镜以让分析师朽对数据承载导信息更快更赏好地消化理德解，进而提兵升判断的准牙确性，而预陕测性分析可镜以让分析师知根据图像化置分析和数据斩挖掘的结果劝做出一些前题瞻性判断。语义引擎愿非结构化数户据的多元化料给数据分析泊带来新的挑战战，我们需凭要一套工具归系统的去分择析，提炼数幼据。语义引艘擎需要设计踪到有足够的敏人工智能以客足以从数据贡中主动地提芳取信息。至数据质量和旅数据管理辩数据质量与牲管理是管理诱的最佳实践宫，透过标准绳化流程和机奥器对数据进端行处理可以评确保获得一姑个预设质量港的分析结果馋。中我们知道大燥数据分析技成术最初起源巧于互联网行打业。网页存慌档、用户点上击、商品信死息、用户关哄系等数据形泻成了持续增争长的海量数棋据集。这些底大数据中蕴灾藏着大量可涂以用于增强垦用户体验、社提高服务质刮量和开发新消型应用的知拖识，而如何构高效和准确器的发现这些葱知识就基本匪决定了各大满互联网公司很在激烈竞争岔环境中的位麻置。首先，溉以Goog位le为首的盲技术型互联兄网公司提出徐了MapR顷educe井的技术框架浪，利用廉价肚的PC服务单器集群，大纱规模并发处旱理批量事务拆。款利用文件系慢统存放非结雁构化数据，艰加上完善的港备份和容灾持策略，这套驶经济实惠的脖大数据解决爽方案与之前裂昂贵的企业赢小型机集群静+商业数据裕库方案相比横，不仅没有象丢失性能，士而且还赢在假了可扩展性写上。之前，漏我们在设计速一个数据中亏心解决方案竞的前期，就哀要考虑到方超案实施后的餐可扩展性。榆通常的方法环是预估今后扇一段时期内络的业务量和夏数据量，加捕入多余的计姑算单元（C计PU）和存叉储，以备不捉时只需。借这样的方式所直接导致了宾前期一次性涌投资的巨大鼠，并且即使弄这样也依然京无法保证计每算需求和存巧储超出设计播量时的系统俊性能。而一革旦需要扩容地，问题就会劣接踵而来。饿首先是商业蛙并行数据库义通常需要各睬节点物理同纽构，也就是闯具有近似的衔计算和存储级能力。而随湖着硬件的更顷新，我们通距常加入的新赚硬件都会强碌于已有的硬饥件。这样，碧旧硬件就成琴为了系统的彼瓶颈。为了嚷保证系统性鞭能，我们不袭得不把旧硬跟件逐步替换挽掉，经济成凝本损失巨大客。其次，即牙使是当前最暗强的商业并极行数据库，滑其所能管理腾的数据节点葱也只是在几封十或上百这同个数量级，冲这主要是由健于架构上的努设计问题，辫所以其可扩宗展性必然有镇限。而Ma耳pRedu员ce+GF丈S框架，不重受上述问题踏的困扰。需凉要扩容了，戏只需增加个酷机柜，加入号适当的计算爱单元和存储他，集群系统踪会自动分配脚和调度这些蜜资源，丝毫柴不影响现有改系统的运行存储数据库重存储数据库宫(In-M哲emory廊Data嫩bases交)让信息快炮速流通，大伏数据分析经骆常会用到存丹储数据库来奶快速处理大控量记录的数趟据流通。比们方说，它可项以对某个全岗国性的连锁窑店某天的销驰售记录进行旦分析，得出酒某些特征进莫而根据某种朽规则及时为兵消费者提供阻奖励回馈。迫但传统的关扬系型数据库械严格的设计务定式、为保科证强一致性浅而放弃性能周、可扩展性贡差等问题在斥大数据分析俭中被逐渐暴姑露。随之而霉来，NoS吊QL数据存皱储模型开始笛风行。No猎SQL，也键有人理解为型NotO响nlyS朽QL，并不够是一种特定羞的数据存储厕模型，它是吓一类非关系往型数据库的于统称。其特泽点是：没有久固定的数据睡表模式、可周以分布式和姐水平扩展。售NoSQL岩并不是单纯穷的反对关系灯型数据库，锻而是针对其衬缺点的一种索补充和扩展茶。典型的N掠oSQL数欠据存储模型见有文档存储宵、键-值存啦储、图存储酒、对象数据票库、列存储织等笼NoSQ费L数据库是米一种建立在太云平台的新津型数据处理蝇模式，No元SQL在很黎多情况下又楚叫做云数据谷库。由于其抢处理数据的草模式完全是疗分布于各种逃低成本服务巾器和存储磁俯盘，因此它浸可以帮助网诉页和各种交魄互性应用快灾速处理过程沿中的海量数吓据。它为Z眉ynga、远AOL、C掘isco以眯及其它一些之企业提供网买页应用支持裳。正常的数驱据库需要将已数据进行归岩类组织，类逃似于姓名和坦帐号这些数细据需要进行号结构化和标洪签化。但是雀NoSQL奇数据库则完饺全不关心这柱些，它能处全理各种类型碍的文档。链在处理海量网数据同时请情求时，它也投不会有任何雅问题。比方供说，如果有握1000万驾人同时登录于某个Zyn扎ga游戏，宵它会将这些舟数据分布于们全世界的服衣务器并通过稻它们来进行垫数据处理，渗结果与1万光人同时在线订没什么两样仁。现今有多舞种不同类型轧的NoSQ墙L模式。商今业化的模式仓如Couc核hbase后、10ge隐n的mon售goDB以猴及Orac模le的No小SQL;开店源免费的模虽式如Cou戏chDB和背Cassa嫁ndra;北还有亚马逊列最新推出的弊NoSQL桨云服务。辞分布式计算支技术景分布式计算剑结合了No次SQL与实疼时分析技术美，如果想要惧同时处理实理时分析与N绢oSQL数密据功能，那拥么你就需要隆分布式计算阿技术。分布妨式技术结合窝了一系列技牺术，可以对乔海量数据进漠行实时分析肝。更重要的蛋是，它所使诊用的硬件非童常便宜，因最而让这种技晴术的普及变戴成可能。S宋GI的Su猾nnyS腾undst态rom解释苍说，通过对周那些看起来开没什么关联胆和组织的数研据进行分析择，我们可以翻获得很多有感价值的结果顾。比如说可暂以分发现一昨些新的模式卵或者新的行糕为。运用分缸布式计算技松术，银行可摊以从消费者羽的一些消费师行为和模式赵中识别网上忌交易的欺诈挑行为。嚼分布式计算沟技术让不可铸能变成可能涉，分布式计尿算技术正引贞领着将不可袜能变为可能费。Skyb衰oxIm戚aging惭就是一个很伍好的例子。天这家公司通则过对卫星图乱片的分析得挂出一些实时腹结果，比如驰说某个城市奖有多少可用掀停车空间，宴或者某个港宫口目前有多玉少船只。它抓们将这些实缘时结果卖给借需要的客户泥。没有这个鸟技术，要想浪快速便宜的座分析这么大椒量卫星图片羞数据将是不汽可能的。如腹图五所示：图五眯分布式计算茎技术是Go停ogle的渠核心，也是漂Yahoo脆的基础，目偷前分布式计炊算技术是基陶于Goog盒le创建的冠技术，但是斯却最新由Y怖ahoo所阶建立。Go抹ogle总含共发表了两驼篇论文，2宁004年发亏表的叫做M叼apRed粮uce的论朴文介绍了如雷何在多计算拳机之间进行呜数据处理;剪另一篇于2梁003年发坦表，主要是李关于如何在爆多服务器上已存储数据。坏来自于Ya伸hoo的工觉程师Dou荡gCut基ting在练读了这两篇独论文后建立俗了分布式计你算平台，以贴他儿子的玩奴具大象命名久。如图六所熄示图六谨而Hado糕op作为一叠个重量级的谊分布式处理派开源框架已刷经在大数据持处理领域有戒所作为午大数据处理幻过程采集析大数据咏的采集是指绸利用多个数起据库来接收挨发自客户端粉（Web、控App或者刷传感器形式洽等）的数据锻，并且用户逃可以通过这赌些数据库来式进行简单的晒查询和处理粪工作。比如顶，电商会使牢用传统的关祥系型数据库峡MySQL亚和Orac我le等来存侍储每一笔事份务数据，除业此之外，R享edis和伯Mongo闹DB这样的折NoSQL锤数据库也常去用于数据的些采集。剃在大数据的柳采集过程中测，其主要特限点和挑战是剃并发数高，但因为同时有棕可能会有成命千上万的用业户来进行访转问和操作，吴比如火车票逮售票网站和霉淘宝，它们叮并发的访问荐量在峰值时箱达到上百万绑，所以需要被在采集端部窃署大量数据物库才能支撑担。并且如何污在这些数据辈库之间进行浪负载均衡和讽分片的确是旋需要深入的非思考和设计良。掉导入/预处谎理直虽然采集端老本身会有很搭多数据库，麦但是如果要们对这些海量胆数据进行有瞒效的分析，间还是应该将宝这些来自前披端的数据导舒入到一个集萄中的大型分圆布式数据库餐，或者分布捉式存储集群图，并且可以割在导入基础作上做一些简惕单的清洗和冷预处理工作畜。也有一些剃用户会在导席入时使用来冒自Twit深ter的S惹torm来稼对数据进行贝流式计算，喝来满足部分玩业务的实时腔计算需求。弄导入与预处陈理过程的特钥点和挑战主箩要是导入的随数据量大，贤每秒钟的导偿入量经常会掏达到百兆，耗甚至千兆级浪别。钱辛统计/分析停统计与分析举主要利用分峡布式数据库局，或者分布罚式计算集群粉来对存储于铁其内的海量骨数据进行普宣通的分析和击分类汇总等笛，以满足大穗多数常见的阳分析需求，急在这方面，略一些实时性恼需求会用到接EMC的G荣reenP申lum、O度racle煌的Exad便ata，以蒸及基于My书SQL的列锹式存储In炭fobri稻ght等，允而一些批处萝理，或者基霸于半结构化冈数据的需求市可以使用H驻adoop堡。馅统计与分析登这部分的主份要特点和挑眼战是分析涉哀及的数据量仪大，其对系盼统资源，特摸别是I/O编会有极大的监占用。挖掘毅与前面堡统计和分析推过程不同的带是，数据挖蜓掘一般没有牧什么预先设比定好的主题拣，主要是在旱现有数据上址面进行基于私各种算法的轮计算，从而齿起到预测（寸Predi无ct）的效较果，从而实糕现一些高级苍别数据分析课的需求。比尿较典型算法斯有用于聚类拖的Kmea恐ns、用于躬统计学习的蠢SVM和用环于分类的N荒aiveB纤ayes，柳主要使用的慰工具有Ha肤doop的指Mahou倡t等。该过瓜程的特点和捆挑战主要是课用于挖掘的倚算法很复杂中，并且计算屡涉及的数据连量和计算量南都很大，常壳用数据挖掘腔算法都以单泉线程为主。隙整个大数据岗处理的普遍纺流程至少应留该满足这四侵个方面的步鸦骤，才能算炉得上是一个膨比较完整的颂大数据处理俊大数据处理锹的核心技术训-Hado缓op颈大数据技术漏涵盖了硬软诵件多个方面饶的技术，目兄前各种技术危基本都独立迈存在于存储够、开发、平肌台架构、数兴据分析挖掘龟的各个相对剪独立的领域载。这一部分阅主要介绍和无分析大数据方处理的核心值技术埋——舌Hadoo按p。吊Hadoo尚p的组成透大数据不同伶于传统类型踢的数据，它索可能由TB库甚至PB级回信息组成，苦既包括结构沈化数据，也补包括文本、岔多媒体等非燥结构化数据锣。这些数据长类型缺乏一煮致性，使得励标准存储技储术无法对大辣数据进行有允效存储，而都且我们也难搞以使用传统纱的服务器和港SAN方法尾来有效地存屿储和处理庞自大的数据量合。这些都决局定了茎“杀大数据迈”秒需要不同的搅处理方法，社而Hado攻op目前正啄是广泛应用毁的大数据处郊理技术。H危adoop宵是一个基于郊Java的羊分布式密集喷数据处理和路数据分析的督软件框架。旋该框架在很忧大程度上受吗Googl侮e在200盾4年白皮书惕中阐述的M唯apRed箱uce的技蚁术启发。H绪adoop位主要组件包顶含如图七：图七点Hadoo眯pCom耐mon：通分用模块，众支持其他H框adoop起模块冲Had端oop烘Dis耻tr否ibu晓te禽dFi坡leSy钞stem（介HDFS）赶：分布式文逗件系统，用扬以提供高流糖量的应用数阶据访问下Hadoo置pYAR谦N：支持工志作调度和集椅群资源管理怜的框架低Hadoo折pMapR长educe设：针对大数恐据的、灵活微的并行数据岂处理框架雹其他相关的忽模块还有：捐ZooKe扔eper：丽高可靠性分岭布式协调系破统吹Oozie聋：负责Ma卷pRedu敢ce作业调巴度质HBase软：可扩展的继分布式数据坡库，可以将才结构性数据喘存储为大表围Hive：颗构建在Ma丹pRude输ce之上的理数据仓库软租件包仪Pig：架乏构在Had后oop之上常的高级数据领处理层悟在Hado幼op框架中岸，最底层的莫HDFS存枣储Hado盟op集群中乞所有存储节震点上的文件旗。HDFS把的架构是基就于一组特定剃的节点构建店的（如图八说），图八幼这些节点包池括一个Na葱meNod明e和大量的凉DataN竹ode。存茎储在HDF调S中的文件足被分成块，丹然后将这些毯块复制到多萍个计算机中插（Data乖Node）蝇。这与传统卡的RAID抢架构大不相爸同。块的大浓小（通常为蕉64MB）怖和复制的块幸数量在创建食文件时由客燕户机决定。博NameN然ode可以费控制所有文书件操作。H国DFS内部爹的所有通信拆都基于标准渔的TCP/逆IP协议。须NameN森ode在H冠DFS内部估提供元数据旱服务，负责与管理文件系手统名称空间章和控制外部仁客户机的访险问。它决定弯是否将文件洪映射到Da叮taNod咸e上的复制敢块上。Da手taNod快e通常以机撞架的形式组骄织，机架通末过一个交换洞机将所有系察统连接起来滔。Ha馅doo牛pM党apR粉ed设uce本是Goo蛇gleM蛙apRed素uce的开事源实现。M握apRed杠uce技术地是一种简洁稿的并行计算钓模型，它在后系统层面解熊决了扩展性晕、容错性等哈问题，通过具接受用户编花写的Map励函数和Re乞duce函牧数，自动地盼在可伸缩的渠大规模集群有上并行执行击，从而可以限处理和分析躲大规模的数叨据[6]。忌Hadoo竟p提供了大叠量的接口和须抽象类，从徐而为Had沾oop应用撤程序开发人效员提供许多均工具，可用享于调试和性落能度量等。窑在Ha恨doo革p应用腐实例中，一俘个代表客户创机在单个主味系统上启动侧MapR甚edu回ce的湾应用程序称绣为JobT锐racke丽r。类似于窄NameN上ode，它轿是Had湖oo忧p集群中汁唯一负责控莲制MapR押educe错应用程序的块系统。在应向用程序提交般之后，将提厌供包含在H偏DFS中的觉输入和输出饰目录。Jo寇bTra拔cke互r使用文件贝块信息（物映理量和位置剥）确定如何侦创建其他T扒askTr恐acker居从属任务。兆MapRe口duce应戒用程序被复毅制到每个出类现输入文件滨块的节点，测将为特定节症点上的每个欧文件块创建撞一个唯一的卧从属任务。狗每个Tas浓kTrac限ker将状筝态和完成信苍息报告给J抚obTra腊cker。干如图显示一业个示例集群殊中的工作分差布，如图九金:图九与Hadoo春p的优点：纹Hadoo浆p能够使用纪户轻松开发默和运行处理瘦大数据的应拐用程序。它励主要有以下担几个优点：高可靠性。逼Hadoo爹p按位存储芽和处理数据川的能力值得骄人们信赖。高扩展性。所Hadoo狂p是在可用精的计算机集滑簇间分配数康据并完成计怜算任务的，倍这些集簇可妄以方便地扩天展到数以千射计的节点中信。高效性。邀Hadoo戒p能够在节抽点之间动态军地移动数据泼，并保证各米个节点的动夜态平衡，因象此处理速度探非常快。高容错性。爷Hadoo辅p能够自动匙保存数据的班多个副本，虑并且能够自枝动将失败的习任务重新分涂配。Had误oop带有化用Java丰语言编写的仇框架，因此串运行在Li金nux生产夸平台上是非仿常理想的。撞Hadoo师p上的应用煌程序也可以早使用其他语抢言编写，比慧如C++。慢熟Hadoo采p的不足灿Hadoo恋p作为一个启处理大数据欣的软件框架赵，虽然受到邪众多商业公引司的青睐，名但是其自身勾的技术特点蒸也决定了它贝不能完全解碑决大数据问舰题。在当前和Hadoo畏p的设计中财，所有的m易etada跪ta操作都锅要通过集中薄式的Nam聚eNode煤来进行，N融ameNo早de有可能行是性能的瓶即颈。当前H拼adoop扒单一Nam版eNode急、单一Jo竭btrac欺ker的设禽计严重制约灶了整个Ha去doop可巧扩展性和可晌靠性。首先莫，Name盗Node和梳JobTr符acker立是整个系统荒中明显的单触点故障源。怠再次，单一抚NameN宣ode的内侍存容量有限眼，使得Ha狗doop集工群的节点数贤量被限制到置2000个骂左右，能支掏持的文件系贤统大小被限盛制在10-意50PB，蝶最多能支持刘的文件数量渡大约为1.揉5亿左右。系实际上，有很用户抱怨其密集群的Na烈meNod占e重启需要后数小时，这断大大降低了决系统的可用瓶性。随着H咐adoop劳被广泛使用控，面对各式荣各样的需求晒，人们期望呜Hadoo陶p能提供更长多特性，比扫如完全可读虹写的文件系忘统、Sna窗pshot烛、Mirr飞or等等。基这些都是当秆前版本的H滤adoop巷不支持，但毯是用户又有邮强烈需求的足。卸主要商业性衫“汇大数据悄”闹处理方案罗“虚大数据粒”样被科技企业爪看作是云计趟算之后的另迁一个巨大商桂机，包括I吩BM、谷歌奉、亚马逊和瞧微软在内的贷一大批知名谱企业纷纷掘臭金这一市场番。此外，很受多初创企业指也开始加入慌到大数据的求淘金队伍中雷。Hado柳op是非结匙构数据库的奉代表，低成急本、高扩展租性和灵活性述等优势使其骗成为各种面确向大数据处塘理分析的商劲业服务方案亿的首选。O防racle咸、IBM、布Micro粗soft三踏大商业数据害提供商是H票adoop辱的主要支持顷者。很多知护名企业都以幕Hadoo微p技术为基渐础提供自己汤的商业性大姻数据解决方酸案。这一部性分主要介绍爪以Hado盯op为基础锹的典型商业病性大数据解刃决方案。借IBMI脂nfoSp街here大犬数据分析平奇台分IBM障于20棚11年锣5月推出求的Info唯Spher贫e大数据分屑析平台是一抱款定位为企中业级的大数握据分析产品掘。该产品包臂括BigI著nsigh阿ts和S歪tream陷s，二者互贤补，Big粱lnsig缘hts基于映Hadoo帝p，对大规柄模的静态数奴据进行分析雄，它提供多笋节点的分布魄式计算，可寒以随时增加猜节点，提升哑数据处理能挂力。St历reams润采用内存计听算方式分析艇实时数据。掌它们将包括和Hadoo抢pMapR毁educe婆在内的开源姜技术紧密地侄与IBM系晶统集成起来惧。研究Ha虽doop这呀样开源技术眉的人很多，胜但是IBM临这次是真正没将其变成了筝企业级的应宗用，针对不紫同的人员增毯加不同的价回值。Inf雷oSphe雪reBig迁Insig务hts吉1.3的存柏储和运算框璃架采用了开从源的Ha寺doo棉pMa告pRed瘦uc宪e，同时针阳对Had搂oo惧p框架进缸行了改造，博采用了IB梢M特有的通家用并行文件般系统兔——乓GPFS。谷利用GPF遥S的目的是竟为了避免单肿点故障，保悼证可用性。揉BigIn轿sight志s中还有两闲个分析产品翅——紫Cogno习s和SPS顽S，这两个扛分析产品在距传统功能上润加强了文本挡分析的功能州，提供了一蠢系列文本分江析工具，并叠使用高级语渗言进行自定夺义规则，如沈文本格式转新换等。目前均BigIn玉sight泳s提供两种疼版本，一种轧是企业版（放Enter翠prise鼠Edit谷ion），饭用于企业级锈的大数据分联析解决方案滔。另一种是甩基础版（B反asic劲Editi萍on），去土掉了企业版节中的大部分尊功能，用户仔可以免费下蹦载，主要提筑供给开发人滤员和合作伙沿伴试用。S喜tre队ams捞最大的特点况就是内存分孟析，利用多窃节点PC服副务器的内存急来处理大批沃量的数据分屡析请求。S奥trea滨ms的特点模就是汪“害小快灵躬”民，数据是实结时流动的，腐其分析反应钻速度可以控示制在毫秒级找别，而Bi园gInsi盏ghts的面分析是批处茄理，反应速牢度无法同S湿trea喘ms相比。妄总体来说，未二者的设计锦架构不同，纺也用于处理娇不同的大数呢据分析需求巴，并可以形素成良好的互籍补。Inf痛oSphe戒re平台仅学仅是IBM富大数据解决皮方案中的一画部分。IB敌M大数据平援台包括4大支部分：信息评整合与治理慎组件、基于留开源Apa卵cheH尺adoop检的框架而实扰现的Bi躺gIn压si丝ght页s平台言、加速器，财以及包含可寇视化与发现奴、应用程序尚开发、系统闹管理的上层州应用。通过练IBM的解陪决方案可以谱看出，解决荷大数据问题统不能仅仅依利靠Hado贫op。绒Ora刺cle衡Big绸Dat先aApp溪lianc敲Oracl骄eBig在Data巷Appl捎iance捧准确地说是些一款硬件产渐品，添加了闷Hadoo鸟p装载器、宰应用适配器隔以及Or庸acle新纤的NoSQ无L数据库，筝主要目的是上为了将非结坏构化数据加乒载到关系型眼数据库中去篮，并对软硬拉件的集成做跑了一些优化渠。Orac长leBi祝gData姥机包括开源岩Apach各eHad侵oop、O许racle损NoSQ脉L数据库、汗Oracl站e数据集成蔽Hadoo宜p应用适配路器、Ora枪cleHa辆do感op装唯载器、Op搁en风Sou粗rce沾Distr村ibuti忆onof讯R、Or陪acle滨Linux范和Orac佩leJa邪vaHo桶tSpot捐虚拟机。它星能够快速、既便捷地与O披racle缠数据库11金g、Ora抓cleE药xadat心a数据库云帆服务器和O炕racle钉Exal糊ytics何商务智能云厌服务器集成看。分析师和缝统计人员可冠以运行现有洞的R应用，谦并利用R客陪户端直接处漠理存储在O卵racle证数据库11知g中的数据标，从而极大旗地提高可扩莫展性、性能脂和安全性。俘Mic育ros至of喂tSQ胳LServ狡er洒微软已经发恭布Hado挣opCo夸nnect军orfor凡SQL渡Ser嫂ver袍Par蚂all欠elDa匙taWa系rehou责se和Ha圆doop术Conne昆ctorf轧orSQ牵LSer饱ver社否区技术预览乘版本的连接栗器。该连接赠器是双向的盟，用户可以久在Hado参op和微软抢数据库服务他器之间向前嘉或者向后迁窄移数据。微带软的SQL毒Serv腾er20晌12将并入鉴Hadoo场p分布式计冠算平台，微任软还将把H痒adoop挥引入Win吧dows壤Serve垂r和Azu掠re（微软信的云服务）深。科Sybas冤eIQ恨Sybas园eIQ是刷Sybas天e公司推出耐的特别为数让据仓库设计沫的关系型数满据库，添加振了Hado目op的集成勺，并提供了炮MapRe率duce的奥API。相话比于传统的爸“里行式存储呆”闭的关系型数闹据库，Sy痕base笔IQ使用了汪独特的列式彻存储方式，斗在进行分析宇查询时，仅叫需读取查询谷所需的列，忆其垂直分区广策略不仅能贫够支持大量董的用户、大患规模数据，途还可以提交章对商业信息本的高速访问妄，其速度可月达到传统的腰关系型数据遵库的百倍甚允至千倍。湾其他弃“辆大数据丧”占解决方案害“绩大数据方”围解决方案并奉非只有Ha狐doop一趟种，许多知它名企业还提添供了其他的辜解决方案。EMC把EMC提落供了两种大振数据存储方校案，即Is晶ilon和衡Atmos卫。Isil藏on能够提诱供无限的横滚向扩展能力轻，Atmo荡s是一款云按存储基础架折构，在内容筛服务方面，谨Atmos烫是很好的解母决方案。在刃数据分析方管面，EMC省提供的解决左方案、提供化的产品是G用reenp红lum，G赠reenp阵lum有两夜个产品，第推一是Gre妙enplu紧mData汇base，邀Green级plumD尝ataba固se是大规壳模的并行成亚立的数据库罪，它可以管徐理、存储、狗分析PB量篮级的一些结遮构性数据，伐它下载的速字度非常高，臭最高可以达烈到每小时1舰0TB扮，速度非常储惊人。这是拍EMC可以渔提供给企业成、政府，用奖来分析海量温的数据。但梳是Gre轨en辉plu银mDat难ab蚊ase泡面对的是结箭构化数据。咽很多数据超予过90涨%是非结东构化数据，片EMC遍有另外一互个产品是G斜reenp膨lumHD想，Gree伟nplum挺HD可以把附非结构化的超数据或者是衣半结构化的鼠数据转换成榨结构化数据涝，然后让G跑reenp黑lumDa粉tabas惠e去处理。日恰BigQu胸ery蜓BigQu项er进y是Go拾ogl玻e推出的估一项We巷b服务，用废来在云端处尸理大数据。睡该服务让开劈发者可以使更用Goo吧gl圣e的架构日来运行SQ侍L语句对超孩级大的数据思库进行操作接。BigQ棵uery允使许用户上传中他们的超大善量数据并通裂过其直接进翼行交互式分揭析，从而不凉必投资建立燕自己的数据缴中心。Go肥ogle曾窝表示Big隔Query佣引擎可以快姜速扫描高达倚70TB未齐经压缩处理均的数据，并征且可马上得票到分析结果随。大数据在梯云端模型具准备很多优势差，BigQ弹uery服钉务无需组织语提供或建立拔数据仓库。竖而BigQ绳uery在贼安全性和数耐据备份服务剑方面也相当蒸完善。免费母帐号可以让用用户每月访视问高达10倾0GB的数姑据，用户也释可以付费使匠用额外查询己和存储空间同。诸大数据义”搞与科技文献振信息处理滚“犯大数据些”炎目前主要指盲医学、天文擦、地理、W威eb日志、乱多媒体信息恒等数据，鲜锯有提及文献小信息。事实坝上，现在的垫科技文献信肚息日益凸显水出匙“检大数据死”羡的特征，主初要表现在以君下几个方面启：更新周期咏缩短；数量值庞大；文献扮的类型多样池；文献载体津数字化；文百献语种多样叛化；文献内缩容交叉；文剑献信息密度掩大。科技文常献中所含的汽信息类型多吴样，既有结惭构性数据，映也