大数据存储与处理第二讲

大数据的三个关键问题Google的大数据技术Google的业务：PageRank三大法宝1第二讲大数据的关键技术文件存储数据分析数据计算数据存储平台管理数据集成数据源Database

Web

Log…现代数据处理

能力组件现代数据处理框架

三大关键问题

3V计算存储｝容错｝｝三大关键问题存储计算容错存储问题

解决大数据存储效率的两方面：–

容量–

吞吐量

容量–

单硬盘容量提升：MB

→

GB

→

TB

→

┈–

系统整体容量提升：DAS、NAS、SAN

吞吐量

=

传输数据量

/

传输时间–

单硬盘吞吐量提升：转速、接口、缓存等–

节点吞吐量提升：RAID、专用数据库机提升吞吐量

RAID：Redundant

Array

of

Inexpensive

Disks，冗余磁盘阵列–

把多块独立的硬盘按一定的方式组合起来形成一个硬盘组，从而实现高性能和高可靠性–

RAID0：连续以位或字节为单位分割数据，并行读/写于多个磁盘上，提升吞吐量Source:

三大关键问题存储计算容错多核技术

Moor定律：当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。

采用多核（Multi-core）技术提升IPC，从而突破性能提升瓶颈。指令数主频IPS

MF

IPC

多处理器技术

多处理器技术的核心：

按处理器之间的关系可以分为两类：

1

F

1

F/

N

非对称多处理器架构（ASMP）––––不同类型计算任务或进程由不同处理器执行简单，操作系统修改小低效早期过渡性架构对称多处理器架构（SMP）––––所有处理器完全对等计算任务按需分配高效普遍采用并行模式独立并行–两个数据操作间没有数据依赖关系––可以采用独立并行的方式分配给不同的处理器执行例：两个独立数据集的Scan操作流水线并行–多个操作间存在依赖关系，且后一个操作必须等待前一个操–作处理完后方可执行将多个操作分配给不同处理器，但处理器间以流水线方式执行–例：Scan

→

Sort

→

Group分割并行–数据操作的输入数据可以分解为多个子集，且子集之间相互独立–分割为若干独立的子操作，每个子操作只处理对应的部分数据，并将这些子操作配到不同的处理器上执行–例：

Scan

→

Merge并行脆系统创架构共享骂内存拦（S肌ha抄re垃dMe燃mo碗ry蜓，S爸M）–多个设处理养器，凝多个般磁盘镰，一俗个共辜享内存填，通备过数涂据总种线相谱连–处理碧器间庙共享构全部绩磁盘汁和内速存–––结构撞简单灵，负痛载均朴衡数据沃总线累成为吵瓶颈甘，可辫扩展诵性较条差，共享裂内存冤单点缺故障适合镇处理惭器较贺少（验≤8脉）的魔小规亩模并行数枣据库共享呢磁盘临（S坐ha繁re洁dDi层sk惯，S荷D）–多个定处理法器，晴每个恒处理扫器拥连有独稼立内存脂，多固个磁神盘，卵处理默器与掠磁盘峰通过数底据总政线相退连–––处理蚂器间割共享技全部悠磁盘容错之性提仔高共享决磁盘示成为脾性能调瓶颈庄，需汪要额屯外维护纸内存沿与磁属盘间桥的数伸据一凝致性无共臣享（滚Sh握ar描edNo揪th悉in丑g，然SN国）–每个鉴处理暗器拥疏有独铸立的豆内存茂和若盆干磁庙盘，通过伯高速遇网络吃相连–处理摊器独扎立处善理所涉管理淋的数肠据–––––数据酸传输帐量小绩，效雷率高可扩亲展性笛强节点诉间交蜡换数皮据开偿销较晨大适合攻处理廉器数指量较盟大的样大规笼模并碑行系越统后期喂发展油的主虾流三大滋关键题问题存储计算容错数据容错RA艇ID恩单节精点数日据冗辟余存锤储–RA肝ID成0：棒并行你磁盘–RA票ID喷1：体镜像狗冗余–RA险ID盼10诱：R覆AI汪D1妖+R勒AI衡D0–RA乏ID节5：曾校验渠冗余So坚ur招ce禾:集群混多节约点数绳据冗姓余存宁储计算牧任务腾容错计算革任务很容错喷的关滑键问捎题：–故障话监测–计算汗数据师定位撇与获潜取–任务拒迁移Go妹og错le抚是如派何解内决其大数据辛处理嫂的三匹个关晋键性锤问题苍的?我们摆需要浊先了倒解Go珍og条le的业冷务特层点。14Go俗og挑le的大活数据泰技术19草9519咬9619蒸9719爆9920个0120去0320炎0520确0720涉0920呈11..汁.19耕9820首0020倾0220用0420剥0620永0820经1020洗12当佩员奇遇踏见布林合作款开发Ba生ck握Ru至b搜索劳引擎命名Go寄og趣leGo右og循le公司冲成立首名哪专用厨师蛋入职建立哀10洒亿网址秩的索引图片即搜索+3遇0亿殃网址索沙引商品剑+新闻+肠AP浊I开始纸收购+G茫oo东gl奔e图书80颂亿网谜址索引售+上都市+学桥术搜寒索地图+T捡al物k+分析Yo拨uT车ub触e+G木oo床gl撇eAp徐psGm爆ai户l+街景+A蒙nd盛ro撕idHe件al鞋th罢+iP栋ho窄ne应用社交仙网络搜索牺+实吧时地图惧导航革+搜索收购讨Mo兼to手机误+投平板还电脑资能仓源++G李oo删gl刻e应用骡商店眼镜Go浴og洲leGo虚og赚le获最重蹲要的铁业务今？搜索Ad乏Wo牲rd器sGo仙og端le乞发展辰史Go拍og忘le滥之前便的搜劫索目录踢型搜政索：万Ya苏ho幻玉o!–收集关：人弄工分扫类–索引幸：主升题–使用会：目冈录结秆构–优点膜：准诵确率游高–缺点血：覆灰盖率句低索引危型搜抖索：谣Al跃ta银Vi强st跌a–收集崭：自爷动爬洒取（冲Sc趟oo稻te趁r）–索引骗：自摸动标革记–使用努：输怎入关晶键词临搜索–优点侄：覆血盖率习高–缺点句：准估确率上低覆盖留率VS腐.准确简率：席鱼与之熊掌杀不可刷兼得维？Go或og故leGo集og捉le们的自尼我揭饼秘！核心法算法–La悠wr妈en斑cePa坛ge,Se雾rg芝eyBr挨in,et赏.al胆.,Th灯ePa铃ge誉Ra炒nkCi逐ta计ti碍onRa镰nk记in继g:Br剥in狸gi栗ngOr船de遍rtoth浸eWe何b.Te圣ch闭ni颜ca珠lRe鲁po酒rt提,St惹an工fo猎rdIn贪fo燥La旱b,19蹈99梅.(6要88己1)三大末法宝–Sa耕nj命ayGh俗em闲aw抚at续,Ho祸wa这rdGo已bi佩of长f,et碌.al塞.,Th蛮eGo针og敢lefi芹lesy播st讽em,Pr鞠oc嫁ee宴di丛ng异softh凶eNi药ne络te标en屈thAC私MSy挡mp梁os贞iu其monOp唐er歪at羽in疯gSy藏st踪蝶em银sPr貌in悟ci怖pl量es啦,20逢03摇.(3秤91情1)–Je岔ff妨re艰yDe描an,Sa巧nj对ayGh兴em躲aw屯at情,Ma炊pR晃ed破uc相e:Si焰mp蠢li落fi应edDa受taPr略oc领es经si挂ngonLa使rg查eCl您us普te脚rs,Si胖xt搅hSy绢mp谜os丹iu梅monOp亮er婆at近in船gSy渗st刑emDe蔽si块gnan胳dIm寄pl拥em键en冻ta何ti知on触,20豆04够.(9匆56舌9)–Fa晨yCh惩an松g,Je港ff校re某yDe蛙an,et辜.al象.,Bi尺gt皇ab朗le:ADi严st吼ri启bu因te纠dSt肆or怒ag为eSy卧st赚emfo幕rSt尿ru饶ct堆ur赔edDa页ta县,Se程ve晌nt与hSy杯mp估os孙iu馒monOp跪er屡at杰in成gSy乐st阵emDe铲si欺gnan豪dIm骨pl超em煌en愿ta努ti瞒on蛇,20弓06范.(2珠55朵8)灵魂血肉搜索穗结果怠如何只排序坛！佩奇食（P受ag齐e）墓，斯稠坦福–整个裁互联饶网就欧像一虏张大某的图源，每原个网拔站就桨像一威个节乐点，每个宋网页叉的链杆接就队像一响个弧慢。我袭想，英互联鲜网可垮以用响一个图或第者矩镇阵描尚述，垂我也葱许可休以用饥这个朱发现呈做篇筋博士山论文谣。算法份的图锻论表菠述01/牵201/倒20001/哄201/喂200010000011/弓31/铸31/吧300n1n2n3n4n5Pa览ge纽奉Ra贫nk目（9湿）–算法疗的计垒算问册题如何亩计算涝10麻亿、冤10热0亿绒个网长页？行列爆数以李亿为蕉单位她的矩恨阵相拥乘！Go哑og浴le喂三大狡法宝赛之一臭：M毯ap贡Re蒜du菠ce矩阵劳乘法惭串行考实现1:fo嘴ri=赤1;蒜i<虾=N谈;i滚++2:fo障rj=池1;趣j<快=N颠;j园++3:4:5:6:fo股rk=朽1;第k<激=N泪;k运++C[魄i]宇[j煤]+=A[削i]缴[k参]*嗽B[朋k]休[j民]en吼dfo坏ren做dfo补r7:en赌dfo丝式r算法桐复杂舞度：粉O(话N3)以1哈次乘纱法需虎要1决个时远钟周四期，型计算怀10俯亿维悔度矩沈阵为例，绣使用膝1G略的C续PU悼，需瞒要的赠计算师时间始为：t=10迈亿×10乳亿×10蛋亿/10能亿=31桥7年报！是否挥OK卡？想办堵法解醉决大抽规模拢矩阵翅相乘礼问题才：我知拆Cm=AmⅹBM台煤服务慎器并蹄行计治算，键时间纹降低浑为1偶/MCABC1CmCMA1AmAM=ⅹ想办沃法解坑决大吩规模那矩阵醉相乘支问题钥：我民再拆Cm,爷n=AmⅹBnMⅹM驶台服是务器席并行慕计算副，时陵间降堵低为鱼1/需M2CABA1AmAM=ⅹC1,红1Cm,拉1CM,渔1B1BnBM子任大务子任皆务子任悲务…拆的予本质堵－分而萄治之分而杆治之–Di央vi喇dean名dCo攻nq理ue惯r–一个瞧大的窗计算姿任务炸分解恐为若略干小凯计算颂任务–子任叼务计飘算结警果合或并后胡获得评最终迹结果计算归任务Di红vi渠deCo次nq嚼ue台r计算蜘结果Ma运pR兼ed母uc功e的跑来源编程言模型言：–19央56后年J理oh卫nMc肚Ca衔rt布hy屈（图既灵奖哗获得做者）策提出侍的L敌is脾p语艰言中拳的Ma勤p/察Re杆du派ce推方法–Ma介p输投入是腿一个遍函数波和n仍个列轰表，斧输出变是一悔个新堆的列均表，容列表爷中的椅元素疯是将输炊入函袖数作钟用在奇n个窗输入手列表碧中每满个对帖应元腰素获倡得的减计算夫结果失。–Re朝du贺ce妈输入扒是一悲个函条数和黄一个扛列表滨，输只出是绞将函返数依失次作姐用于飞列表袋的每个元梁素后仿获得蹈的计长算结便果(m疼ap'v盼ec绢to旷r#*#(殿12345)#(屑54321)->#(摄58985)(r荐ed则uc获e#'吧+#(妇58985)颜)->35Li姨sp孙中的疯Ma雁p和斑Re机du决ce挡操作Ma先pR若ed哈uc靠e原议理Ma卸pR拐ed叉uc卷e机父制主控永程序布（M塘as皱te韵r）情：将反Ma饰p和夸Re僚du封ce谨分配查到合艰适的净工作睁机上工作糟机（晚Wo点rk暂er徐）：名执行翁Ma管p或储Re离du绍ce殊任务Ma绵pR差ed落uc五e不睬仅仅趣是编扰程模世型!让程漫序员冬在使家用M酿ap乖Re漂du湖ce饿时面选对以问下细沾节问减题？–大数局据如零何分现割为反小数善据块可？–如何端调度思计算绑任务泰并分展配和恩调度混ma驰p和障re天du命ce写任务骂节点顺？–如何航在任狭务节炕点间钳交换仙数据案？–如何秘同步直任务胀？–相互漂依赖仔的任谋务是习否执凉行完厨成？–任务炊节点唱失效奸时该洲如何更处理虹？Go踪蝶og磁le超的M薪ap换Re言du雄ce良是一盼个完终整的棕计算兽框架–程序社员只蚁需要奶编写凶少量谱的程咱序实赖现应猫用层肆逻辑程序所示例欣：W斧or腐dC盐ou呢nt#i颤nc帖lu倚de"m是ap时re考du萍ce撒/m机ap评re飞du盖ce合.h独"cl广as率sWo偷rd默Co境un屿te可r:pu蝴bl绩icMa乌pp盟er{pu界bl伤ic嫂:vi妖rt听ua毙lvo告idMa嗓p(谅co己ns李tMa基pI尺np耳ut路&in任pu始t){co康ns赖tst填ri粘ng母&te沉xt=in毫pu屿t.啄va克lu赶e(耐);co享ns经tin舍tn=te庸xt反.s色iz糊e(记);fo粥r(i寨nti=0;i<n;){wh愈il显e((旋i<n)&&is邪sp蔑ac龙e(厘te摇xt滨[i历])耕)i+怠+;in合tst苗ar祥t=i;wh泳il狂e((雷i<n)&&!i叶ss哲pa帅ce害(t悉ex耻t[防i]絮))i+瓶+;if(s济ta和rt<i)Em倍it耐(t阀ex收t.耀su狱bs呀tr访(s窗ta住rt堵,i信-s鉴ta闻rt溪),胸"1昂")购;}}钻};RE府GI肿ST相ER庸_M梯AP办PE呆R(终Wo榴rd率Co英un宏te能r)关;cl筐as婶sAd贺de哄r:pu出bl腹icRe芝du半ce坝r{vi汪rt助ua密lvo浙idRe槐du绿ce丧(R耳ed允uc蓝eI并np茫ut鸭*in概pu青t){in敌t6年4va蚕lu脑e=0;wh压il诉e(!预in蜡pu狂t-渔>d湿on呀e(筝)){va疮lu仿e+=St亦ri露ng幼To稍In海t(逮in池pu夹t-绕>v标al罢ue陈()扑);in围pu她t-姥>N平ex蚀tV怕al固ue逗()尺;}Em茄it悟(I态nt威To猜St害ri添ng钻(v那al争ue侧))缓;}}旅;RE不GI另ST喇ER先_R拔ED堡UC奶ER暑(A内dd坟er闷);in草tma愧in雷(i岩ntar睡gc株,ch挤ar回**ar下gv流){Pa圈rs酬eC组om驳ma眉nd颜Li仁ne稿Fl什ag江s(岭ar短gc姥,ar青gv扁);Ma域pR兽ed栏uc尚eS约pe仓ci饮fi底ca剩ti床onsp柿ec佳;fo腿r(i届nti=1;i<ar讯gc放;i+近+){Ma稀pR筒ed班uc妖eI查np散ut义*in宴pu喘t=sp档ec川.a陶dd蜜_i介np侍ut吴()错;in陈pu杏t-修>s渠et煎_f抗or遭ma堵t(驴"t唉ex姜t"容);in突pu千t-间>s乘et清_f某il执ep贵at愈te挡rn绵(a穷rg建v[巴i]少);in饱pu蛾t-附>se拍t_尤ma嫩pp眼er沈_c毫la转ss("兴Wo笑rd果Co多un恳te票r"乡丰);}Ma邻pR嘴ed刻uc隔eO浊ut雹pu声t*ou停t=sp拣ec沫.o鞭ut汇pu潜t(胖);ou羡t-椒>s造et澡_f脏il膝eb昏as风e(钳"/洲gf担s/够te柳st换/f谊re贵q"咱);ou惭t-佩>s维et淋_n惧um反_t买as畏ks穷(1咸00妇);ou牺t-打>s吓et搭_f厨or剖ma荷t(强"t近ex鞭t"植);ou隔t-意>se艇t_唇re捷du启ce好r_渡cl吐as该s("滑Ad年de客r"谢);ou骆t-蹄>s耳et阿_c桨om者bi说ne潜r_秋cl慈as吹s(秤"A盐dd访er词")衣;sp暗ec括.s纲et尚_m浮ac腹hi标ne女s(壤20撑00阻);sp棉ec钳.s当et捐_m循ap者_m宅eg保ab祸yt删es窗(1山00成);sp预ec牵.s仿et胃_r五ed庙uc消e_材me拆ga谣by墨te删s(棚10诞0)到;Ma定pR等ed壁uc蔑eR砌es鞋ul绩tre好su存lt匙;if(!怠Ma新pR漫ed硬uc凑e(川sp呢ec厦,&r作es棍ul宽t)震)ab狮or困t(赌);re荷tu膏rn0;}Go衬og猜le伤三大舍法宝眠之二敬：G绳FSGF颤S简支介GF光S–Go侄og慌leFi蚂leSy滋st驾em耻，G族oo玻gl伐e自四有的观分布匆式文曾件系统为什禾么需带要G扬FS龙？–已有策多种蜂分布筋式文思件系职统（肾NF解S、铅AF串S、著DF首S、译…）–Go换og体le艺特有参的环苏境与锡负载吧需要Go役og葱le浴特有头的数痕据和怀计算Go很og舞le欲处理史的主隆要数烘据–爬取钞的网删页–网站袍访问社日志–其他臭相对叹独立曾的数依据数据朝计算琴的期居望结雨果–词频参统计–倒排问索引–网页沃文档陈的链设接图–网站况页面辽数量套统计特点–单个乖计算昂简单–数量咳庞大–数据愉相对井独立GF巡寿S支暖持大母容量用集文群方映式提野升系北统整任体容夜量Go绣og致le粗的第利一台迎服务茶器（斗19售98便）In笑te查lCP猛U+ID克E硬项盘xGF企S支主持高饭吞吐锹量Go吐og拦le耕处理松的数免据特似点–抓取车网页残并存殿储：彼顺序专写入两，极番少发临生随起机写衬的情痒况–分析效网页梯内容档：文横件写焰入后丈，只萌会发逗生读农的操鸣作，贤不会览再修宵改GF是S实壁现高妇吞吐虑量的收两个床关键尿点：①顺序白写入序，顺啄序读肠取，炊避免妨随机疮读写文件蹄传输培效率疤公式SE振EK_TI株MEbl排oc款k_si川ze/SP墓EE霉DSE茫EK_TI龙ME1tr升an他s_ti按metr贷an榨s_ti笨meSE竖EK_TI雕MEef衬fe伶ct西数80井GSA域TA准硬盘随机秩读558.客2②数据缴以远掩大于蛋操作育系统妻文件飞块的辆基本供单元郊进行旺存储贼（64较MBvs孝.51偏2B）GF强S支茂持容型错问题臣：大抄量廉当价P野C组赵件构宗成的脏集群引作为多硬件熔基础驳，单被节点枯故障侮率较愉高Go另og愚le妖的第显一台伸服务喘器（某19脑98薄）In完te父lCP火U+ID犬E硬弓盘集群治多节益点数剩据冗堵余存撒储GF绳S系玩统架森构客户盯端（踪蝶Cl柱ie荡nt肤）GF枝S提虾供给阀上层骄应用缴使用犯的一组接错口库上层融应用搅通过嚷调用笋接口坐库中的接渡口实廉现G左FS鹿系统荡中的锯文件管理适合馆自身夹应用桌的简码单接新口主控季节点裤（M喇as虹te香r）管理划节点唯一禾性保存融元数锯据调配贵块服瓦务器块服锡务器阻（C屿hu桃nkSe梯rv艘er久）存储肚数据巷块（暮Ch摸un橡k）多个固定雷块大疫小（两默认利64予MB素）数据由库多构节点哪冗余漆备份讨论裂：分疫析一雅下，GF川S的文并件读惨写流拢程大奴致应烫该是肤怎么验样的蚊？①②③④⑤计算酷索引前：客信户端宝将应叠用提偶供的饭文件聋名和衰字节禽偏移活通过寻固定销文件钱块大怖小进粗行计跪算后丽获得肚块索听引传递喂索引爆：客冬户端索将文辛件名遗称和围块索岂引发材送给乘主控砍节点返回孟位置财：主嫌控节成点将构用于姻访问付文件葡块的吸块句甜柄和调文件赔块所丝式在的走块服独务器外位置民返回恰给客劲户端访问妻数据穷：客恰户端拢将位识置信套息进久行缓幼存，伴并访兔问离涛自己片距离怎最近已的块陈服务夺器返回市数据欺：被规访问踏的块桥服务胃器将蚊数据点返回坑给客漆户端GF友S读笨数据守流程②①③④⑤Go税og怪le宰三大萝法宝因之三邀：B锈ig凝Ta塌bl坊e简单赏搜索终框背兴后的瓦复杂击工作1.Cr递aw受le馆r从增UR全L服驾务器予提取厦地址垦进行透遍历捧查找2.获取昏文档俊do万cs,建军立文闷档d涝oc浩ID珍s,进虹行分宇析、枯压缩3.存储莫到文圆档数剩据库4.索引贿器为庭do恐cs须建立斑顺排疼索引似和倒才排索题引5.索引喊数据容存储割到集弦群中建立谷索引响应参请求1.2.3.4.5.对请牌求进抛行预侵处理您，包擦括拼王写检咐查、找附加哀广告坦等GW群S向灵索引扩服务怠器发尚送查教询关尿键字索引阴服务侄器根狸据关锋键字块查找呜匹配屡文档茶并向做GW桶S返命回d氧oc王ID卖sGW照S将业do创cI认Ds哭传给默文档婶服务呜器，府获得松文档GW芝S将闯查询宜结果抽文档揭以H栗TM富L形布式返悉回给蒙用户为什垮么需广要B沟ig纯Ta屿bl肝e？GF枝S的庭局限轮性：因文件泛系统登，不虎适合高结构聪化数卧据的则存储秧和访役问结构权化数炮据？近使用瓶DB耐2、倍SQ剂LS帖er皱ve绣r、弓My叼SQ旁L之存类的凯数据质库系悼统？非也认！因妨为：–存储纹数据痒的多休样性砍与复坚杂性孙：UR雾L、姥网页懂内容勤、用职户数裳据等–海量穴的处层理请澡求–成本傻与控气制力Bi洒gT饶ab陪le证的目切标：–适应坝各种晴不同倒类型渗的数爷据和记应用–随时尚增加鸦和减种少处好理节睛点的直可扩疲展性筐和自恢动平蜘衡能意力–PB阀级数珠据环窄境下托的高乱吞吐沟量和丧高并境发（划百万厚级T四PS摔）–连续厨服务弓的高背可用段性和兽容错孕性–架构够与使厅用的桌简洁泊性Bi唤gT恒ab郑le赏数据院模型Bi烈gT逢ab晓le雨：是忆一个繁经过牵排序苗后的分布上式的、稀疏的、多维龟映射