MongoDB概述与存储结构

大数据处理系统

——存储管理mongoDB1大数据的存储平台大多采用NoSQ数据库系统，它能充分利用分布式计算机平台的特点，具有更好的存储和访问效率。NoSQL的崛起2023/6/292NoSQL全称是NotOnlySql，指的是非关系型的数据库。NoSQL数据库主要应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。存储类型NoSQL产品特性列式存储Hbase、CassandraHypertable按列存储数据，最大的特点是方便存储结构和半结构化数据，方便做数据压缩，针对某一列或者某几列的查询有非常大的I/O优势键值存储Redis、TokyoCabinetTokyoTyrant、Flare可以通过键快速查询到值。一般来说，存储不管值的格式，照单全收文档式存储MongoDB、CouchDB文档存储一般用类似JSON格式存储，存储的内容是文档类型的，这样也就有机会对某些字段建立索引，实现关系型数据库的某些功能对象式存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据mongoDB简介3MongoDB是一个介于关系数据库和非关系数据库之间的产品MongoDB是一个开源的、模式自由的、面向文档存储的、分布式的数据库MongoDB是由C++语言编写的开源数据库系统MongoDB服务端可运行在Linux、Windows或OS

X平台，支持32位和64位应用数据模型4MongoDB数据库是一个面向集合且模式自由的文档类型数据库。1.面向集合面向集合是指数据被分组存在在数据集中，被称为一个集合（Collencton==table）。集合类似于关系型数据库的表（table）,不同于表的是，集合不需要定义任何模式，集合在存储文档，一个文档类似于关系型数据库的一条记录。在MongoDB中，要操作一个表并不需要创建它，可以直接往集合中插入数据，如果集合不存在，它会自动创建这个集合。2.模式自由模式自由就是对存储在MongoDB数据库中的数据，我们不需要知道它是什么结构（可以是任何的文档）。3.文档型文档型存储的数据是键值对的集合，键是字符串，值可以是数据类型集合中的任意类型，包括数组和文档。我们把这个数据格式称为BSON（BinarySerializedDocumentNotation）功能性51.完整的索引支持：可以对文档创建索引，甚至还可以对内嵌文档以及数组创建索引。MongoDB的查询优化器会自动分析查询语句，然后生成一个高效的查询集合。2.动态查询：MongoDB的查询指令使用JSON形式，使查询表达式变得非常丰富，还可以非常容易地查询文档中的内嵌对象和数组。3.查询监视：MongoDB提供了很多性能监视工具，用于分析数据库操作的性能。

功能性64.复制及自动故障转移：MongoDB数据库支持服务器之间的复制，从节点可以复制主节点的数据，主节点的所有对数据的操作都会同步到从节点。从节点的数据跟主节点的数据是完全一样的，以作备份。主节点发生故障之后，从节点可以升级为主节点，也可以通过从节点对故障主节点进行数据恢复。5.高效地传统存储方式：支持二进制数据及大型对象（如视频），可以将图片文件甚至视频转换成二进制的数据存储到数据库中。6.自动分片以支持云级别的伸缩性：可以水平扩展数据库集群，动态添加片（服务器）。其他特征71.拓展功能强大2.便于管理3.适用于多种场合MongoDB的适用场景MongoDB的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的RDBMS系统（丰富的功能）架起一座桥梁，集两者的优势于一身。（1）网站数据：MongoDB非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。（2）缓存：由于性能很高，MongoDB也适合作为信息基础设施的缓存层。在系统重启之后，由MongoDB搭建的持久化缓存层可以避免下层的数据源过载。（3）大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。8MongoDB的适用场景（4）高伸缩性的场景：MongoDB非常适合由数十或数百台服务器组成的数据库。MongoDB的路线图中已经包含对MapReduce

引擎的内置支持。（5）用于对象及JSON数据的存储：MongoDB的Bson数据格式非常适合文档化格式的存储及查询。9Mo骄ng济oD浆B与MS嫁S伐QL摄S药er兽ve霉r的语蔬句对够照——选择估查询My斗SQ读L:SE弄LE泻CT烟*啦F雀RO米M采us适erMo痰ng摄o:db姑.u甲se悠r.曲fi排nd嚼()My扫SQ腿L:SE批LE摆CT僻*兆F脚RO甚M阿us趁er妹W互HE进RE甜n贯am客e肉=清'f弯oo陈ba汤r'Mo理ng联o:db郊.u勇se吨r.描fi趟nd通({暖'n山am辟e'断:恳'喇fo如ob矩ar熔'}美)20狂23帖/6泽/2哀610My晋SQ烘L:IN筋SE拣RT猎I绒NT翠O智us头er耀(彩`n废am搁e`脊,枝`a跌ge岁`)华v沈al驰ue赢s殊('齿fo贵ob斥ar第',辰25戒)Mo权ng景o:db健.u唤se东r.舒in长se烈rt羽({鼠'n数am疮e'赞:油'偷fo乘ob缓ar滥',认'语ag堤e'参:棉2漫5}发)if排y矩ou科w剥an努t叛ad据d湖a择c愉ol震um孝n誓`e抗ma厌il连`匆on药M耗yS凑QL棉,y堵ou发m小us食t吹:AL熊TE惧R率TA狡BL滥E丙us链er谊….Bu搏t捧in共M脸on灵go赶,y偷ou叶c健an桑j绢us粪t:db蜜.u校se迁r.煤in谈se直rt晚({郑'n隙am时e'矮:哨'冶fo共ob颤ar找',鸟'药ag织e'热:仁2虎5,贤'串em更ai辅l'歪:启'沫fo诞o@饱ba汗r.颜co急m'纷})Mo叔ng峰oD降B与MS壁S基QL包S携er旋ve吹r的语外句对抹照——插入1112Mo块ng传oD持B在执迎行插趋入时呈，首滋先，箱会将现插入吗的数礼据转逼换成BS码ON格式页；然后后，Mo矛ng篮oD霸B数据绝库会锯对BS罩ON进行剩解析芽，并碌且检缩慧查是馒否存萍在“_i表d”键（_i馅d键在芒插入肉数据考库时Mo例ng将oD狐B会自顾动生开成）臭。Mo歇ng愉oD流B还对成文档爽的大泳小做侍了限灾制。1.谎8之前爪的版离本，费文档椒不能杆超过4M晓B；1.成8之后浪的版提本支奥持16禾MB。除京了这弄些之惭外，状没有蹄别的超数据掠校验夺，就芝是简厕单的爹将文钥档原钱样存葛入数走据库葬中。谷这样承做的敬坏处埋是允衔许插批入无拼限数坦据；拦好处遭就是蔽不会么受到嗓注入由式攻都击，豪让数历据库芽更加乡丰安全凤。Mo然ng邪oD拴B在记始录长率度变防化后屿，发孝现当控前记讨录所竞在空便间后隆面没若有空崖余的已空间创可供狡其变绍长。灶那么涌这条盛记录守就会草被删桂除然亩后移犬动到浑数据程集的乡丰最后杯。My注SQ愧L:DE沸LE真TE窑*沾F棋RO提M云us称erMo村ng斧o:db导.u语se萄r.爆re朝mo太ve香({赖})My倦SQ杯L:DE亩LE买TE雕F神RO钞M乱us攀er眉W蔑HE东RE排a渴ge倡<蹄3装0Mo申ng贱o:db芽.u薪se骨r.亭re私mo粒ve仿({桥'a醒ge烛'仓:怜{$互lt武:梦3拨0}木})$g州t测:子>头;惊$g封te垃:希>凤=茂;萝$l债t脊:践<上;赠$l饰te姥:塞<溜=伙;这$n幼e充:冒!=Mo脖ng弃oD捆B与MS倚S靠QL亮S疾er浊ve侄r的语在句对蛇照——删除13删除叛原理14位置毕通过Di格sk刚Lo写c数据担结构枝进行雀存储仍，存持储了游数据扫文件爷编号侧和块脖在文洪件中尚的位姓置，负删除灶的块彻或者速域都腥会在Dl江et陆ed读Li忆st中标牺记，按并不糊是直果接抹忧掉。My租SQ盈L:UP红DA芬TE锈u皮se控r蹦SE耕T抢`a称ge悔`桶=永36括W侄HE萌RE扫`券na院me这`剪=跟'f妥oo办ba枝r'Mo昨ng跃o:db型.u前se妄r.弦up占da湾te武({登'n慰am墓e'启:千'说fo答ob认ar嘴'}宏,远{$歇se悟t趋:访{'神ag熊e'单:吨3朝6}萝})My裹SQ抢L:UP句DA壮TE敬u锐se范r底SE妨T跟`a该ge惩`映=腔`a耍ge疮`得+捕3傲WH直ER燃E建`n阴am蔑e`久=画'花fo惜ob肠ar底'Mo非ng脑o:db控.u附se唤r.振up捆da州te惨({腾'n灿am耕e'凝:箱'域fo造ob容ar蛇'}挺,胞{$衫in少c慨:阻{'宏ag示e'垃:趟3假}}笑)Mo滩ng汤oD协B与MS筛S晚QL干S柏er存ve舟r的语有句对她照——更新15大数平据处牙理系他统——分析Hi纲ve基于键分布吵式计仿算平友台上瓣的数柜据分项析工杂具包住括Ap们ac搬he谱P激ig、Hi窃ve、Ap妹ac走he捷K映yl布in、Rh创ad坊oo组p等。16Hi板ve定义Hi瘦ve是建慨立在Ha沾do王op上的醒数据南仓库佩基础稳构架血。它即提供刘了一抓系列罪的工捕具，告可以淘用来五进行醒数据万提取颂转化固加载稼（ET洞L），筐这是在一种镜可以忙存储贞、查饮询和欺分析铁存储到在Ha俊do吓op中的铲大规耗模数绕据的眠机制衔。Hi选ve定义查了简题单的丝式类SQ岛L查询遣语言且，称夕为HQ巷L，它伟允许顺熟悉SQ片L的用题户查满询数嫌据。贼同时因，这鱼个语暂言也旺允许鞭熟悉Ma括pR池ed景uc渗e开发着者的辅开发仿自定羞义的ma倡pp诸er和re批du速ce搭r来处田理内装建的ma混pp闷er和re猪du羊ce辞r无法眉完成殖的复绢杂的倘分析卖工作终。Hi谷ve没有械专门引的数眉据格碗式。Hi厕ve可以线很好沙的工帐作在Th丹ri清ft之上厚，控投制分控隔符指，也扒允许筛用户扬指定馆数据北格式戚。17Hi康ve的适故用场慢景Hi它ve构建送在基束于静烫态批厨处理援的Ha峡do喜op之上分，Ha毙do库op通常鸽都有男较高逗的延哈迟并体且在有作业导提交男和调投度的伍时候贞需要奋大量歼的开踏销。详因此四，Hi堵ve并不宁能够阳在大典规模者数据萌集上营实现吸低延肢迟快唤速的前查询旧，例杆如，Hi蛮ve在几哈百MB的数苗据集兄上执回行查狭询一袖般有饶分钟糕级的昏时间倦延迟革。因挣此，Hi尘ve并不劝适合青那些验需要惰低延光迟的榜应用普，例岁如，表联机中事务晕处理疗（OL忧TP）。Hi作ve查询武操作粥过程邻严格陵遵守Ha臂do浩op太M助ap衣Re征du与ce的作本业执贡行模迷型，Hi嫂ve将用宽户的Hi穿ve筒QL语句煮通过壳解释牵器转与换为Ma捐pR脸ed趟uc逢e作业陈提交润到Ha声do育op集群饼上，Ha恶do枝op监控街作业左执行限过程与，然证后返丑回作池业执棵行结双果给须用户垦。Hi尚ve并非笼为联师机事顿务处奖理而服设计柏，Hi雷ve并不皂提供烧实时喉的查湖询和卸基于虽行级钟的数吵据更排新操划作。Hi秀ve的最浸佳使磨用场针合是旋大数浴据集董的批强处理辆作业且，例露如，吹网络斑日志蔬分析迫。18Hi乡丰ve的设芹计特帅点支持籍索引损，加夕快数铅据查吵询。不同糟的存姥储类室型，局例如杂，纯蛛文本谋文件所、HB乎as理e中的监文件改。将元清数据法保存偶在关纽奉系数庸据库凳中，影大大乖减少康了在工查询泊过程破中执数行语鄙义检闷查的蜘时间秋。可以尾直接相使用什存储磁在Ha光do晕op文件嘴系统河中的壤数据精。内置欧大量禽用户径函数UD滥F来操恋作时蜘间、吩字符混串和叮其他坑的数搂据挖弹掘工努具，千支持蚂用户产扩展UD仁F函数南来完眠成内添置函件数无忧法实切现的切操作透。类SQ习L的查尝询方吊式，竹将SQ爱L查询辞转换埋为Ma蚀pR畅ed矛uc驶e的jo疲b在Ha煤do狂op集群略上执纲行。19hi械ve的技众术架不构20ha伴do储op和ma场pr援ed或uc异e是hi景ve架构的根让基。Hi榜ve架构铸包括时如下织组件：CL肿I（co熔mm馋an胳d育li讽ne辨i穗nt缓er助fa滋ce）、JD掌BC摊/O茂DB吹C、Th示ri绪ft颗S莲er危ve加r、WE联BGU迈I、me页ta买st类or得e和Dr盖iv屡er我(C避om伸pl威ie制r、Op净ti英mi凑ze转r和Ex埋ec捞ut出or翁)，这聪些组古件我可以厉分为涛两大绪类：赵服务溜端组蜂件和慨客户端费组件泡。服务匀端组想件：Dr勾iv势er组件：该阻组件朱包括Co巡寿mp垃li难er、Op运ti裂mi缎ze惰r和Ex崭ec呆ut梢or，它灭的作访用是郊将我线们写叮的Hi家ve燥QL（类SQ街L）语梢句进煮行解它析、貌编译拦优化出，生狮成执呜行计造划，播然后裳调用灰底层居的ma踪蝶pr蒸ed伏uc艘e计算仍框架钥。Me繁ta宵st推or护e组件：元箭数据酸服务泽组件东，这辜个组顽件存问储hi况ve的元智数据驻，hi届ve的元哨数据辜存储咏在关卖系数陕据库季里，hi盏ve支持邻的关承系数顾据库羽有de鹿rb雁y、my玩sq呢l。元斯数据茫对于hi软ve十分雀重要猎，因鹊此hi撑ve支持诸把me活ta弓st苗or野e服务颗独立鸭出来貌，安舱装到闯远程娘的服哲务器疯集群总里，桶从而渣解耦hi圆ve服务酬和me读ta小st担or顺e服务天，保欣证hi津ve运行足的健节壮性粒，这湖个方瞒面的提知识觉，我裕会在梢后面晓的me阵ta搂st临or但e小节贼里做针详细滋的讲致解。Th校ri另ft服务：th涝ri车ft是fa窝ce属bo捉ok开发税的一冤个软斩件框肃架，请它用塘来进洒行可米扩展删且跨避语言敲的服颜务的女开发械，hi勤ve集成闭了该皮服务论，能赌让不缝同的遣编程怒语言接调用hi韵ve的接胀口。21客户巴端组艺件：CL郊I：co蕉mm吸an局d歌li热ne女i宁nt抗er腹fa立ce，命着令行极接口挣。Th哭ri斯ft客户述端：上末面的全架构多图里游没有棍写上Th耳ri嗓ft客户味端，膝但是hi泄ve架构损的许艳多客惜户端涉接口米是建悦立在th匀ri咬ft客户魔端之墨上，缴包括JD语BC和OD详BC接口嫌。WE扒BG你UI：hi谣ve客户渐端提伴供了滨一种霞通过妨网页惧的方贝式访圾问hi忙ve所提荒供的签服务蜂。这陈个接道口对含应hi能ve的hw胳i组件证（hi鲜ve拌w娱eb劝i校nt巡寿er活fa振ce），旁使用冒前要傍启动hw办i服务旺。22Hi躬ve常用幅优化床方法jo齐in连接活时的议优化侮：当自三个上或多劫个以最上的融表进栽行jo耀in操作季时，复如果府每个on使用盲相同鼠的字舱段连食接时忠只会牙产生服一个ma东pr担ed兼uc幸e。jo兴in连接怖时的稠优化捐：当梢多个乌表进催行查略询时悼，从统左到趋右表收的大旷小顺奴序应天该是槽从小恭到大歪。原丛因：hi狼ve在对医每行正记录圈操作尤时会智把其灯他表超先缓四存起仿来，岂直到秧扫描狐最后磁的表耽进行淡计算在wh鸡er仍e字句承中增习加分润区过笼滤器旬。当可察以使惭用le币ft幸s肆em裤i熄jo粥in语法匹时不暴要使叼用in焦ne沙r挪jo熔in，前多者效挤率更样高。堂原因壁：对进于左工表中灿指定少的一架条记旱录，库一旦济在右嘉表中矩找到吩立即究停止围扫描偶。如果贵所有货表中戴有一绑张表忍足够享小，拘则可务置于权内存秒中，稍这样侦在和狐其他墓表进丝式行连洲接的笛时候究就能拦完成猴匹配闹，省煌略掉re画du术ce过程共。设绣置属教性即赔可实地现，se喉t桶hi凯ve弓.a趋ut申o.撞co炊ve柔rt薪.j准oi讲n=棍tr推ue渴;用户夹可以草配置统希望报被优吊化的亦小表言的大机小se瓶t杀hi汤ve府.m日ap本jo旦in捧.s唤ma票ll幼ta猫bl证e