MongoDB概述与存储结构

1、mongoDB的概述与存储结构汇报人：汇报人：2021-12-191第一章第一章 mongoDB概述概述第二章第二章 存储体系结构存储体系结构背后的故事背后的故事硬实力硬实力软实力软实力Contents目目录录崛起的法宝崛起的法宝2021-12-192背后的故事1崛起的法宝2第一章 mongoDB概述2021-12-193背后的故事Web2.0来袭1.互联网应用用户量剧增互联网应用用户量剧增2.数据量呈几何级数增长数据量呈几何级数增长3.高并发的读写高并发的读写2021-12-194背后的故事RDBMS的困境1.数据库并发负载高数据库并发负载高2.海量数据存储和访问海量数据存储和访问3.数据库

2、数据越来越大数据库数据越来越大4.事务管理的负担事务管理的负担5.对关系型数据库读对关系型数据库读/写实时性的忽略写实时性的忽略6.多表关联查询被弱化多表关联查询被弱化 2021-12-195背后的故事NoSQL的崛起NoSQL全称是全称是Not Only Sql，指的是非关系型的数据库。，指的是非关系型的数据库。NoSQL数据库主要数据库主要应用于应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。分布式、开源、水平可扩展、配置简单、非关系型等特点。存储类型存储类型N

3、oSQL产品产品特性特性列式存储Hbase、CassandraHypertable按列存储数据，最大的特点是方便存储结构和半结构化数据，方便做数据压缩，针对某一列或者某几列的查询有非常大的 I/O 优势键值存储Redis、TokyoCabinetTokyo Tyrant、Flare可以通过键快速查询到值。一般来说，存储不管值的格式，照单全收文档式存储MongoDB、CouchDB文 档 存 储 一 般 用 类 似JSON 格式存储，存储的内容是文档类型的，这样也就有机会对某些字段建立索引，实现关系型数据库的某些功能对象式存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的

4、方式存取数据2021-12-196背后的故事mongoDB的前世今生 2007年年10月，月，MongoDB由由10gen团队所发展，团队所发展，2009年年2月月首度推出首度推出 MongoDB是一个介于关系数据库和非关系数据库之间的是一个介于关系数据库和非关系数据库之间的产品产品 MongoDB 是由是由C+语言编写的开源数据库系统语言编写的开源数据库系统 MongoDB服务端可运行在服务端可运行在Linux、Windows或或OS X平台，平台，支持支持32位和位和64位应用位应用2021-12-197崛起的法宝vs RDBMS2021-12-198崛起的法宝数据模型MongoDB 数据

5、库是一个面向集合且模式自由的文档类型数据库。数据库是一个面向集合且模式自由的文档类型数据库。1. 面向集合面向集合面面 向向 集集 合合 是是 指指 数数 据据 被被 分分 组组 存存 在在 在在 数数 据据 集集 中中 ， 被被 称称 为为 一一 个个 集集 合合（Collencton=table）。集合类似于关系型数据库的表（）。集合类似于关系型数据库的表（table） ,不同于表的不同于表的是，集合不需要定义任何模式，集合在存储文档，一个文档类似于关系型数是，集合不需要定义任何模式，集合在存储文档，一个文档类似于关系型数据库的一条记录。在据库的一条记录。在 MongoDB 中，要操作一个

6、表并不需要创建它，可以直接中，要操作一个表并不需要创建它，可以直接往集合中插入数据，如果集合不存在，它会自动创建这个集合。往集合中插入数据，如果集合不存在，它会自动创建这个集合。2. 模式自由模式自由模式自由就是对存储在模式自由就是对存储在 MongoDB 数据库中的数据，我们不需要知道它是什么数据库中的数据，我们不需要知道它是什么结构（可以是任何的文档）。结构（可以是任何的文档）。3. 文档型文档型文档型存储的数据是键值对的集合，键是字符串，值可以是数据类型集合中文档型存储的数据是键值对的集合，键是字符串，值可以是数据类型集合中的任意类型，包括数组和文档。我们把这个数据格式称为的任意类型，包

7、括数组和文档。我们把这个数据格式称为 BSON （Binary Serialized Document Notation）2021-12-199崛起的法宝功能性1.完整的索引支持：可以对文档创建索引，甚至还可以对内嵌文档以及数组完整的索引支持：可以对文档创建索引，甚至还可以对内嵌文档以及数组创建索引。创建索引。MongoDB 的查询优化器会自动分析查询语句，然后生成一个高的查询优化器会自动分析查询语句，然后生成一个高效的查询集合。效的查询集合。2.动态查询：动态查询： MongoDB 的查询指令使用的查询指令使用 JSON 形式，使查询表达式变得非常形式，使查询表达式变得非常丰富，还可以非常容

8、易地查询文档中的内嵌对象和数组。丰富，还可以非常容易地查询文档中的内嵌对象和数组。3.查询监视：查询监视： MongoDB 提供了很多性能监视工具，用于分析数据库操作的提供了很多性能监视工具，用于分析数据库操作的性能。性能。 2021-12-1910崛起的法宝功能性（续）4.复制及自动故障转移：复制及自动故障转移：MongoDB 数据库支持服务器之间的复制，从节点可以复数据库支持服务器之间的复制，从节点可以复制主节点的数据，主节点的所有对数据的操作都会同步到从节点。从节点的数据制主节点的数据，主节点的所有对数据的操作都会同步到从节点。从节点的数据跟主节点的数据是完全一样的，以作备份。主节点发生

9、故障之后，从节点可以升跟主节点的数据是完全一样的，以作备份。主节点发生故障之后，从节点可以升级为主节点，也可以通过从节点对故障主节点进行数据恢复。级为主节点，也可以通过从节点对故障主节点进行数据恢复。5.高效地传统存储方式：支持二进制数据及大型对象（如视频），可以高效地传统存储方式：支持二进制数据及大型对象（如视频），可以将图片文件甚至视频转换成二进制的数据存储到数据库中。将图片文件甚至视频转换成二进制的数据存储到数据库中。6.自动分片以支持云级别的伸缩性：自动分片以支持云级别的伸缩性： 可以水平扩展数据库集群，动态添可以水平扩展数据库集群，动态添加片（服务器）。加片（服务器）。2021-12

10、-1911崛起的法宝其他招式1.拓展功能强大2.便于管理3.适用于多种场合2021-12-1912硬实力1软实力2第二章 存储结构2021-12-1913HDDSSD随机访问(IOPS)12512000 (100 x)顺序读写(Throughput)100MB/s200MB/s (2x)VS.硬实力磁盘数据的存储总离不开磁盘，因此数据的存储总离不开磁盘，因此mongodb的数据存储设备当然也只能是磁的数据存储设备当然也只能是磁盘。官方建议采用盘。官方建议采用SSD固态硬盘。固态硬盘。mongodData fileSSD Journal HDDLog HDD优化的IO部署方案数据IO：随机访问为

11、主 x: 12 DiskLoc: xxRead: DiscLoc: xxDisckLoc: xx123无冗余写性能一般写入速度慢条带化+镜像性能好 + 数据冗余建议的RAID Level硬实力存储引擎存储引擎是数据库管理系统的一个重要组成部分。它的主要职责就是负责存储引擎是数据库管理系统的一个重要组成部分。它的主要职责就是负责把数据存储到硬盘和把数据从硬盘检索出来。把数据存储到硬盘和把数据从硬盘检索出来。MySQLMySQL和和RiakRiak均支持多个不均支持多个不同的存储引擎。不同的存储引擎对不同的应用需求有特别的优化。如某个同的存储引擎。不同的存储引擎对不同的应用需求有特别的优化。如某个

12、存储引擎可以是专为高并发写设计的，而另一个则是为高压缩率设计从而存储引擎可以是专为高并发写设计的，而另一个则是为高压缩率设计从而达到节省磁盘空间的目标。达到节省磁盘空间的目标。mongoDBmongoDB默认采用的存储引擎是操作系统底层提供的内存映射文件（默认采用的存储引擎是操作系统底层提供的内存映射文件（MMAPMMAP）（至今也只有一种）。（至今也只有一种）。2021-12-1918硬实力内存映射物理内存物理内存010000硬盘硬盘480200480虚拟内存虚拟内存100000200 mmap()Page fault, 10ms页面不在内存，缺页中断 10ms页面已在内存, 50us123

13、4硬实力故障恢复u复制集一个典型的集群结构如下：Shards每一个shard包括一个或多个服务和存储数据的mongod进程（mongod是MongoDB数据的核心进程），典型的每个shard开启多个服务来提高服务的可用性。这些服务/mongod进程在shard中组成一个复制集。硬实力负载均衡2021-12-1921软实力数据类型null 布尔布尔 ture|false整数整数 123浮点浮点 12.3字符串字符串 “hello world”对象对象ID 用 new ObjectId（）来申明。 日期日期 用 new Date（）来申明时间戳时间戳数组数组 “apple”,”blanan”,”p

14、ear”内嵌文档内嵌文档 “username” : “jone”, “age”: 13, “contact” : “home”:”123”,”moblie”:”456”RegExp 正则表达式 /a-z/2021-12-1922数字型表示MongoDB对整型数字的存储分两个级别，一个32位的，一是64位的。浮点数MongoDB仅支持64位的双精度浮点数。整数表示法：64位浮点数表示法：0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0001mongo内部内部, 所有数字都是用所有数字都是用lo

15、ng存储存储, 所以单个数字是所以单个数字是8字节字节2021-12-1923字符型表示MongoDB的所有字符均采用UTF-8编码。UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。2021-12-1924日期表示日期类型存储是从标准纪元开始的毫秒数，不存储时区。JavaScript中，Date对象用作MongoDB的日期类型，由于JavaScript本身的特性，创建一个Date

16、对象时，通常会调用new Date()而不是使用Date()。因为调用Date()实际返回的是对日期的字符串表示，而不是真正的Date对象。格式：“date”:new Date() 2021-12-1925ObjectID详解不同的机器都能用全局唯一的同种方法方便的生成它。ObjectId使用12字节的存储空间，其生成方式如下：4e931cb6edcd881e1900017f时间戳 机器ID PID 计数器时间戳保证秒级唯一，机器ID保证设计时考虑分布式，避免时钟同步，PID保证同一台服务器运行多个mongod实例时的唯一性，最后的计数器保证同一秒内的唯一性。2021-12-1926字符串表示

17、由于字符采用的UTF-8编码，目的就是为了实现字符串的可变格式和可变长度。0标识字符 串长度字符串内容参考：http:/ = 长度长度(4字节字节) + 字符串字符串(n字节字节) + (1字节字节)2021-12-1927BSON格式存储例：a:12BSON结构如下： Len | vtype |key|0| v | E 长度 | value类型 | key |0 | value|结束符号 4| 1 | 1 |1| 2 |1 = 10字节2021-12-1928软实力文件在MongoDB内部，每个数据库都包含一个.ns文件和一些数据文件，而且这些数据文件会随着数据量的增加而变得越来越多。所以如

18、果系统中有一个叫做test的数库，那么构成test这个数据库的文件就会由test.ns，test.0，test.1等等组成。其中*.ns是包含命名空间的文件，保存该数据库数据的相关信息。*.0和*.1是数据文件。32位系统的MongoDB服务器每一个Mongod实例只能使用2G的数据文件。这是由于地址指针只能支持32位。2021-12-1929命名空间在数据文件内部，每个数据库都是按照命名空间组织的，一种类别的数据与其他类别的分开存放。每个集合的文档都有自己的命名空间，索引也是。命名空间的元数据存放在数据库的 .ns 文件中。每个命名空间的数据都被分成若干组，放到数据文件的某一区域内，这个区域

19、称为数据域。在图 中可以看到数据库 foo 有 3 个数据文件，其中第 3 个是预分配的空文件。前两个数据文件被分成几个数据域，属于几个不同的命名空间。2021-12-1930软实力存储过程2021-12-1931下图展示了数据库是如何跟底层系统打交道的虚拟地址空间2021-12-1932内部文件格式在名字空间文件中，保存了每个名字空间的存储信息元数据，包括其大小，块数，第一块位置，最后一块位置，被删除的块的链表以及索引信息2021-12-1933块结构各个Extent(块)采用双链表的形式连接2021-12-1934块和记录各个文档数据也是采用双链表的形式连接2021-12-1935块相关特

20、性1.每一条记录在块内从4的倍数的字节处开始2.块的大小不会动态扩增3.尽量数据不跨块，但若记录的大小大于一个块的大小，必然会跨块4.相似记录计量保持在同一个块中2021-12-1936软实力选择查询MySQL: SELECT * FROM userMongo: db.user.find()MySQL: SELECT * FROM user WHERE name = foobarMongo: db.user.find(name : foobar)2021-12-1937MySQL: INSERT INTO user (name, age) values (foobar,25)Mongo: db

21、.user.insert(name : foobar, age : 25)if you want add a column email on MySQL,you must : ALTER TABLE user.But in Mongo,you can just: db.user.insert(name : foobar, age : 25, email : )软实力插入2021-12-1938 MongoDB在执行插入时，首先，会将插入的数据转换成BSON格式；然后，MongoDB数据库会对BSON进行解析，并且检查是否存在“_id”键（_id键在插入数据库时MongoDB会自动生成）。MongoDB还对文档的大小做了限制。1.8之前的版本，文档不能超