云计算与大数据技术 课件 第13 章 NoSQL 数据库

NoSQL数据库简介NoSQL数据库简介在早期，由于Web站点访问量和并发量相对较小，关系数据库足以应对。在云计算和大数据盛行的今天，情况发生了改变。像社交网络服务（SNS）这样的大型动态网站，不仅要应对超大规模的流量和高并发，还要满足瞬间成千上万次的读/写操作需求。在这种情况下，传统的关系数据库（如MySQL、Oracle、MicrosoftSQLServer等）往往会在磁盘I/O上遇到性能瓶颈。NoSQL数据库简介NoSQL并不意味着“没有SQL”，而是指非关系数据库。它的核心理念是：在适合使用关系数据库的场景中使用关系数据库，但在不适合使用关系数据库的场景中，可以考虑使用更合适的数据存储方案。NoSQL数据库没有统一的模型，它们是非关系型的，并且具有多种多样的架构。常见的NoSQL数据库（1）键值数据库解决关系数据库无法存储数据结构的问题，主要适用于对全局数据进行快速查找的低延时、高性能场景，以Redis为代表。（2）列式数据库

解决关系数据库在大数据场景下的I/O问题，主要适用于数据量比较大或对数据进行联机分析处理（OLAP）和聚合统计的场景，以HBase为代表。常见的NoSQL数据库（3）文档数据库

解决关系数据库强Schema（表结构）约束的问题，主要适用于动态模式变更和支持敏捷开发的场景，以MongoDB为代表。（4）图数据库

使用图作为存储模型来存储数据，可以高效存储不同顶点之间的关系，比较适用于解决社交网络、模式识别及路径寻找等问题，以Neo4j为代表。NoSQL数据库分类

键值数据库键值数据库通过Key-Value的形式来存储数据，Key和Value可以是简单的对象，也可以是复杂的对象。其主要应用场景包括内容缓存，如会话、配置文件、参数、购物车、游戏、广告、物联网应用等；频繁读写，如拥有简单数据模型的应用等。

键值数据库范例列式数据库列式数据库是按照列族（ColumnFamily）来存储数据的数据库。列族是指经常被一起查询的相关数据。列式数据库最大的特点是方便存储结构化和半结构化数据，方便进行数据压缩，对针对某一列或某几列的数据查询有非常大的I/O优势。列式数据库每个列族存储在HDFS上的一个单独文件中（实现按列存储），Key和VersionNumber在每个列族中均有一份，空值不会被保存。文档数据库文档数据库也被称为面向文档的数据库或文档存储，是在文档中存储信息的数据库。文档数据库进行数据存储的最小单位是文档，一个文档相当于关系数据库中的一条记录。同一个表中存储的文档属性可以是不同的，可以采用XML、JSON或JSONB等多种格式存储数据。NoSQL数据库简介文档数据库中的每个文档都是自包含的数据单元，是一系列数据项的集合。文档是以字段-值对（Field：Value）的形式存储数据的。值的类型和结构可以有多种，包括字符串、数字、日期、数组等。文档的存储格式可以是JSON、BSON（二进制形式的JSON）和XML。图数据库图数据库是一种存储图形关系的数据库，它利用图这种数据结构存储了实体（对象）之间的关系。图数据库典型的例子就是社交网络中人与人的关系、知识图谱中文档的引用等。数据模型主要是以节点和边（关系）来实现的，其特点在于能高效地解决复杂的关系问题。图数据库Neo4j是一个使用Java实现的高性能NoSQL开源图数据库。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络（从数学角度称为图）上而不是表中。图数据库关系数据库查询和图数据库查询图数据库图数据库的应用场景如下。（1）社交网络领域。例如，微信、微博、抖音、快手、钉钉、Facebook、Twitter、Linkedin等使用图数据库来管理好友社交关系，查找共同好友，实现好友推荐、舆情追踪的功能。（2）电商领域。例如，淘宝、京东等使用图数据库分析产品和客户之间的关系，进行商品实时推荐、精准营销，给买家更好的购物体验等。零售商超公司通过分析商品门店与供应商之间的关系来优化供应链。（3）金融领域。例如，在线支付、网络银行，支付网络、支付关系或转账关系，资金流向识别、信用卡反欺诈等都可以使用图数据库做风控处理。图数据库（4）电信领域。例如，使用图数据库分析不同呼叫方式的网络模型进行电信防骚扰、电信防诈骗。（5）网络安全领域。例如，使用图数据库进行攻击溯源和调