《大数据及其应用》课件-4.7 NoSQL数据库技术

数据存储与管理大数据及其应用Part7NoSQL数据库NoSQL构成的混合数据存储成为趋势NoSQL数据库的种类文档数据库图数据库键值数据库列族数据库键值数据库相关产品Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached数据模型键/值对键是一个字符串对象值可以是任意类型的数据，比如整型、字符型、数组、列表、集合等典型应用涉及频繁读写、拥有简单数据模型的应用内容缓存，比如会话、配置文件、参数、购物车等存储配置和用户数据信息的移动应用优点扩展性好，灵活性好，大量写操作时性能高缺点无法存储结构化信息，条件查询效率较低不适用情形不是通过键而是通过值来查：键值数据库根本没有通过值查询的途径需要存储数据之间的关系：在键值数据库中，不能通过两个或两个以上的键来关联数据需要事务的支持：在一些键值数据库中，产生故障时，不可以回滚使用者百度云数据库（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Redis和Memcached）、StackOverFlow（Redis）、Instagram

（Redis）、Youtube（Memcached）、Wikipedia（Memcached）键值数据库键值数据库文档数据库文档数据库相关产品MongoDB、CouchDB、Terrastore、ThruDB、RavenDB、SisoDB、RaptorDB、CloudKit、Perservere、Jackrabbit数据模型键/值值（value）是版本化的文档典型应用存储、索引并管理面向文档的数据或者类似的半结构化数据比如，用于后台具有大量读写操作的网站、使用JSON数据结构的应用、使用嵌套结构等非规范化数据的应用程序优点性能好（高并发），灵活性高，复杂性低，数据结构灵活提供嵌入式文档功能，将经常查询的数据存储在同一个文档中既可以根据键来构建索引，也可以根据内容构建索引缺点缺乏统一的查询语法不适用情形在不同的文档上添加事务。文档数据库并不支持文档间的事务，如果对这方面有需求则不应该选用这个解决方案使用者百度云数据库（MongoDB）、SAP（MongoDB）、Codecademy

（MongoDB）、Foursquare（MongoDB）、NBCNews（RavenDB）文档数据库

一个XML文档

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://localhost:9000/hbase</value>

</property></configuration>关系数据库必须有schema信息才能理解数据的含义学生（学号，姓名，性别，年龄，系，年级）（1001，张三，男，20，计算机，2002）特性能够将它自己的数据的内容和类型进行自我描述文档数据库存储数据如下所示{"ID":1,"NAME":"SequoiaDB","Tel"：{"Office":"123123","Mobile":"132132132"}"Addr":"China，GZ"}更好的并发性文档数据库可以完整包含在一个文档里，具有较好的并发性。在对数据进行更新时，只需要锁定一个文档就可以把相关数据修改掉文档数据库的数据结构JSON数据格式文档数据库使用者百度云数据库（MongoDB）缺点缺乏统一的查询语法典型应用存储、索引并管理面向文档的数据或者类似的半结构化数据相关产品MongoDBCouchDBTerrastore优点性能好（高并发），灵活性高提供嵌入式文档功能，将经常查询的数据存储在同一个文档中01020304050607数据模型就是一个键值本质上是一个键值数据库只不过值（value）是版本化文档列族数据库列族数据库行键（RowKey）列族（ColumnFamily）列限定符（Qualifier）时间戳（Timestamp）单元（Cell）列族数据库（以HBase为例）列族数据库数据模型

列族列族数据库使用者Ebay（Cassandra）、Twitter（CassandraandHBase）、Facebook（HBase）、Yahoo（HBase）缺点功能较少，大都不支持强事务一致性不适用情形需要ACID事务支持的情形Cassandra等产品就不适用典型应用分布式数据存储与管理数据在地理上分布于多个数据中心的应用程序可以容忍副本中存在短期不一致情况的应用程序拥有动态字段的应用程序相关产品BigTableHBaseCassandra优点查找速度快、可扩展性强、容易进行分布式扩展、复杂性低01020304050607图数据库图计算是专门针对图结构数据的处理1.许多大数据都是以大规模图或网络的形式呈现2.许多非图结构的大数据也常常被转换为图模型进行分析3.图数据结构很好地表达了数据之间的关联性4.关联性计算是大数据计算的核心，通过获取数据的关联性，可以从噪音很多的海量数据中抽取有用的信息图数据库图数据库缺点数据模型应用范围非常有限典型应用专门用于处理具有高度相互关联关系的数据比较适合于社交网络、模式识别、依赖分析、推荐系统以及路径寻找等问题相关产品Neo4jCisco（Neo4J）T-Mobile（Neo4J）优点灵活性高，支持复杂的图形算法可用于构建复杂的关系图谱01020304