大数据与NOSql概述

1、信息技术部信息技术部大数据与大数据与NOSql概述概述(2016年12月18日)主要内容主要内容 大数据的大数据的4V特征特征 大数据的系统要求大数据的系统要求 大数据的典型架构大数据的典型架构 大数据的应用大数据的应用 大数据的发展大数据的发展主要内容主要内容大数据的定义大数据的定义大数据（大数据（big data），指无法在一定时间范围内用），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，常规软件工具进行捕捉、管理和处理的数据集合，是需要是需要新处理模式新处理模式才能具有才能具有更强的决策力、洞察更强的决策力、洞察发现力发现力和和流程优化能力的海量、高增长率和多样流程

2、优化能力的海量、高增长率和多样化的信息资产。化的信息资产。在维克托在维克托迈尔迈尔-舍恩伯格及肯尼斯舍恩伯格及肯尼斯库克耶编写的库克耶编写的大数据时代大数据时代2 中中大数据指不用随机分析法大数据指不用随机分析法（抽样调查）这样捷径（抽样调查）这样捷径，而，而采用所有数据进行分采用所有数据进行分析处理析处理。大数据的大数据的4V特征特征 Volume（海量）、（海量）、Variety（多样）、（多样）、Velocity（实时）、（实时）、Value(价值价值)海量海量数据量巨大，对数据量巨大，对TB、PB数据级的处理，数据级的处理， 已经成已经成为基本配置。为基本配置。多样多样处理多样性的数据

3、类型，处理多样性的数据类型，结构化数据和非结构化结构化数据和非结构化数据数据，能处理，能处理Web数据，能处理语音数据甚至是图像、视数据，能处理语音数据甚至是图像、视频数据。频数据。实时实时在客户每次浏览页面，每次下订单的过程中都存在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时在，都会需要对用户进行实时的推荐，决策已经变得实时价值价值价值密度低，商业价值高。一条数小时的监控视价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中发掘出频，可能有用的数据仅有一两秒。能从海量数据中发掘出这些数据，将成为企业竞争力的重要来

4、源。这些数据，将成为企业竞争力的重要来源。大数据的系统需求大数据的系统需求 高新能（高新能（ High performance ）高并发读写高并发读写实时动态获取和更新数据实时动态获取和更新数据 海量存储（海量存储（Huge Storage ）海量数据的高效率存储和访问海量数据的高效率存储和访问类似类似SNS网站网站 高可扩展性和高可用性高可扩展性和高可用性（ High Scalability & High Availability ）需要拥有快速横向扩展能力需要拥有快速横向扩展能力能提供能提供7*24小时不间断服务小时不间断服务大数据典型架构大数据典型架构大数据典型架构大数据典型架构

5、大数据典型架构大数据典型架构数据计算用时对比数据计算用时对比 离线计算离线计算 流式计算流式计算 实时计算实时计算 大数据的应用大数据的应用大数据与互联网大数据与互联网大大交易数据：来自电商的数据，包括交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等、团购等大交互数据：来自社交网络的数据，大交互数据：来自社交网络的数据，SNS、微博等、微博等两类数据有效融合将是大势所趋两类数据有效融合将是大势所趋，更，更能增强企业的商业洞察力能增强企业的商业洞察力大数据的应用大数据的应用大数据与金融大数据与金融银行银行大数据的应用大数据的应用大数据与金融大数据与金融保险保险大数据的应用大数据的应用

6、大数据与金融大数据与金融证券证券 股价预测股价预测 客户关系管理客户关系管理 投资景气指数分析投资景气指数分析大数据的发展大数据的发展什么是什么是NoSQL？ NoSQL是是Not Only SQL的缩写，而不是的缩写，而不是Not SQL； 它不一定遵循传统数据库的一些基本要求，比如它不一定遵循传统数据库的一些基本要求，比如SQL标准、标准、ACID属性、表结构等等。属性、表结构等等。 相比传统数据库，叫它相比传统数据库，叫它分布式数据管理系统分布式数据管理系统更贴切，更贴切，数据存储被简化更灵活，重点被放在了分布式数据管数据存储被简化更灵活，重点被放在了分布式数据管理上。理上。 NoSQL

7、数据库主要应用于数据库主要应用于web2.0的大规模系统，的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。开源、水平可扩展、配置简单、非关系型等特点。易扩展易扩展 NoSQL数据库种类繁多；数据库种类繁多； 共同的特点都是去掉系型特性；共同的特点都是去掉系型特性； 数据之间无关系，容易横向扩展；数据之间无关系，容易横向扩展； 甚至可以甚至可以NoSQL之间的整合。之间的整合。数据模型灵活数据模型灵活 无需事先为要存储的数据建立字段无需事先为要存储的数据建立字段 随时可以存储自定义的数据格式

8、随时可以存储自定义的数据格式高可用高可用 NoSQL在不太影响性能的情况，就可以方便的实现高可用的在不太影响性能的情况，就可以方便的实现高可用的架构。比如架构。比如Cassandra，HBase模型，模型，通过复制模型也能实通过复制模型也能实现高可用。现高可用。大数据量，高性能大数据量，高性能NoSQL数据库都具有数据库都具有非常高的读写性能非常高的读写性能，尤其在大数据量下，尤其在大数据量下，同样表现优秀。这同样表现优秀。这得益于它的无关系性，数据结构简单得益于它的无关系性，数据结构简单。 分布式数据系统的分布式数据系统的CAP原理的三要素：原理的三要素：一致性一致性 (Consistenc

9、y) 可用性可用性 (Availability) 分区容忍性分区容忍性 (Partition tolerance)NOSql的的CAP原理实现：原理实现：在分布式系统中，三个要素最多只能同时实现两点在分布式系统中，三个要素最多只能同时实现两点 考虑考虑CP，主要是一些，主要是一些Key-Value数据库，典型代表为数据库，典型代表为Google的的Big Table，将各列数据进行排序存储。数据值按范围分布在多台机器，数据，将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。更新操作有严格的一致性保证。考虑考虑AP，主要是一些面向文档的适用于分布式系统的数据库，

10、如，主要是一些面向文档的适用于分布式系统的数据库，如Amazon的的Dynamo，Dynamo将数据按将数据按key进行进行Hash存储。其数据分片存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性模型有比较强的容灾性，因此它实现的是相对松散的弱一致性最终最终一致性一致性NoSQL的两个核心理论基础：的两个核心理论基础：Google的的BigTableBigTable将将各列数据进行排序存储；各列数据进行排序存储；数据值按范围分布在多台机器；数据值按范围分布在多台机器；数据更新操作有严格的一致性保证。数据更新操作有严格的一致性保证。Amazon的的DynamoDynamo使

11、用的是另外一种分布式模型；使用的是另外一种分布式模型；模型更简单，模型更简单，将数据按将数据按key进行进行hash存储；存储；其数据分片模型有比较强的容灾性；其数据分片模型有比较强的容灾性；实现的是相对松散的弱一致性实现的是相对松散的弱一致性(最终一致性最终一致性)。存储类型存储类型NoSQL产品产品特性特性列式存储列式存储Hbase、CassandraHypertable按列存储数据，最大的特点是方便存储结构按列存储数据，最大的特点是方便存储结构和半结构化数据，方便做数据压缩，针对某和半结构化数据，方便做数据压缩，针对某一列或者某几列的查询有非常大的一列或者某几列的查询有非常大的 I/O

12、优势优势键值存储键值存储Redis、TokyoCabinetTokyo Tyrant、Flare可以通过键快速查询到值。一般来说，存储可以通过键快速查询到值。一般来说，存储不管值的格式，照单全收不管值的格式，照单全收文档式存储文档式存储MongoDB、CouchDB文文 档档 存存 储储 一一 般般 用用 类类 似似JSON 格式存储，格式存储，存储的内容是文档类型的，这样也就有机会存储的内容是文档类型的，这样也就有机会对某些字段建立索引，实现关系型数据库的对某些字段建立索引，实现关系型数据库的某些功能某些功能对象式存储对象式存储db4oVersant通过类似面向对象语言的语法操作数据库，通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据通过对象的方式存取数据NOSql使用情况使用情况DB-Engines 发布了发布了 2016 年年 12 月份的数据库排名月份的数据库排名 综合来看，综合来看，NoSQL数据库正在逐渐地成为数据库领域数据库正在逐渐地成为