大数据与NOSql概述

1、信息技术部,大数据与NOSql概述 (2016年12月18日),主要内容,大数据概述 大数据的定义 大数据的4V特征 大数据的系统要求 大数据的典型架构 大数据的应用 大数据的发展,主要内容,Nosql概述 什么是NoSQL NoSQL的优势和不足 NoSQL的CAP理论实现 NoSQL数据模型及分类,大数据的定义,大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代2 中大数据指不用随机分析法（抽样

2、调查）这样捷径，而采用所有数据进行分析处理。,大数据的4V特征,Volume（海量）、Variety（多样）、Velocity（实时）、Value(价值) 海量数据量巨大，对TB、PB数据级的处理， 已经成为基本配置。 多样处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。 实时在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时 价值价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中发掘出这些数据，将成为企业竞争力的重要来源。,大数据的系统需求,高新能（ High

3、performance ） 高并发读写 实时动态获取和更新数据 海量存储（Huge Storage ） 海量数据的高效率存储和访问 类似SNS网站 高可扩展性和高可用性 （ High Scalability & High Availability ） 需要拥有快速横向扩展能力 能提供7*24小时不间断服务,大数据典型架构,大数据典型架构,大数据典型架构,数据计算用时对比 离线计算 流式计算 实时计算,大数据的应用,大数据与互联网 大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等 大交互数据：来自社交网络的数据，SNS、微博等 两类数据有效融合将是大势所趋，更能增强企业的商业洞察力

4、,大数据的应用,大数据与金融银行,大数据的应用,大数据与金融保险,大数据的应用,大数据与金融证券 股价预测 客户关系管理 投资景气指数分析,大数据的发展,NOSql的概念,什么是NoSQL？ NoSQL是Not Only SQL的缩写，而不是Not SQL； 它不一定遵循传统数据库的一些基本要求，比如SQL标准、ACID属性、表结构等等。 相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。 NoSQL数据库主要应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。,NOSql的

5、优势,易扩展 NoSQL数据库种类繁多； 共同的特点都是去掉系型特性； 数据之间无关系，容易横向扩展； 甚至可以NoSQL之间的整合。 数据模型灵活 无需事先为要存储的数据建立字段 随时可以存储自定义的数据格式 高可用 NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。 大数据量，高性能 NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据结构简单。,NOSql的CAP原理实现,分布式数据系统的CAP原理的三要素： 一致性 (Consistency) 可用性 (Avai

6、lability) 分区容忍性 (Partition tolerance) NOSql的CAP原理实现： 在分布式系统中，三个要素最多只能同时实现两点 考虑CP，主要是一些Key-Value数据库，典型代表为Google的Big Table，将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。 考虑AP，主要是一些面向文档的适用于分布式系统的数据库，如Amazon的Dynamo，Dynamo将数据按key进行Hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性最终一致性,NOSql数据模型及分类,NoSQL的两个核心理论基础： Google的BigTable BigTable将各列数据进行排序存储； 数据值按范围分布在多台机器； 数据更新操作有严格的一致性保证。 Amazon的Dynamo Dynamo使用的是另外一种分布式模型； 模型更简单，将数据按key进行hash存储； 其数据分片模型有比较强的容灾性； 实现的是相对松散的弱一致性(最终一致性)。,NOSql数据模型及分类,NOSql数据模型及分类,NOSql使用情况,NOSql数据模型及分类,DB-Engines 发布了 2016 年 12 月份的数据库排名,NOSql数据模型及分类,综合来看，NoSQL数据库正在逐渐地成为数据