大数据 – Big Data教学课件

大数据–BigData大数据（BigData）-定义指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据的4V特点大数据逻辑架构传统数据库的特点大数据的数据库传统数据库和大数据数据库的对比RDBMSNoSQL高度组织化结构化数据

代表着不仅仅是SQL结构化查询语言（SQL）(SQL)

没有声明性查询语言数据和关系都存储在单独的表中没有预定义的模式数据操纵语言，数据定义语言

键-值对存储，列存储，文档存储，图形数据库严格的一致性最终一致性，而非ACID属性基础事务非结构化和不可预知的数据CAP定理高性能，高可用性和可伸缩性NO-SQL数据库：NotOnly不仅仅是SQL定义：非关系型数据库；NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。需要进一步数据挖掘和分析。关系型数据库关系型数据库，是指采用了关系模型来组织数据的数据库。简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。关系型数据库瓶颈高并发读写需求网站的用户并发性非常高，往往达到每秒上万次读写请求，对于传统关系型数据库来说，硬盘I/O是一个很大的瓶颈海量数据的高效率读写网站每天产生的数据量是巨大的，对于关系型数据库来说，在一张包含海量数据的表中查询，效率是非常低的高扩展性和可用性在基于web的结构当中，数据库是最难进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的时候，数据库却没有办法像webserver和appserver那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移。对网站来说，关系型数据库的很多特性不再需要了：事务一致性关系型数据库在对事物一致性的维护中有很大的开销，而现在很多web2.0系统对事物的读写一致性都不高读写实时性对关系数据库来说，插入一条数据之后立刻查询，是肯定可以读出这条数据的，但是对于很多web应用来说，并不要求这么高的实时性，比如发一条消息之后，过几秒乃至十几秒之后才看到这条动态是完全可以接受的复杂SQL，特别是多表关联查询任何大数据量的web系统，都非常忌讳多个大表的关联查询，以及复杂的数据分析类型的复杂SQL报表查询，特别是SNS类型的网站，从需求以及产品阶级角度，就避免了这种情况的产生。往往更多的只是单表的主键查询，以及单表的简单条件分页查询，SQL的功能极大的弱化了结构化数据vs非结构化数据相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。NoSQL-用于指代那些非关系型的，分布式的数据存储系统类型部分代表特点列存储HbaseCassandraHypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDBCouchDB文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。key-value存储Tokyo

Cabinet

/

TyrantBerkeley

DBMemcacheDBRedis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储Neo4JFlockDB图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。xml数据库Berkeley

DB

XMLBaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。大数据的价值体现在以下几个方面对大量消费者提供产品或服务的企业可以利用大数据进行精准营销做小而美模式的中小微企业可以利用大数据做服务转型面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用大数据各行业需求和应用趋势趋势一：数据的资源化趋势二：与云计算的深度结合趋势三：科学理论的突破趋势四：数据科学和数据联盟的成立趋势五：数据泄露泛滥趋势六：数据管理成为核心竞争力趋势七：数据质量是BI(商业智能)成功的关键趋势八：数据生态系统复合化程度加强结束语从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分