大数据导论1.1.2进入大数据时代-大数据的发展课件

1、大数据导论大数据的发展第1页，共19页。一、导入如果仅仅是从数据量的角度来看的话，大数据在过去就已经存在了。（1）波音的喷气发动机（2）生物技术领域中的基因组分析第2页，共19页。现在和过去的区别之一，就是大数据已经不仅产生于特定领域中，而且还产生于我们每天的日常生活中，脸书、推特、领英（LinkedIn）、微信、QQ等社交媒体上的文本数据就是最好的例子。而且，尽管我们无法得到全部数据，但大部分数据可以通过公开的API（应用程序编程接口）相对容易地进行采集。在B2C（商家对顾客）企业中，使用文本挖掘（text mining）和情感分析等技术，就可以分析消费者对于自家产品的评价。二、大数据的发展

2、第3页，共19页。1. 硬件性价比提高与软件技术进步二、大数据的发展1. 硬件性价比提高与软件技术进步第4页，共19页。（1）计算机性价比的提高二、大数据的发展1. 硬件性价比提高与软件技术进步第5页，共19页。（2）磁盘价格的下降。二、大数据的发展1. 硬件性价比提高与软件技术进步第6页，共19页。（3）大规模数据分布式处理技术Hadoop。最大特征，就是能够对大量非结构化数据进行高速处理。二、大数据的发展1. 硬件性价比提高与软件技术进步第7页，共19页。2. 云计算的普及二、大数据的发展2. 云计算的普及第8页，共19页。（1）网络广告公司Razorfish（2）提供预测航班起飞晚点等“

3、航班预报”服务的FlightCaster（3）对消费电子产品价格走势进行预测的D等。二、大数据的发展2. 云计算的普及第9页，共19页。3. 大数据作为BI的进化形式二、大数据的发展3. 大数据作为BI的进化形式第10页，共19页。BI的概念是1989年由时任美国高德纳（Gartner）咨询公司的分析师Howard Dresner所提出的。Dresner当时提出的观点是，应该将过去100依赖信息系统部门来完成的销售分析、客户分析等业务，通过让作为数据使用者的管理人员以及一般商务人员等最终用户来亲自参与，从而实现决策的迅速化以及生产效率的提高。二、大数据的发展3. 大数据作为BI的进化形式第11

4、页，共19页。二、大数据的发展3. 大数据作为BI的进化形式商务智能用于改善商业应用，将数据仓库中的数据以及仪表板的分析查询结合起来第12页，共19页。（1）数据挖掘（Data Mining）（2）机器学习（3）Hadoop+云计算（4）对大数据应用机器学习二、大数据的发展3. 大数据作为BI的进化形式第13页，共19页。4. 从交易数据分析到交互数据分析（1）例如，像亚马逊这样运营电商网站的企业，可以通过网站的点击流数据，追踪用户在网站内的行为，从而对用户从访问网站到最终购买商品的行为路线进行分析。这种点击流数据，正是表现客户与公司网站之间相互作用的一种交互数据。二、大数据的发展4. 从交易

5、数据分析到交互数据分析第14页，共19页。（2）在超市中, IC标签收集到的顾客行动路线数据和POS等销售数据相结合，从而分析出顾客买或不买某种商品的理由，这样的应用现在已经开始出现了。二、大数据的发展4. 从交易数据分析到交互数据分析第15页，共19页。（3）O2O（Online to Offline，线上与线下的结合），今后更为重要的是对连接网络世界和真实世界的交互数据进行分析。二、大数据的发展4. 从交易数据分析到交互数据分析第16页，共19页。 三、重新认识数据最初，大数据这个概念是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具。这导致了新的处理技术的诞生，例如谷歌的MapReduce和开源Hadoop平台。这些技术使得人们可以处理的数据量大大增加。更重要的是，这些数据不再需要用传统的数据库表格来整齐地排列，这些都是传统数据库结构化查询语言（SQL）的要求。而非结构化数据库（NoSQL）不再有这些要求。同时，因为互联网公司可以收集大量有价值的数据，而且有利用这些数据的强烈的利益