1.1.2 进入大数据时代-大数据的发展

《大数据导论》大数据的发展一、导入如果仅仅是从数据量的角度来看的话，大数据在过去就已经存在了。（1）波音的喷气发动机（2）生物技术领域中的基因组分析现在和过去的区别之一，就是大数据已经不仅产生于特定领域中，而且还产生于我们每天的日常生活中，脸书、推特、领英（LinkedIn）、微信、QQ等社交媒体上的文本数据就是最好的例子。而且，尽管我们无法得到全部数据，但大部分数据可以通过公开的API（应用程序编程接口）相对容易地进行采集。在B2C（商家对顾客）企业中，使用文本挖掘（textmining）和情感分析等技术，就可以分析消费者对于自家产品的评价。二、大数据的发展1.硬件性价比提高与软件技术进步二、大数据的发展——1.硬件性价比提高与软件技术进步（1）计算机性价比的提高二、大数据的发展——1.硬件性价比提高与软件技术进步（2）磁盘价格的下降。二、大数据的发展——1.硬件性价比提高与软件技术进步（3）大规模数据分布式处理技术Hadoop。最大特征，就是能够对大量非结构化数据进行高速处理。二、大数据的发展——1.硬件性价比提高与软件技术进步2.云计算的普及二、大数据的发展——2.云计算的普及（1）网络广告公司Razorfish（2）提供预测航班起飞晚点等“航班预报”服务的FlightCaster（3）对消费电子产品价格走势进行预测的D等。二、大数据的发展——2.云计算的普及3.大数据作为BI的进化形式二、大数据的发展——3.大数据作为BI的进化形式BI的概念是1989年由时任美国高德纳（Gartner）咨询公司的分析师HowardDresner所提出的。Dresner当时提出的观点是，应该将过去100％依赖信息系统部门来完成的销售分析、客户分析等业务，通过让作为数据使用者的管理人员以及一般商务人员等最终用户来亲自参与，从而实现决策的迅速化以及生产效率的提高。二、大数据的发展——3.大数据作为BI的进化形式二、大数据的发展——3.大数据作为BI的进化形式商务智能用于改善商业应用，将数据仓库中的数据以及仪表板的分析查询结合起来（1）数据挖掘（DataMining）（2）机器学习（3）Hadoop+云计算（4）对大数据应用机器学习二、大数据的发展——3.大数据作为BI的进化形式4.从交易数据分析到交互数据分析（1）例如，像亚马逊这样运营电商网站的企业，可以通过网站的点击流数据，追踪用户在网站内的行为，从而对用户从访问网站到最终购买商品的行为路线进行分析。这种点击流数据，正是表现客户与公司网站之间相互作用的一种交互数据。二、大数据的发展——4.从交易数据分析到交互数据分析（2）在超市中,IC标签收集到的顾客行动路线数据和POS等销售数据相结合，从而分析出顾客买或不买某种商品的理由，这样的应用现在已经开始出现了。二、大数据的发展——4.从交易数据分析到交互数据分析（3）O2O（OnlinetoOffline，线上与线下的结合），今后更为重要的是对连接网络世界和真实世界的交互数据进行分析。二、大数据的发展——4.从交易数据分析到交互数据分析三、重新认识数据最初，大数据这个概念是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具。这导致了新的处理技术的诞生，例如谷歌的MapReduce和开源Hadoop平台。这些技术使得人们可以处理的数据量大大增加。更重要的是，这些数据不再需要用传统的数据库表格来整齐地排列，这些都是传统数据库结构化查询语言（SQL）的要求。而非结构化数据库（NoSQL）不再有这些要求。同时，因为互联网公司