大数据时代下的数据挖掘-课件

大数据时代下的数据挖掘

大数据时代下的数据挖掘随着计算机技术的革新和网络媒体的快速发展，人们的生活已经进入高速信息时代。每天的生活都要产生大量数据，获取数据的速度和规模不断增长，大量数据不断的被存入存储介质中形成海量数据。海量数据的存储、应用及挖掘已成为研究的重要命题。未来几年，随着大数据迅速发展，数据挖掘将是极为重要的成长领域，只要企业拥有分析价值的数据源，皆可用来进行高价值的数据挖掘分析。随着计算机技术的革新和网络媒体的快速发展，人们的生活已经进入

本课程主要介绍大数据的概念及其在生活、工作和思维带来的改变，介绍大数据与其他技术的关系，尤其是数据挖掘方面，介绍数据挖掘技术的基本知识，主要应用场景，常用算法，以及数据挖掘过程。本课程主要介绍大数据的概念及其在生活、工作和思维带来学习目标了解大数据的基本概念及其带来的在生活、工作和思维上的改变和准备。了解大数据在各个行业的应用。了解大数据时代下对数据挖掘技术的推动。掌握数据挖掘技术的基本概念、常用算法，了解其在各个行业的应用。学习目标了解大数据的基本概念及其带来的在生活、工作和思维上的主要内容01大数据时代及其变革02大数据相关技术方法03大数据时代下的数据挖掘04应用案例主要内容01大数据时代及其变革02大数据相关技术方法03大数主要内容大数据时代及其变革大数据相关技术方法大数据时代下的数据挖掘主要内容大数据时代及其变革大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……一场生活、工作与思维的大变革大数据开启了一次重大的时代转型。就像望远镜让我们一场生活、工作与思维的大变革大数据，变革公共卫生大数据，变革商业大数据，变革思维大数据，开启重大的时代转型预测，大数据的核心大数据，大挑战一场生活、工作与思维的大变革大数据，变革公共卫生1.改革公共卫生流感预测与谷歌搜索2009年，甲型H1N1疾病控制与预防中心Nature杂志的一篇论文google4.5亿个数学模型验证：2007年，2008年45条检索词条特定的数学模型97%1.改革公共卫生流感预测与谷歌搜索什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了2.变革商业飞机票的购买2003年，奥伦·埃齐奥尼西雅图-洛杉矶几个月机票价格埃齐奥尼1994搜索引擎metacrawlerinfoSpace公司比价网站NetbotExcite公司“世界就是一系列的大数据问题”。。。机票预测系统2.变革商业飞机票的购买什么是大数据Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。Farecast→Bing什么是大数据Farecast是一个对机票价格进行预测的公司，机票预测系统41天12000个价格样本“哈姆雷特”项目——Farecast票价预测工具行业机票预定数据库Farecast2000亿条飞行数据记录微软公司1.1亿美金必应搜索引擎2012年近十万条价格记录75%50美金机票预测系统41天3.变革思维信息爆炸新处理技术的诞生MapreduceHadoop……思维模式的改变为什么？是什么？3.变革思维信息爆炸4.大数据，开启重大的时代转型天文学，信息爆炸的起源2000年斯隆数字巡天项目启动几周数据〉〉历史数据20101.4*242字节2016智利大型视场全景巡天望远镜5天数据量互联网公司Google24PBYoutube8亿/月访客1小时视频/秒Twitter4亿/天微博4.大数据，开启重大的时代转型天文学，信息爆炸的起源何为大？—数据度量1Byte=8Bit1KB=1,024Bytes=210B1MB=1,024KB=220B1GB=1,024MB=230B1TB=1,024GB=240B1PB=1,024TB=250B1EB=1,024PB=260B1ZB=1,024EB=270B1YB=1,024ZB=280B何为大？—数据度量1Byte=8Bit大数据《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）1EB=4000倍美国国会图书馆存储的信息量大数据《红楼梦》含标点87万字（不含标点853509字）我们周围到底有多少数据？增长速度有多快？1.2ZB=记录在书里，书可以覆盖整个美国52次；

刻录光盘，5堆，每一堆可以伸到月球；

。。。。。模拟数据vs数字数据我们周围到底有多少数据？增长速度有多快？1.2ZB=记录在书人类存储信息的增长速度比世界经济的增长速度快4倍，而计算机处理数据能力的增长速度则必世界经济的增长速度快9倍。人类存储信息的增长速度比世界经济的增长速度快4倍，而计算机处5.预测，大数据的核心大数据的核心是预测把数学算法运用到海量的数据上来预测事情发生的可能性。从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性，都是大数据可以预测的范围。人工智能反馈5.预测，大数据的核心大数据的核心是预测6.大数据、大挑战大量的数据，不再依赖随机采样大量的数据，不再追求精确度不再热衷于寻找因果关系6.大数据、大挑战大量的数据，不再依赖随机采样大数据的特性大数据的特性

更关注相关性

主要用于