big-data解读教学讲解课件

BIGDATA&THESMARTCITY发展历程概念未来研究与挑战具体应用目录1大数据概念内涵探讨维基百科：大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。研究机构Gartner：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据定义的三个层次属性比较体系

大数据技术描述了一个技术和体系的新时代，被设计于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值属性定义

超过了典型数据库软件工具捕获、存储、管理和分析数据能力的数据集比较定义指数据的容量、数据的获取速度或者数据的表示限制了使用传统关系方法对数据的分析处理能力,需要使用水平扩展的机制以提高处理效率体系定义大数据的4V特征Volume数据体量巨大Variety数据类型繁多Velocity处理高速性Value价值密度低基于管理视角大数据特征复杂性

数量规模大、来源广泛、结构多样、不确定性决策有用性

直接功用有限、提供决策支持高速增长性

指数性增长、爆发性态势价值稀疏性

价值低密度、有用价值稀疏可重复开采性

可重复开采、挖掘功能多样性

社会管理、商务管理、企业管理等大数据价值链数据生成数据获取数据存储数据分析大数据分析方法数据可视化以图形方式清晰有效地展示信息统计分析描述性统计技术对数据集进行摘要(summa-rization)或描述,而推断性统计则能够对过程进行推断.更多的多元统计分析包括回归、因子分析、聚类和判别分析数据挖掘发现大数据集中数据模式的计算过程大数据分析分类结构化数据分析文本数据分析多媒体数据分析web数据分析

目标是从web文档和服务中自动检索、提取和评估信息以发现知识,涉及数据库、信息检索、NLP和文本挖掘,可分为web内容挖掘、web结构挖掘和web用法挖掘(webusagemining)网络数据分析

基于联系的结构分析和基于内容的分析移动数据分析

大部分的移动数据分析技术既是描述性分析,也是预测性分析.2大数据的发展历程数据大小发展大事记大数据研究方向与挑战3大数据未来研究方向大数据基础平台处理模式(实时)大数据应用——图数据并行计算模型和框架,社会网络分析、排名和推荐,web信息挖掘和检索,媒体分析检索和自然语言处理大数据隐私“无限”数据系统复杂性

大数据系统通常由多个模块或组件组成,这些模块有着不同的功能并耦合在一起对整个系统建模和为所有模块提供一个统一的框架并不容易.挑战应用多样性

一个好的基准应该反映大数据系统的典型特性,例如应用访问模式和性能需求等.由于大数据系统的多样性,使得提取显著特征非常复杂.挑战数据规模

在传统的TPC基准中,测试集通常比真实的客户数据集大得多,因此测试结果能精确的反映真实性能.然而,大数据的数据量巨大并且不断增长,必须考虑一种有效的方式测试具有小数据集的产品.挑战系统演化

大数据增长率不断增加,大数据系统必须不断演化,以适应日益变化的需求,因此大数据基准也要迅速变化.挑战4具体应用——THESMARTCITYSmartCitydigitalcity+InternetofThings+cloudcomputing

在智慧城市中，数字城市与现实物理城市通过物联网联结起来，形成一个完整的网络物理空间，现实世界人与物的状态以及变化将会在这个空间即时自动感知。其中基于大量数据大规模且复杂的计算和控制通过云计算实现。这样的架构将提供智能的服务，促进人类繁荣，经济发展和社会互动，建立一个低碳，绿色，可持续的城市结构。CONCEPT

现今为止，网页数量已接近一万亿，数据总量接近1000PB.以腾讯为例，每月QQ活跃用户达8亿，微信使用者超过5亿，超过1000亿的在线关系链。即使在压缩之后，数据总量仍达100PB.大数据的增长数量已超乎想象INCREASING智慧城市应用大数据挑战智慧城市中，物联网将继续使用大量传感器，收集大量的数据。大数据必须进行存储、处理、查询分析后，才能应用于所有类型的智能应用和服务。此外，对大数据的实时存储、处理、查询和分析的需要增加。这将带来一系列的问题和挑战。CHALLENGES智慧城市应用大数据挑战大数据存储成本高大数据的快速查询以及检索的自动化程度低大数据的数据挖掘难度大CHALLENGES积极应对大数据的挑战充分利用云计算技术专注数据挖掘a.高效存储管理大数据b.快速检索处理数据信息c.基于大数据挖掘信息与知识，并充分利用信息价值ACTIONS大数据在智慧城市的具体十大应用智慧经济智慧治理环境监测智慧医疗智能搜索舆情监测精准营销精准营销全球安全监测市场价格监测(1)智慧经济

首先大数据在商业上怎么能很好运用，它会分析用户的购物行为，什么商品搭配在一起会卖得更好，还有很多公司通过分析找到最佳客户，淘宝数据魔方则是淘宝平台上的大数据应用方案。那么商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此作出经营决策。

利用大数据分析可实现对合理库存量的管理，华尔街对冲基金依据购物网站顾客评论分析企业产品销售状况，华尔街银行根据求职网站岗位数量推断就业率。

(2)智慧治理

美国纽约的警察分析交通拥堵与犯罪发生地点的关系，有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律，改进了道路设计。

利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。

(3)环境监测对城市的河流进行采样，通过卫星发布，收集产量的数据，这个数据非常大，通过这个数据分析能够判别城市中有没有污染。

(4)智慧医疗

无论是药品的研发还是商业模式的开发运用数据分析都能够得到很好的分析，我们医院里有大量的病例，这里有大量的数据，传统的普通病例很难挖掘数据，现在变成电子化有利于更高数据挖掘，数据的挖掘有利于发现医疗知识，由于医疗资源的分配不均，因此远程医疗十分必要，另外，居家监护很重要，谷歌公司与美国疾病控制和预防中心等机构合作，依据网民搜索内容分析全球范围内流感等病疫传播状况，谷歌的判断与疾控中心的判断是一致的。

(5)智能搜索

除此之外，我们还通过网络进行学习，早期的网络学习是通过网站专业人员编制的内容，如今我们希望能够实现更加智能的搜索。随着移动互联网的出现，搜索引擎会变成基于语音的智能搜索；基于位置的搜索；基于个性化搜索。

(6)舆情监测

大众传播发展的很快，这里包含着大量的数据，例如微博传播具有裂变性、主动性、即时性、便捷性、交互性、草根性，跟进性和临场感，每一个微博用户既是"服务器"，也是"受众"。中国的微博比社交网络更热，因为140个字符的微博在英文和中为分别约等于25个和85个英语单词，即中文微博的信息量是Twitter的3～4倍。

(7)精准营销

美国信用营销分析专家张川告诉《环球时报》记者，在大数据分析的应用上，美国政府和大公司领先新兴国家至少20年。15年前，美国的信用卡公司就可以进行数据挖掘实现精准营销：在合适的时间，通过合适渠道，把合适的营销信息投送给每个顾客。

(8)犯罪预警

随着智能电话和电脑网络的普及，美国政府和大公司把自己的触角伸到个人生活的每个方面。美国个人的一切在线行为数据都被收集储存，再加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据，有关公司和政府机构可以运用数据挖掘的办法，监控和预测个人的行为，并做出相关决策。

(9)全球安全监测

如美国已具备对全球网络空间的监视控制能力。斯诺登披露的“棱镜”计划，缘于美国政府的“星风”监视计划。2004年，布什政府通过司法程序，将“星风”监视计划分拆成由国家安全局执行的4个监视计划，除“棱镜”外，还包括“主干道”、“码头”和“核子”。其中，“棱镜”用于监视互联网个人信息。“核子”则主要负责截获电话通话者对话内容及关键词。“主干道”和“码头”分别对通信和互联网上数以亿兆计的“元数据”进行存储和分析。“元数据”主要指通话或通信的时间、地点、使用设备、参与者等，不包括电话或邮件等的内容。

(10)市场价格监测

今天，可以做大数据分析——分析该市油价变化和加油站分布情况。通过分析，可以发现正常的价格变化规律，如果价格变化持续异常，就可以怀疑存在价格垄断的行为。

在云计算与数据挖掘技术支撑下，智慧服务将传统4A服务模式转化为4R服