智慧城市智慧生活大数据建设方案

1、触摸未来 智慧生活BIG DATA PR ESENTATION第1页大数据是什么？大数据特征和结构大数据时代机遇和挑战大数据趋势大数据应用和案例CONTENTS第2页 大数据 / BIG DATA伴随云时代降临，大数据（Big data）也吸引了越来越多关注。分析师团体认为，大数据（Big data）通惯用来形容一个企业创造大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联络到一起，因为实时大型数据集分析需要像MapReduce一样框架来向数十、数百或甚至数千电脑分配工作。大数据已来第3页大数据是什么？大数据特征和结构大数据时代机

2、遇和挑战大数据趋势大数据应用和案例CONTENTS第4页PART-01大数据是什么？指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。第5页大数据（BIG DATA）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。第6页大数据定义对于“大数据”（Big data）研究机构Gartner给出了这么定义。“大数据”是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力来适应海量

3、、高增加率和多样化信息资产。海量高增长率多样化决议力洞察发觉力流程优化能力第7页大数据是“未来新石油”大数据是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。大数据就是“未来新石油”。BIG DATA数据显示点击添加标题第8页何谓大？（数据度量）1Byte= 8 Bit1 KB= 1,024 Bytes = 8192 bit1 MB= 1,024 KB = 1,048,576 Bytes1 GB= 1,024 MB = 1,048,576 KB1 TB= 1,024 GB = 1,048,576 MB1 PB= 1,024 TB = 1,048,576

4、 GB1 EB = 1,024 PB = 1,048,576 TB1 ZB= 1,024 EB = 1,048,576 PB1 YB= 1,024 ZB = 1,048,576 EB1 BB= 1,024 YB = 1,048,576 ZB1 NB= 1,024 BB = 1,048,576 YB1 DB= 1,024 NB = 1,048,576 BB第9页到底有多大？1PB相当于50%全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过话语1ZB如同全世界海滩上沙子数量总和1YB相当于7000位人类体内微细胞总和第10页大数据带来变革1更多不是随机样本而是全部数据2更加好不是因果

5、关系而是相关关系3更杂不是准确性而是混杂性第11页PART-02大数据特征和结构指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。第12页大数据特征容量（Volume）数据大小决定所考虑数据价值和潜在信息种类（Variety）数据类型多样性2176543速度（Velocity）指取得数据速度可变性（Variability）妨碍了处理和有效地管理数据过程真实性（Veracity）数据质量复杂性（Complexity）数据量巨大，起源多渠道价值（value）合理利用大数据，以低成本创造高价值

6、第13页大数据结构大数据包含结构化、半结构化和非结构化数据，非结构化数据越来越成为数据主要部分。据IDC调查汇报显示：企业中80%数据都是非结构化数据，这些数据每年都按指数增加60%。大数据就是互联网发展到现今阶段一个表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表技术创新大幕衬托下，这些原本看起来极难搜集和使用数据开始轻易被利用起来了，经过各行各业不停创新，大数据会逐步为人类创造更多价值。结构化半结构化非结构化第14页大数据安全威胁大数据基础设施安全威胁1大数据存放安全威胁2隐私泄露问题3针对大数据高级连续性攻击4数据访问安全威胁5其它安全威胁6第15页大数据三个层面123

7、理论THEORY技术TECHNOLOGY实践UTILIZATION特征定义价值探讨现在和未来大数据隐私云计算分布式处理平台存放技术感知技术互联网大数据政府大数据企业大数据个人大数据第16页大数据改变生活优化各级政府、主管部门、上市企业、企业集团、外资企业都将基于大数据分析平台优化其决议。革命大数据分析能力逐步加强，传统市场研究行业、证券研究所、产业链咨询机构将逐步消失。颠覆银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务改变因大数据系统出现，全部依赖信息不对称盈利业务都将消失。大数据对政府、金融机构、企业来说，象空气一样不可或缺！第17页PART-03大数据

8、时代机遇和挑战指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。第18页机遇和挑战机遇挑战大数据技术促进国家和社会发展大数据蓝海成为企业竞争新焦点大数据时代呼唤创新型人才大数据技术利用仍有困难大数据给信息安全带来新挑战第19页机遇1：大数据技术促进国家和社会发展大数据技术利用前景是十分光明。当前，我国正处于全方面建成小康社会征程中，工业化、信息化、城镇化、农业当代化任务很重，建设下一代信息基础设施，发展当代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛利用，是实现四化同时发

9、展确保。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决议含有主要意义，我们必须重新认识数据主要价值。实现科学发展做出科学决议第20页机遇2：大数据蓝海成为企业竞争新焦点大数据所能带来巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌巨大变革。大数据正在对每个领域都造成影响，包含商业、经济等领域。大数据正在促生新蓝海，催生新经济增加点，正在成为企业竞争新焦点。第21页机遇3：大数据时代呼唤创新型人才盖特纳咨询企业预测大数据将为全球带440万个IT新岗位和上千万个非IT岗位。麦肯锡企业预测美国到需要深度数据分析人才44万49万，缺口14万19万人需要既熟悉本单位需求

10、又了解大数据技术与应用管理者150万，这方面人才缺口更大。中国 是人才大国，但能了解与应用大数据创新人才更是稀缺资源。第22页挑战1：大数据技术利用仍有困难当前，大数据技术利用仍存在一些困难与挑战，表达在大数据挖掘四个步骤中。1数据搜集要对来自网络包含物联网和机构信息系统数据附上时空标志，去伪存真，尽可能搜集异源甚至是异构数据，还可与历史数据对照，多角度验证数据全方面性和可信性。2数据存放要到达低成本、低能耗、高可靠性目标，要用到冗余配置、分布化和云计算技术，存放时对数据进行分类，经过过滤和去重，降低存放量，并加入便于检索标签。3数据处理大数据复杂性使得难以用传统方法描述与度量，需要将高维图像

11、等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态及可能模棱两可数据中综合信息，并导出可了解内容。4结果可视化展现使结果更直观方便于洞察。当前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构数据进行分析，谈不上深层次数据挖掘，现有数据挖掘算法在不一样行业中难以通用。第23页挑战2：大数据给信息安全带来新挑战123加大隐私泄露风险对现有存放和安防办法提出挑战被利用到攻击伎俩中大量数据集中存放增加了其泄露风险；一些敏感数据全部权和使用权并没有清楚界定。复杂数据存放在一起，可能造成企业安全管理不合规；安全防护伎俩更新升级慢，存在漏洞黑客可搜集更多有用信息，大数据分

12、析让攻击更精准；大数据为黑客发起攻击提供了更多机会第24页“棱镜门”引爆大数据时代争议事情起因是美国中情局前职员斯诺登向媒体爆料，过去6年间，美国情报部门经过一个代号为“棱镜”项目，从多家著名互联网企业获取电子邮件、在线聊天内容、照片、文档、视频等网络私人数据，跟踪用户一举一动。他说，自己只需要坐在办公桌前，动动指头，敲敲键盘，就能了解很多人私密信息。斯诺登爆料引发一片哗然，依据他提供资料，被卷入“棱镜门”事件企业包含微软、雅虎、谷歌、苹果、Facebook等9大IT业巨头。在“棱镜门”事件开始发酵之后，这些企业先是赶快出面否定与美国政府监视项目进行过合作，并相继发表申明，呼吁政府采取更透明态

13、度，以证实他们“清白”。第25页PART-04大数据趋势指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。第26页借助大数据尖端分析加速发展假如正确数据出现在适当时间，您业务将有望取得什么机会？怎样更有效率地运行您业务？经过数据分析取得变革潜力与直观了解影响着医疗、银行、交通运输、制造等各行各业。对于许多早期使用者，当他们从传统商业智能 (BI) 实践发展到可靠直观了解更高级分析（预测性和规范性）时，数据改变了他们业务，不论是经过新发觉、更尖端产品和服务或总体更加好客户体验。第27页数据

14、泄露泛滥：未来几年数据泄露事件增加率可能会到达100%，除非数据在其源头就能够得到安全保障。能够说，在未来，每个财富500强企业都见面临数据攻击，不论他们是否已经做好安全防范。而全部企业，不论规模大小，都需要重新审阅今天安全定义。数据管理成为关键竞争力：数据管理成为关键竞争力，直接影响财务表现。当“数据资产是企业关键资产”概念深入人心之后，企业对于数据管理便有了更清楚界定，将数据管理作为企业关键竞争力，连续发展，战略性规划与利用数据资产，成为企业数据管理关键。数据质量是BI(商业智能)成功关键：采取自助式商业智能工具进行大数据处理企业将会脱颖而出。其中要面临一个挑战是，很多数据源会带来大量低质

15、量数据。想要成功，企业需要了解原始数据与数据分析之间差距，从而消除低质量数据并经过BI取得更佳决议。数据生态系统复合化程度加强：大数据世界不只是一个单一、巨大计算机网络，而是一个由大量活动构件与多元参加者元素所组成生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列参加者共同构建生态系统。趋势一趋势二趋势三趋势四大数据趋势第28页趋势五数据泄露泛滥：未来几年数据泄露事件增加率可能会到达100%，除非数据在其源头就能够得到安全保障。能够说，在未来，每个财富500强企业都见面临数据攻击，不论他们是否已经做好

16、安全防范。而全部企业，不论规模大小，都需要重新审阅今天安全定义。趋势六数据管理成为关键竞争力：数据管理成为关键竞争力，直接影响财务表现。当“数据资产是企业关键资产”概念深入人心之后，企业对于数据管理便有了更清楚界定，将数据管理作为企业关键竞争力，连续发展，战略性规划与利用数据资产，成为企业数据管理关键。趋势七数据质量是BI(商业智能)成功关键：采取自助式商业智能工具进行大数据处理企业将会脱颖而出。其中要面临一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要了解原始数据与数据分析之间差距，从而消除低质量数据并经过BI取得更佳决议。趋势八数据生态系统复合化程度加强：大数据世界不只是一个

17、单一、巨大计算机网络，而是一个由大量活动构件与多元参加者元素所组成生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列参加者共同构建生态系统。第29页PART-05大数据应用和案例指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。第30页大数据应用领域教育学情报学公共服务天文学电子政务传媒业生物医学商业智能图书馆学气候学企业管理市场营销金融学生活娱乐总统选举第31页企业大数据建设方法大数据业务战略

18、大数据建设目标大数据架构设计大数据实施大数据运维企业战略目标业务目标业务模式大数据目标服务对象服务模式应用场景容量规划安装、配置验收测试系统上线大数据服务定义大数据信息模型大数据管理定义技术选择验证测试大数据服务管理系统监控资源调度生命周期管理服务性能管理大数据连续改进服务改进技术升级架构优化第32页扩展现有架构 提升业务价值 针对数据多样性和数据量进行设计发觉新模式更深入地分析当前数据针对高数据速度设计第33页商品零售大数据此事经被纽约时报报道后，塔吉特“大数据”巨大威力轰动全美在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，责问为何将带有婴儿用具优惠券广告邮件，寄送给他正在念高中女儿?然而以后

19、证实，他女儿果真怀孕了。这名女孩搜寻商品关键词，以及在社交网站所显露行为轨迹，使沃尔玛捕捉到了她怀孕信息。模型发觉，许多孕妇在第2个妊娠期开始会买许多大包装无香味护手霜；在怀孕最初20周大量购置补充钙、镁、锌善存片之类保健品。最终塔吉特选出了25种经典商品消费数据构建了“怀孕预测指数”，经过这个指数，Target能够在很小误差范围内预测到用户怀孕情况，所以Target就能早早地把孕妇优惠广告寄发给用户。拥抱大数据第34页消费大数据亚马逊 “预测式发货”新专利，能够经过对用户数据分析，在他们还没有下单购物前，提前发出包裹。这项技术能够缩短发货时间，从而降低消费者前往实体店冲动。从下单到收货之间时间延迟可能会降低人们购物意愿，造成他们放弃网上购物。亚马逊可能会依据之前订单和其它原因，预测用户购物习惯，从而在他们实际下单前便将包裹发出。依据该专利文件，即使包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递企业转运中心或卡车里。亚马逊为了决定要运输哪些货物