大数据应用研究-王珺瑛

大数据应用研究王珺瑛2015.11目录背景和概念来源和特点优势与价值应用场景及现状发展趋势及国家政策典型企业投资机会背景互联网+”是一个国家战略，创新2.0。其本质是互联网与传统行业的结合，迎接第四次工业革命的到来。带来智慧城市（smartcitiy），人类社会进入一个全新的时代—智慧时代。智慧城市是把新一代信息技术充分运用在城市的各行各业之中的基于知识社会下一代创新（创新2.0）的城市信息化高级形态，实现信息化、工业化与城镇化深度融合。信息资源是智慧城市构建的基石。城市运行产生大量数据，对数据承载的事实进行组织及分析，能够形成有价值的信息内容，并进而形成信息产品。实现服务创新，产生经济效益、社会效益和环境效益，推动城市向着低碳、高效、便捷的方向发展。什么是大数据?大数据巨量数据、海量数据是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。大数据从何而来?来自于企业、个人、政府（机构）的生产消费行为活动中大数据的来源可分为三类：传统企业数据（Traditionalenterprisedata）：包括CRMsystems的消费者数据，传统的ERP数据，库存数据以及账目数据等。机器和传感器数据（Machine-generated/sensordata）：包括呼叫记录（CallDetailRecords），智能仪表，工业设备传感器，设备日志（通常是Digitalexhaust），交易数据等。社交数据（Socialdata）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。大数据的核心价值优化资源配置，提升效率。大数据挖掘商业价值的方法主要分为四种客户群体细分，然后为每个群体量定制特别的服务。模拟现实环境，发掘新的需求同时提高投资的回报率。加强部门联系，提高整条管理链条和产业链条的效率。降低服务成本，发现隐藏线索进行产品和服务的创新。大数据未来带来的产值麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,中国大数据产品的潜在市场规模有望达到1.57万亿元.大数据社会应用智能城市的规划建设实现能源革命的能源大数据系统医疗卫生数据库多媒体大数据处理等等…….大数据商业应用虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。大数据正在重构很多传统行业。通过收集、整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出新的模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址，在零售业中，卓越亚马逊、淘宝等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务，广告行业利用DMP、DSP进行广告的精准投放，房地产行业利用大数据分析价值洼地，宜信利用大数据建设征信系统降低坏账率券商陆续推出大数据基金大数据的价值堪比黄金和石油大数据对社会经济生活产生的影响绝不限于技术层面,它为我们看待世界提供了一种全新的

方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。数据未来最大的交易商品现状目前，我国在大数据发展和应用方面已具备一定基础，拥有市场优势和发展潜力，但存在以下问题：政府数据开放共享不足产业基础薄弱缺乏顶层设计和统筹规划法律法规建设滞后、创新应用领域不广等问题。信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。现状目前大数据的应用主要集中于第三产业。第三产业凭借自身的优势，大多汇聚了当前最海量的数据以及大批的科研中坚力量。第一、第二产业的发展速度相对于第三产业来说会迟缓一些。现状第一类是大数据基础资源类第二类是大数据存储和运行维护第三类是大数据分析应用第四类是大数据安全由于国内大数据应用仍在发展初期，主要分为四类：现状在基础设施方面，创业公司没有机会，华为、阿里、百度、腾讯基本上把持了这一部分。对于国内的创业公司，在大数据存储和运行、大数据分析应用、大数据安全这三方面存在创业的机会。国家政策支持2015年8月《关于促进大数据发展的行动纲要》提出首次提出我国将实施国家大数据战略。《纲要》提出，要加强顶层设计和统筹协调，大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合，消除信息孤岛，推进数据资源向社会开放，增强政府公信力，引导社会发展，服务公众企业；以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展；完善法规制度和标准体系，科学规范利用大数据，切实保障数据安全。《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。发展趋势大数据已成为国家重要的基础性战略资源，正引领新一轮科技创新。国家对于未来5-10年的大数据发展应用前景有明确的目标：消除信息孤岛、推动公共信息数据共享加大大数据关键技术研发、产业发展和人才培养力度完善法规制度和标准体系，切实保障数据安全。发展趋势2018年底前建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等重要领域实现公共数据资源合理适度向社会开放。培育高端智能、新兴繁荣的产业发展新生态。推动大数据与云计算、物联网、移动互联网等新一代信息技术融合发展，探索大数据与传统产业协同发展的新业态、新模式，促进传统产业转型升级和新兴产业发展，培育新的经济增长点。形成一批满足大数据重大应用需求的产品、系统和解决方案，建立安全可信的大数据技术体系，大数据产品和服务达到国际先进水平，国内市场占有率显著提高。培育一批面向全球的骨干企业和特色鲜明的创新型中小企业。典型企业国外企业国内企业典型企业Cloudera-Hadoop分析三巨头之一于2008年创建，几位创始人分别来自facebook，谷歌，雅虎以及甲骨文。Cloudera的业务主要是出售基于Hadoop的软件，也发布自家版本的Hadoop产品。Hadoop技术的优点在于，它对硬件没有很高的要求，这也就降低了大数据分析的成本，中小企业很喜欢用它进行客户数据的管理和分析。Splunk-机器数据引擎于2004年创建，2012年上市。是全球首家上市的大数据公司。Splunk的软件最初只是用于机器日志的分析以排除机器故障。经过几年的发展，它可以监控、分析实时机器数据(包括历史数据)，非常适合实时数据分析，帮助用户需要及时地了解业务发展趋势。国外典型企业国外Metamarkets-可视化分析专家主要业务是帮助在线媒体公司分析高流量的流媒体数据，如在线广告、在线游戏和社交媒体的数据。MetaMarkets公司对tweet、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。在此同时MetaMarkets为每秒进行数十亿条数据记录的可视化分析带来了革命性的解决方案。QlikTech-商业智能领域是全球增长最快的商业智能(BI)公司，其旗舰产品QlikView提供即时商业答案，使用户能够轻松自如、无限制地挖掘自己的数据。与传统商业智能不同的是，QlikView能够为用户迅速创造价值，其投资回报期仅为数天或数周，而不是数月、数年或永远收不回投资。它是唯一一款能够在经营场所、云计算平台、笔记本电脑或者移动装置上部署的产品，适用于任何企业，从单个用户到大型国际企业。典型企业Kaggle–是一家大数据分析的众包平台的公司希望通过“数据科学运动”来挑战世界上最好的科研人员和统计学家。Kagg