大数据发展现状和趋势

大数据发展现状和趋势当前第1页\共有41页\编于星期六\4点2123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第2页\共有41页\编于星期六\4点1.1大数据的定义信息技术的广泛深入应用，引发了数据量的爆发式增长，使人类进入大规模生产、分享和利用数据的时代。目前，全球大数据发展正处于起步阶段。虽然大数据是近年来各行业关注的热点，但大数据概念业界各方还没有统一的认识。广义地讲：大数据是思维、技术、数据和应用的结合，包含数据特征、分析方法、处理技术、商业模式、思维方式等。当前第3页\共有41页\编于星期六\4点41.2大数据的特征当前第4页\共有41页\编于星期六\4点51.3大数据的意义(1/2)（1）大数据对人类思维模式、科学范式、组织方式、生产方式、生活方式的影响具有深刻意义。强调思维方式的转变，抛弃过去凭经验的做法，通过对数据进行深入分析，总结经验、发现规律、预测趋势、辅助决策，让数据说明一切；重视数据资源的积累和建设，把数据视为与能源、材料同等重要的战略资源；善于利用适当的技术来对数据资源进行挖掘利用，释放数据潜在的价值，从而提供更多解决问题的新思路、新方法和新工具；提高政府决策、经济管理、企业运营、公共服务的科学化和智慧化水平。当前第5页\共有41页\编于星期六\4点61.3大数据的意义(2/2)（2）大数据在改变人类生产、生活和社会管理方式的同时，也在重构信息技术体系和产业格局。目前IT业界对大数据多关注在数据管理的技术层面。数据管理技术在历经了人工管理、文件管理、数据库管理等时代，进入大数据管理时代。数据库架构也随之发生改变，从一种架构支持所有应用，向多种架构支持多类应用的方向发展，内存数据库、列存数据库、NoSQL数据库等新型架构的数据库不断涌现。大数据与云计算、物联网等其它新一代信息技术紧密相关，谷歌、亚马逊、Facebook、百度、腾讯、阿里巴巴等既是大数据企业也是云计算企业。当前第6页\共有41页\编于星期六\4点7123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第7页\共有41页\编于星期六\4点82.1大数据应用广泛数据流与人流、物流、资金流、技术流相交融，能够在用户需求、商业利益乃至国家利益等多重驱动下对经济社会各领域形成影响。数据资源来源广泛、渗透力强，其能够发挥的影响具有难以比拟的普遍性、细微性、长期性和多变性，将作用于人类社会的各个领域、各个层面。当前第8页\共有41页\编于星期六\4点92.2大数据应用初见成效当前第9页\共有41页\编于星期六\4点102.3大数据产业链初具雏形大数据涉及硬件、软件、信息技术服务和信息安全等整个电子信息产业体系。从广义看，大数据产业链贯穿数据的整个生命周期，包含产生、采集、存储、管理、分析，直到最终的呈现和应用。狭义来看，大数据的产业链主要涵盖数据存储与管理、数据安全、数据分析、数据应用、数据呈现等环节。大数据的核心是软件。不断涌现的各种大数据技术多为企业根据自己的业务特点所做的针对性开发，典型的如Google的GFS、Bigtable、MapReduce为代表的分布式系统。开放源代码产品主导大数据技术发展方向。雅虎仅用了五年的时间，将Hadoop从科学项目变成了目前全球最大的大数据开源社区。未来五年大数据市场的平均年复合增长率将高达31%，到2017年大数据市场规模有望达到478亿美元。当前第10页\共有41页\编于星期六\4点112.4IT巨头纷纷布局大数据大数据对传统信息技术带来革命性挑战，正在重构信息技术体系和产业格局。大数据需要信息系统具备大规模、低成本、高效率以及实时获取、存储和处理多样化复杂数据的能力，将倒逼芯片、软件和信息系统的体系化创新与重构。IT巨头一方面通过并购进军大数据领域，另一方面依靠企业自身研发纷纷推出大数据分析产品。IBM、甲骨文、微软、谷歌、亚马逊、Facebook等跨国巨头是发展大数据处理技术的主要推动者。

公司时间收购EMC2010年7月收购数据库软件供应商Greenplum,花费3亿美元EMC2009年7月收购数据复制解决方案提供商DataDomain，花费24亿美元IBM2010年9月收购数据库分析供应商Netezza公司，花费17亿美元IBM2010年10月收购网络分析软件供应商CoremetricsSAP2007年68亿美元收购BI能软件供应商CognosOracle2008年11月33亿美元收购BI解决方案提供商海波龙公司HP2011年100亿美元收购英国软件公司ProClarity微软2008年收购数据仓库产品厂商DATAllegro2013年上半年收购5家初创公司，总额达到1600万美元。将数据库作为其大数据战略的中心，将数据挖掘和分析技术整合到现有的数据库产品中。投资160亿美元进行了30次数据分析的相关收购。当前第11页\共有41页\编于星期六\4点122.5大数据深刻影响国家网络信息安全全局大数据对国家信息安全和用户隐私保护带来新挑战，发达国家将可以利用掌握相关核心技术的优势大量获取敏感信息，大量用户个人信息的采集和集中处理也会加大隐私泄露风险。大数据也为信息安全乃至国家安全保障提供新的理念和技术手段，利用大数据分析挖掘，可以提高安全态势感知、预测以及应急处置的能力，提高情报分析、安全保障的现代化水平，提升国家安全攻防能力。

当前第12页\共有41页\编于星期六\4点13123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第13页\共有41页\编于星期六\4点143.1美国（1/2）政府数据开放和共享是近几年美国联邦政府重点推进的数据应用开发政策。奥巴马政府在2009年推出的D，D也是美国“开放政府”承诺的关键部分。截至2012年11月，D共开放出了388529项原始数据和地理数据，涵盖了农业、气象、金融、就业、人口统计、教育、医疗、交通、能源等大约50个门类。通过开放API接口，D让政府的信息和服务交付更加便捷，也让公众和企业家在构建更佳政府、提升服务的过程中成为合作伙伴。当前第14页\共有41页\编于星期六\4点153.1美国（2/2）2012年3月，美国白宫科技政策办公室推出《大数据研究与开发计划》，共有六个联邦部门和机构联合参与此计划。该计划投资两亿多美元大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识的能力。该计划还承诺将在科学研究、环境保护、生物医药研究、教育以及国家安全等领域利用大数据技术进行突破。该计划还强调，大数据技术事关美国国家安全、科学和研究的步伐，将引发教育和学习的变革。当前第15页\共有41页\编于星期六\4点16英国也是大数据的积极拥抱者，无论是政府、研究机构，还是企业，都已经开始行动，抢占“数据革命”先机。英国商业、创新和技能部斥资1.89亿英镑发展大数据，《英国农业技术战略》投资重点锁定大数据。涉及部门：英国技术战略委员会、英国商业、创新与技术部、英国教育和科技部、英国财政部等部门。一方面，英国政府力推数据公开，为商业企业和研究机构所用；另一方面，在资金和政策上支持大数据在医疗、农业、商业、学术研究等领域的发展。3.2英国2013年初，英国商业、创新和技能部宣布，将注资6亿英镑发展8类高新技术，大数据独揽其中的1.89亿英镑。2013年5月初，英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立。英国首相卡梅伦在揭牌仪式上说，这一中心的成立有望给英国医学研究和医疗服务带来革命性变化，它将促进医疗数据分析方面的新进展，帮助科学家更好地理解人类疾病及其治疗方法。当前第16页\共有41页\编于星期六\4点172010年11月，欧盟委员会首次提出“欧盟开放数据战略”，旨在将公共部门搜集和产生的原始数据通过再利用成为数以万计ICT用户依赖的数据材料，2010年12月正式推进这一战略并提出有关开放数据战略的多项法律提案。2014年10月，欧盟委员会宣布，将与大数据价值协会建立合作关系，投资25亿欧元促进数据行业发展。该项公私合作将从2015年1月1日正式启动，并从2016年起启动一批项目。在2016年至2020年间，欧盟委员会将利用“地平线2020”科研规划向这项合作进行超过5亿欧元的投资，私营行业合作伙伴的投资将超过20亿欧元。3.3欧盟当前第17页\共有41页\编于星期六\4点182013年6月，八国峰会（G8Summit）期间签署了《八国集团开放数据宪章》（G8OpenDataCharter，简称《G8开放数据宪章》），标志着开放政府数据已经成为全球共识，未来必将迎来更大发展。人们认识到大数据价值具有很强的“应用驱动”特征，数据通过开放、开发和利用，就能产生成倍的价值，反之，数据沉淀不用，其价值无法发挥和体现出来。3.4八国集团（G8）2013年6月17-18日，美、英、法、德、意、加、日、俄八国领导人在英国北爱尔兰厄恩湖举行了2013年八国峰会（G8Summit）。当前第18页\共有41页\编于星期六\4点193.5其他国家国际上韩国、加拿大、新西兰、日本、德国、法国都已经推出自己国家的大数据或开放数据战略。联合国推出了名为“全球脉动”（GlobalPulse）的新项目，希望利用“大数据”预测某些地区的失业率、支出削减或是疾病爆发等现象，从而促进全球经济发展和公共服务管理。日本政府于2012年5月启动新的ICT战略研究。2012年9月，日本总务省发布2013年行动计划，提出以复苏日本为目的推进“活跃在ICT领域的日本”ICT综合案，明确提出“通过大数据和开放数据开创新市场”。表明，日本政府在新一轮IT振兴计划中把大数据发展作为国家层面战略提出。国别时间措施主要内容韩国2011“智慧首尔2015”-“首尔开放数据广场”已有33个数据库、880个数据集，为用户提供十大类公共信息。2013《政府3.0推进基本计划》基本方向是开放和共享公共信息，扩大政府与国民间的沟通与合作。新加坡2011《电子政务总体规划2011-2015》政府作为服务提供者和平台提供者，要向公众提供信息和开放数据。2011开放数据项目建设开放数据门户（.sg），将政府数据整理归类后向公众开放。日本2012《电子政务开放数据战略草案》迈出政府数据开放的关键性一步，居民可以浏览中央和地方省厅公开数据的网站。当前第19页\共有41页\编于星期六\4点20123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第20页\共有41页\编于星期六\4点21我国拥有全球第一的人口数、互联网用户数和移动互联网用户数，数据存量和潜在增量位居世界前列。互联网和各行业信息化系统经过多年发展沉淀下来的数据量已经十分庞大。2012年，中国的数据量为364EB，占全球数据总量的13%。2013年1-9月，我国移动互联网接入流量累计完成927PB，同比增长67.3%。随着制造业升级改造不断推进，金融、交通、电信等重点行业和医保、社保、海关等重要领域的业务数据不断集中，我国数据存量将持续快速增长。预计到2020年，仅中国就将产生全球21%的数据，数据量超过8ZB，年均增长接近50%。推动经济结构转型升级、提升政府治理能力水平、优化社会管理，为四化同步发展提供保障迫切需要开发利用我国的大数据资源。4.1我国数据资源丰富，市场需求巨大当前第21页\共有41页\编于星期六\4点22大数据以软件为主，受硬件制约少，且大数据技术以开源为主，迄今为止尚未形成绝对技术垄断。开源技术对任何一个国家都是开放的，我国同样可以分享开源的蛋糕。我国在部分领域已经具备一定的大数据处理和分析能力。金融、电网、电信、海关等重要行业和领域已经实现或逐步实现了海量业务数据的集中。银行间实现了金融信息的实时交互和金融服务的多途径提供；电网实现了一体化的智能电力调度；电信运营商实现了对数以亿计用户和各类增值服务的灵活支持；海关实现了对进出口货物的详尽掌控。4.2我国在大数据领域具备一定的基础2010年8月才发布预览版，2011年9月推出稳定版。互联网金融智能电网当前第22页\共有41页\编于星期六\4点234.3 国内企业已展开布局当前第23页\共有41页\编于星期六\4点244.4国内企业已开展了一系列实践通过搜集整理网络玩家搜索需求与热点，将用户人群细分，建立用户行为数据库销售给网络游戏运营商，创造了以数据销售为主，广告服务为辅的双轨模式。2012年9月宣布开放大数据智能，将大数据与网络游戏营销结合，为第三方游戏公司带来价值。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅0.3%，大大低于商业银行。现在淘宝网的全部应用软件和基础软件都是自行开发或采用开源软件，摆脱了商业软件制约。建立了“淘宝CPI”，通过采集、编制淘宝网上390个类别的热门商品价格来统计CPI，比国家统计局公布的CPI还提前半个月预测经济的走势。基于工商登记数据，分析表明1990年至2011年我国财政收入与企业注册资本之间的关系呈高度线性相关，其相关系数高达0.987，而斜率竟为0.148，表明放开企业注册，可大大增加政府财政收入，为宏观经济决策提供了极富价值的参考。通过检测新浪微博和金融BBS论坛等数据，搜寻非法集资、违法违规交易线索，可以提前预测P2P企业违约。利用公交IC卡刷卡数据分析了城市的职住分布、居住与就业特征、居民的通勤轨迹，优化规划设计。当前第24页\共有41页\编于星期六\4点25123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第25页\共有41页\编于星期六\4点26随着信息化范围的拓宽、程度的加深，我国信息化投资总额不断提高，2012年，我国信息技术（IT）支出达3325亿美元，仅次于美国。大量信息化投资促使政府、金融、交通、电信、制造业等行业积累巨量的数据资源。百度每天处理的数据量将近100PB，相当于50万个国家图书馆的信息量。世界级的IT市场和数据量为技术创新提供了良好的空间，2013年双十一期间支付宝每秒成交最高达34万笔，需要极强的IT支撑能力。这种量级的需求在其他国家不可能遇到，只能靠自主研发。5.1我国成为全球第二大IT市场，数据存量和增量巨大当前第26页\共有41页\编于星期六\4点27两化深度融合、四化同步、以及促进信息消费等，无不需要大数据的发展和应用，不同行业、不同领域具有不同的需求。制造业产生和积累了海量的工业大数据，需要对全生产周期的数据进行管理和分析，以提高生产率和利润率；能源行业对于市场行情的数据更为敏感，需要利用历史数据为未来的产品设计、风险评估以及市场导向提供参考；金融行业，需要利用交易行为大数据建立完善的信用体系，从而降低贷款风险。5.2产业转型升级对大数据提出了新的要求当前第27页\共有41页\编于星期六\4点28我国在大数据发展方面还处于初期阶段，需集中突破制约因素和应对面临的挑战。一是全社会对发展和应用大数据的重要性认识不足，对数据采集、保存、管理和利用重视不够。二是技术与应用创新滞后。技术创新难以满足应用快速发展的需要，应用的广度、深度不够，商业模式创新不足。三是数据管理体系尚待建立健全。缺乏数据收集、管理和应用方面的法律法规。数据互联互通差，难以发挥数据潜力；数据私采乱用严重，安全难以保障。四是人才队伍薄弱。国内既缺乏数据管理技术类核心技术人才，又缺乏对行业具有深刻理解力的复合型人才。五是存在盲目发展现象。大数据发展一哄而起，各地争相建设大数据园区、基地、大数据存储中心、计算中心，重投资，轻应用；重形式，轻实效，战略方向和发展路径存在偏差，大量资源遭到浪费。5.3多种因素制约我国大数据能力的提升当前第28页\共有41页\编于星期六\4点29123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第29页\共有41页\编于星期六\4点30国务院领导高度重视大数据发展。今年以来，国务院领导已多次做出重要批示，明确要求加快推进实施大数据国家战略。根据国务院领导指示，目前国务院办公厅牵头制定实施大数据国家战略的政策措施。我部按照国务院领导要求，配合国务院办公厅落实大数据国家战略。6.1国务院领导重视大数据发展2014年2月，国务院副总理汪洋：我们将正式进入一个数据为王的时代，如果我们能像三十年前政府可以轻易的拥有土地一样，现在抓紧时间搜集数据、使用数据，这是竞争的一个新的制高点。2014年7月，国务院总理李克强：要利用大数据为代表的新一代信息技术加强对市场的服务和监督能力，推动工商制度改革。当前第30页\共有41页\编于星期六\4点316.2我部前期已开展的工作体系建设研究制定发展思路起草《促进大数据发展行动纲要》开展《大数据产业”十三五”规划编制》支持大数据关键产品研发和产业化支持地方开展大数据试点工作积极推动大数据标准体系建设根据国务院领导和部领导要求，组织包括多名院士在内的业界专家、部分地方行业主管部门、相关企业等业界各方就大数据发展形势分析、我国发展大数据的优势和不足、发展重点及工作建议展开研讨，提出意见、措施建议等报送国务院领导。与发展改革委联合起草的《促进大数据发展行动纲要》（国发[2015]50号）已由国务院于8月31日印发，9月5日公开发布。深入分析了大数据发展现状和趋势，提出我国大数据的发展目标、原则和思路，提出我国发展大数据的重点任务。（后面章节具体解读）研究和布局“十三五”期间大数据产业的发展，编制产业发展规划，组织地方经信委、从事大数据研究与开发应用企业、研究机构、互联网企业、电信运营商等20余家代表性单位，共同参与规划编制工作，统筹布局大数据技术和产业发展。利用核高基、工业转型升级资金等项目资金支持非结构化数据处理、大数据管理系统及数据分析、数据安全等关键技术产品研发及产业化；推进电信、金融、交通、医疗等数据密集型行业的大数据应用；开展重点地区面向社会公共服务大数据应用示范、面向制造业的大数据解决方案应用示范。指导全国信息技术标准化委员会组建由130余家单位构成的大数据标准工作组，组织起草了《大数据标准化白皮书》，制定大数据据标准体系，已经开展数据质量、数据安全、数据开放共享和交易等方面的多项国家标准的立项和研制工作，积极参与ISO/IEC、ITU等国际标准制定工作。支持北京、上海、贵州、广州、陕西等地大数据产业发展。2015年2月启动贵阳·贵安大数据产业集聚区创建工作，正在筹建由部省领导担任组长的贵阳·贵安大数据产业集聚区创建部省联席会议制度。授予陕西省西咸区创建软件和信息服务（大数据）示范基地，积极推进当地大数据产业发展。。连续四年组织实施宽带发展专项行动，加快推动宽带普及提速，促进提升宽带发展水平。以贯彻落实《关于数据中心建设布局的指导意见》为抓手，指导数据中心科学布局。提升互联网数据中心业务市场管理水平。完善IDC市场准入机制，鼓励民营资本进入互联网数据中心业务市场。加强大数据基础设施建设加强大数据环境下的个人隐私保护及网络安全保护一是推动建立完善用户信息保护体系。二是指导有关机构初步建立了基于大数据技术的互联网安全宏观监测系统。三是强化移动智能终端进网安全监测和预装应用软件的管理。四是制定出台《关于加强电信和互联网行业网络安全工作的指导意见》。当前第31页\共有41页\编于星期六\4点326.3地方政府积极推动大数据发展当前第32页\共有41页\编于星期六\4点33123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目

录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议当前第33页\共有41页\编于星期六\4点347.1 《行动纲要》的起草过程2015年8月31日2014年12月2015年8月19日国务院正式印发2014年10月国家发改委、工信部建立了联合工作机制，成立了起草组初稿成稿征求了47个有关部门的意见调研/专题研究李克强总理主持召开国务院常务会议,审议通过中央和国务院高度重视信息技术产业的发展和其对经济转型升级的促进作用《中国制造2025》《关于促进云计算创新发展培育信息产业新业态的意见》《关于积极推进“互联网+”行动的指导意见》《关于运用大数据加强对市场主体服务和监管的若干意见》多个政策都把大数据作为重要支撑要素迫切需要大数据国家顶层设计起草过程中的名称为

《大数据国家战略与行动纲要》常务会议后改为

《促进大数据发展行动纲要》当前第34页\共有41页\编于星期六\4点7.2《行动纲要》的主要内容35建设数据强国政府数据开放共享健全据安全保障体系推动产业创新发展框架：三位一体当前第35页\共有41页\编于星期六\4点7.2《行动纲要》的主要内容36一是打造精准治理、多方协作的社会治理新模式二是建立运行平稳、安全高效的经济运行新机制三是构建以人为本、惠及全民的民生服务新体系；四是开启大众创业、万众创新的创新驱动新格局；五是培育高端智能、新兴繁荣的产业发展新生态五大目标当前第36页\共有41页\编于星期六\4点7.2《行动纲要》的主要内容37政府数据资源共享开放工程国家大数据资源统筹发展工程政府治理大数据工程公共服务大数据工程工业和新兴产业大数据工程现代农业大数据工程万众创新