大数据发展发展趋势分析报告

大数据发展发展趋势分析报告2012年，全球数据储存量达到1.8ZB，这是什么概念？它相当于每个中国人，每分钟发3条微博，一共要写2.6976万年才能写完。四年过去了，全球大数据储量是2012年的8倍，而用于存储数据的全球服务器总量还将增长十倍。预计到2020年，全球大数据市场规模将达到1263.21亿美元，据数据显示，目前70%的大企业和56%的中小企业已经部署或是正在计划部署与大数据有关的项目和计划。全球大数据市场结构正在从垄断竞争走向完全竞争的局面。美国：美国是大数据发展的领跑者，美国政府一直积极出台大数据相关政策。现今，美国的大数据产业发展广泛渗透到经济、政治、教育、安全和社会管理等领域，步入大规模商业化阶段。大数据已成企业发展的巨大引擎。“Facebook”、“Twitter”项目的成功，标志着信息技术企业加快推动大数据业务的发展，大数据的使用将成为领先企业与其他企业之间最显著的差别。大数据也成为新的盈利模式，正在推动改革企业的决策模式、运营模式和竞争模式，成为企业发展战略的重要组成部分。政府对大数据政策的支持在美国总统奥巴马宣誓就职后的第一个工作日就签发了“开放政府”备忘录（MemorandumonTransparencyandOpenGovernment），指导新一届行政当局从开放政府数据源、建设开放型政府入手，以数字革命带动政府变革。“开放政府”的目的简洁明了：改进公众服务，提升公众信任，更有效管理公共资源和增进政府责任。互联网时代的开放型政府，首先必须开放政府数据。紧随其后，总统签发“开放政府数据”行政令（TheOpenGovernmentDirective），要求在45天内所有政府部门无一例外必须向社会开放3个有价值的数据源。在大数据法律方面：美国总统要求超前思考“大数据”对人类社会的影响，重点研究现有技术和未来技术会对现行法律带来哪些挑战，哪些法律和政策需要修订或制定以适应变化。为了更进一步发展大数据产业，美国政府发布了《联邦大数据研发战略计划》，以加速其2012年提出的“大数据研发行动”进程。应用案例：大数据在公共设施方面的应用1.在夏威夷四处可见防海啸警报器，但这些警报器里的电池经常被偷，直接导致政府无法准确掌握各个报警器在紧急状况下能否使用，所以他们利用大数据技术，发明了一个“报警器中的报警器”，可以及时获取所有报警器的实时数据，避免了海啸发生前由于数据无法准确掌握造成的重大损失。2.在拉斯维加斯政府利用大数据开发了城市的市政基础设施网络仿真模型，可以全面掌握市政管网信息，避免发生被施工活动误挖的情况，通过模型观察路面和地下的各种管理线设施，管理者可以实时掌握地下关键资产的位置和状况。3.整个加州电网系统运营中心管理着加州超过80%的电网，向3500万用户每年输送2.89亿兆瓦电力，海量的数据提高了管理难度，所以他们利用天气、传感器、计量设备等各种数据源的海量数据来平衡全网电力供应和需求，对潜在危机做出快速响应。大数据在交通管理和治安管理方面的应用1.里昂政府为了避免交通堵塞的发生，减少堵车对市民的影响，应用IBM开发的“决策支持系统优化器”，根据相关数据做出决策，帮助应对解决意料之外的交通事故，并优化公共交通，得到实时交通报告，其中包括大量的交通摄像头数据、信号灯数据、天气数据等，通过及时调整信号灯使车流以最高效率运行，辅助处理突发事件，预测可能发生的拥堵情况。2.2013年，波士顿国际马拉松赛现场发生了连环爆炸弹袭击事件，为加速侦破案件，FBI在波士顿马拉松爆炸事件案发现场附近采集了10TB左右的数据，FBI利用移动基站存储的电话通讯记录、周边摄像头的监控录像和志愿者提供的影像资料等，调查人员通过比对、查找和分析，最终确定了犯罪嫌疑。新加坡：“对于新加坡，数据就是未来流通的货币，而我们目前所做的就是将新加坡打造成全球数据管理中心，从而有能力与企业合作，将数据的潜在价值转化为可见的商业利润。”——新加坡经济发展局资讯通信与媒体业执行司长吴汭刚政府对大数据政策的支持新加坡政府提出支持企业采用大数据技术、利用大数据提升政府服务水平，从基础设施、产业链、到人才，最后到技术和立法，新加坡政府抓住了企业大数据发展的五大关键要素，弥补了企业发展的短板。数据基础设施方面：作为世界上十大高速网络架构之一的新加坡，承载了东南亚地区半数以上的第三方数据中心储存量。新加坡已确立其作为全球数据管理枢纽的地位，汇集了东南亚超过50%的商业数据托管及中立运营商数据中心。大数据产业链方面：在大数据产业链中，横跨了包括数据提供者、存储商、分析和挖掘商，以及应用企业等。对于企业，往往只有应用能力，却缺乏获得、存储和分析与挖掘大数据的能力。而在这方面，当然要依靠产业链中相应的服务商，但政府在产业链建设中发挥了关键性的作用。在数据挖掘方面，鼓励大学设立数据挖掘和分析平台，2012年，新加坡管理大学（SMU）推出的“Livelabs”创新平台，旨在增强新加坡在消费者和社会行为领域的数据分析能力；鼓励企业设立数据分析中心，一些企业通过在新加坡设立数据分析中心，洞察亚洲市场需求，已成功地实现了区域市场业务的拓展。在交通方面：新加坡的土地管理局研发了为基于位置服务的企业提供了开放数据平台的电子地图，新加坡陆路交通管理局则通过公共数据开放计划开放新加坡交通数据，鼓励企业甚至是个人开发提升公共交通效率的应用软件。在环境方面：新加坡环境局与多家企业合作，研究如何收取降雨量，并通过掌握不同地区环境的数据，来预测哪个地区接下来会爆发热带地区可能产生的疾病。在大数据人才方面：由于数据人才的稀缺，新加坡积极培育为政府工作的数据人才。并于企业及高校展开合作，确保学生获得必要的专业知识和技能。大数据技术方面：大数据存储、分析和挖掘技术与产品往往需要巨大投资，但是一般的企业无法承受这样的投资，此时政府的作用就尤为重要。而新加坡在其中，从来就没有缺位。在立法方面：大数据的发展总是伴随着与个人隐私权的冲突，而能否通过立法明确保护个人隐私权是大数据能否良性发展的关键。新加坡于2012年公布了《个人资料保护法》作为一项较为宽松的立法，旨在防范对国内数据以及源于境外的个人资料的滥用行为。该法案的出台使公民得以进一步了解个人资料的使用途径；同时，在进行个人信息处理的过程中，也加强了企业与客户之间的信任程度。新加坡在收集、存储大量数据的基础上，对数据进行有效的分析与应用，从中获得经济价值。到2017年底，预计数据行业将为新加坡经济贡献十亿新元的增值，并培养2500名跨领域数据分析专业人才。应用案例：大数据与公共交通创新新加坡的公共交通系统非常善于利用大数据技术，举凡电子道路收费系统、易捷通卡、早鸟免费乘车计划、巴士等候服务标准、的士预召系统、体温红外线监测与的士排队等候、道路步行适宜度等都可以看到大数据利用的身影。为了缓解中央商务区的拥堵，新加坡推行电子道路收费（ERP）系统，在核心区域设置不同价格的收费路段和时段。在其推行的早期主要靠人工来收费，经常出现几个人拼车以规避收费的案例，但该政策仍然执行得非常好。现在则是通过“电子眼”和汽车上的行车记录仪，由此产生有关汽车移动的海量数据。未来，政府计划利用全球定位系统（GPS）来对汽车进行定位和收费，将更加准确地记录汽车的行走路线和距离，从而为更有效地管理机动车提供基础。新加坡采用的易捷通卡（EZ-Link）使大数据利用成为可能，并推动了公共交通的智能化发展。乘客广泛使用易捷通卡，每天只有不足3％的乘次通过现金或单程卡付费。换句话说，97%的乘客都使用该卡，且在上下车时都要刷卡，由此产生的海量数据也为公共交通决策优化提供了可能。比如，陆路交通管理局实验早鸟计划，监测早高峰期前的免费乘车提议是否能够缓解交通拥堵状况。再如，路交局推动巴士等候服务标准，利用基准数据设定巴士等候时间，据此对巴士运营商予以奖惩。路交局还推出MyTransport手机应用程序，将所有交通信息“一网打尽”，为乘客和驾车者提供实时路线规划服务，方便他们提前规划线路并规避拥堵。目前，该服务已经可以结合使用者的地理位置和实时交通状况，为其规划最合理的交通路线。此外，在出租车管理方面，政府鼓励业者开发电子预召系统，路交局也开发了自己的预召系统。政府还在出租车站试验站点热感应技术，以估计排队等候的乘客拥挤状况，并为出租车调度提供依据。大数据与反腐败的应用新加坡一直都被国际组织“透明国际”评为最清廉的国家之一，在维护政府廉洁和打击腐败方面表现突出。在其早期的反腐策略中，科技并没有被突出出来。因为科技手段被腐败分子所利用，反腐败也需要利用科技工具予以还击。最近，科技反腐被新加坡政府一再强调，在反腐方面，新加坡也积极利用大数据技术。新加坡建立了任人唯贤的文官制度，在政治家和公务员的遴选方面，建立了一套行之有效的制度框架。许多公职人员为政府奖学金得主，他们从小就接受政府和学校逐级进行的心理测验和各类考试，积累了一套贯穿生命周期的数据。基于这些数据，政府可以追踪每个人的求学和从政经历，并预测其贪腐概率。政府使用大数据和电子采购系统，发现腐败的蛛丝马迹。目前，所有公共部门的服务和产品采购都需要通过集中在线系统招投标。有关每一宗产品或服务的招投标信息都在政府部门的监督之下，如果发现招投标和资金流动方面的异常情况，就可以发出预警并提供必要的支持。比如，某个机构总是通过一家公司采购产品或服务，那么就需要对此予以关注。再如，若某个机构的投标总是来自一家合规公司，那么这家公司的交易也需要进行检查。新加坡设有合法赌场，赌债会诱发公务员滑向腐败的边缘。为了规避此类风险，政府对公务人员进出赌场有明文规定。公务员每月进出赌场超过一定次数，就需要向上级申报，以提前作出预警。实际上，由于进出赌场需要身份证明，所以政府掌握了公务员有关赌博的信息，并为其提前干预提供了可能。印度：近两年印度政府运用大数据技术打造出一个智慧城市，据印度全国软件与服务企业协会预计，在未来的三年内，印度大数据行业发展的规模将会得到飞速增长，发展规模将是印度当前大数据发展的6倍之多，相当于全球大数据行业平均增长速度的两倍。近些年，印度人在美国大型企业中高管的人数明显激增，如微软CEOSatyaNadella，谷歌CEOSundarPichai，而且谷歌董事会领导层的13名成员中有4个是印度裔。政府对大数据政策的支持2015年，印度总理莫迪提出了多项新政以鼓励互联网及创业企业发展，如“数字印度”（DigitalIndia）、“初创印度”（Start-upIndia）、“技术印度”（SkillIndia）、“创新基金”（IndiaInnovationFund)。从资金、税收等方面对互联网发展进行了大力的扶持。数字印度：1.加快宽带和移动互联网基础设施建设；提高农村地区的网络覆盖，到2019年前光纤网络覆盖25万个印度村庄；2.实施公共网络接入计划；推行电子政务改革；推动全民信息计划；3.发展电子制造业；增加IT就业岗位。初创印度：1.计划目标争取到2020年前后，将印度初创企业增加到12000家；要求印度各邦都必须建立自己的创业服务中心。2.对初创企业减免其税收，而且还为初创企业提供“一日快速注册”服务。在未来四年内，还将为创业者提供每年高达4.75亿美元基金支持，帮助其尽快上路；在未来数年内，印度科技部将为符合条件的创企提供最高15万美元/家的创业补贴。2016年3月，印度批准了外国企业对印度的平台型电商公司进行100%的直接投资，但限制外商对自营型电商公司的投资。应用案例：唯一身份识别项目唯一身份识别项目是一个在线、数字化、无纸化身份识别系统，目前已有超过10亿的注册用户，可以提供多个数字服务的平台。它会产生巨大的数据，这对政府和私营机构来说都十分宝贵。一旦居民有了唯一的身份证号码，可以提供一系列服务的技术，服务提供商就可以利用这个现有的系统，而不用自己设计认证的流程。此外，数字身份系统允许许多服务移到线上进行，可以产生巨大的交易，生成非常有用的行为大数据信息。唯一身份识别应用可以高效的为人们提供服务、方便市民、识别欺诈（如税务欺诈和洗钱）和更好的信息传播。大数据在预测警务方面的应用利用大数据技术，通过警方的干预来预防犯罪，或是使用统计预测来化解犯罪问题。例如预测犯罪风险高的地点和时间点、预测潜在的未来罪犯、建立过去犯罪的档案和预测可能的受害者群体。预测警务主要依据通常使用的犯罪理论，包括犯罪事件、易犯罪的地点和可能的犯罪因素几个方面。预测警务的基本假设是犯罪的对象和地点并不是随机分布，而是“某时、某地、受害者面临安全威胁的环境因素共同作用的结果”，预防性警务不是依靠警察个人的预感，而是基于大数据算法来实现。犯罪和犯罪网络跟踪系统：它是印度数字计划中的电子政务项目，其目的是利用ICT更好地提供以公民为中心的服务，目前连接大约14000个警察局，用于调查、侦查和预防犯罪。预测性警务应用实施的优点是可更好地分配资源、预防犯罪、进行更全面的分析；存在的问题有缺乏防止滥用的保障措施、使用不当易造成歧视、可能导致无正当理由监视、预测模型的不透明性。欧盟：欧盟及其成员国已明确制定了大数据发展战略，利用好数据为运输、健康、等传统行业服务。政府对大数据政策的支持1.欧盟制定了数据价值链战略，旨在通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值。它们遵循高质量数据的广泛获得性原则，例如公共资助数据的免费获取，欧盟内的数据可以自由流动；寻求个人潜在的隐私问题与其数据再利用潜力之间的适当平衡。同时，欧盟开启了高性能计算战略，在第七框架计划和“地平线2020”计划下研究和创新支持可扩展的高性能计算系统。小型“数据中心式开箱”可以单独部署或集中在嵌入式系统在汽车或电话交换机，或者可以在大规模地聚集成为一个云服务器——如处理单元（GPU）或者高性能计算（HPC）系统。2.欧盟委员会资助了“大数据”和“开放数据”领域的研究和创新活动，还启动了“连接欧洲设施计划”，促进数字基础设施建设。并确定了“地平线2020”连接欧盟设施计划的2014-2015年工作内容。3.开放制定公共信息再利用的发挥和数据再利用规则。支持公共部门信息开放活动，搭建开放数据平台。可以看出，各国都在为发展大数据制定战略计划，“大数据”已成为各国发展经济必不可少的国家计划。不久的将来，大数据会更加深入到生活中的方方面面，为政府、企业、民生带来便利、高效的改变。英国：英国政府近年来通过大数据技术，发布了各层级的数据资源，高效率的使用这些政府资源为政府工作部门提高了工作效率，刺激其他机构在数据获取和使用上的积极性，直接或间接为英国增加了近490亿至660亿英镑的收入。政府预计大数据将成为英国经济的主要驱动力，而四个大数据研究中心将确保英国在国际竞争中保持较强竞争力。到2017年，大数据分析将为英国创造5.8万个工作岗位，并带来2160亿英镑的经济收入。政府对大数据政策的支持为提高上述能力,《英国数据能力发展战略规划》进而提出了一系列措施：在人才建设方面，通过大力发展数据相关技术、全面提升和改革教育体系中数据相关课程和专业研究，以及企业人才激励和数据相关职业发展，来促进人才培育。在基础设施、软件和协同研发方面：以强大的数据存储、云计算、网络等基础设施为基础，大力开发新软件和新技术，提升研发实力，促进学校和企业、跨学科/跨领域的机构和部门之间的合作共赢。在隐私方面：重视数据安全和隐私保护，完善法律和制度建设，合理进行数据共享和信息公开。成立信息经济委员会为保障《英国数据能力发展战略规划》的实施，英国政府成立了信息经济委员会，作为一个跨企业界、学术界和政府的合作部门，促进英国数据能力战略方针制定。在信息经济委员会的指导下，还分别成立了多个委员会，为英国政府大数据存储和分析所需的计算基础设施、技术支持提供建议。建设一座超宽带数据中心以英国为首的欧洲核子中心（CERN）将在匈牙利科学院魏格纳物理学研究中心建设一座超宽带数据中心。建成后，魏格纳数据中心将成为连接CERN且具有欧洲最大传输能力的数据处理中心，未来该设施在处理大型强子对撞机（LHC）的数据以及实验方面发挥重要作用。据英国政府预测，到2017年，大数据技术可为英国提供5.8万个新的工作岗位，并直接或间接带来2160亿英镑的经济增长。在英国，大数据的出现极大地促进了政府与相关公共机构工作方式的转变，推动了大数据相关产业链的研究和发展。在商业上有更多可以借助其技术进行开发的新的产品类型与市场形式，进一步开放了企业的创新能力和竞争力。信息经济委员会的成立很好的保障了《英国数据能力发展战略》的实施，作为一个跨企业界、学术界和政府的合作部门，促进英国数据能力战略方针制定。在信息经济委员会的指导下，还分别成立了多个委员会，为英国政府的大数据存储和分析所需的计算基础设施、技术支持提供建议。应用案例：利用大数据进行财政监督和防诈骗英国财政部注册twitter官方帐号@hmtreasury，第一时间将财政动向在互联网上公布，内容涉及包括政府花费在内的所有财政事务。财政部向它所有关注者公布政府支出消息。同时，英国政府通过利用大数据检索出了200亿英镑的逃税与诈骗。SAS帮助英国税务和海关总署，通过检测行为模式收回了数十亿美元。这项技术能够在发放许可证之前，通过分析检测公民是否有过受贿等行为再决定是否可以发放。分析系统的作用，是能够通过收集公民的行为来准确的判断。政府利用大数据进行航空掘金航空方面，英国航空部门制定英国航空技术战略，战略指出要通过实现基础设施现代化和更加智能的利用客户数据来增加营业收入，致力于最大化利用客户购买行为数据来提高自身服务。航空部门不仅通过利用大数据技术发掘自身的数据源，也包括其他信息源。不仅利用自身掌握的数据源，还利用英国航空忠诚客户奖励计划Avios数据。英国航空与第三方进行合作，使用先进的科学从数据中提炼出可预期模式，并把这些模式转化成商业输出，这些结果以“作为一种服务”的时尚方式返回给英国航空。大数据助力政府情报安全英国气象局推进一项大数据驱动型安全模型，旨在利用一套基于NOSQL的系统对网络流量中的异常活动加以处理，从而处理各类安全威胁。在此之前，英国气象局还构建起一套专用的网络安全运营中心，并根据“信任区”开发一项信息安全战略。这些对核心信息的识别工作需要强大的防御体系作为后盾，但其同时也接受一项基本理念，即再强大的外部防御机制也几乎一定会被侵入。法国：政府对大数据政策的支持为抓住大数据发展机遇，促进本国大数据领域的发展，以便在经济社会发展中占据主动权，2013年2月，法国政府发布了《数字化路线图》，宣布将投入1.5亿欧元大力支持5项战略性高新技术，而“大数据”就是其中一项。2013年7月，法国中小企业、创新和数字经济部发布了《法国政府大数据五项支持计划》，包括引进数据科学家教育项目；设立一个技术中心给予新兴企业各类数据库和网络文档存取权;通过为大数据设立原始扶持资金，促进创新；在交通、医疗卫生等纵向行业领域设立大数据旗舰项目；为大数据应用建立良好的生态环境，如在法国和欧盟层面建立用于交流的各类社会网络等。于此同时，法国建立了大数据孵化器来支持大数据产业的发展。“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。”法国计划2013年至2018年在巴黎等地创建大数据孵化器，投资3亿欧元向数百家大数据初创企业发动启动资金，法国政府也出台了大数据战略规划拥有支持大数据发展产业。应用案例：利用大数据进行智慧城市的建设法国在城市中心区通过安装数百个各类感应器来监控、测量、控制城市环境。根据数据监测显示，城市中心区的路灯照明占整个城市能源消耗的40%，而利用感应器，城市街道照明和维护成本可以减少20%~30%。同时，法国研发智能水表项目，利用传感器探测水质，并将探测结果送到数据中心进行分析，把分析结果实时提供给用户。四项数字化服务法国政府利用大数据推出了四项数字化服务，有助于改善人们的日常生活。有可查询近三年法国所有高中会考科目名单的开放数据平台；基于全球定位系统可寻找到培训服务的平台；残疾学生利用智能手机可找到适合服务类型的平台；家长可实时了解孩子预科阶段的课程学习情况的平台。中国大数据发展趋势分析：从制度、技术、产业和学科建设等层面对大数据的发展进行分析与研判，并提出中国大数据发展的十大新趋势。趋势之一：丰富细致的政策体系助推大数据落地。从中央到地方，更加丰富的配套政策与实施细则将促进大数据加快落地，更多地方政府积极推进大数据发展，并在大数据政用、商用、民用领域打造大数据应用的典范。趋势之二：地方试点创新体系呈现特色化差异化。国家级“试验区”、部委级“产业示范基地”和省市级“示范园区”的大数据试点创新体系正在形成，将带动发展一系列大数据重大工程、实验室建设以及产业的转型升级，形成协