大数据时代的全球竞争与对策

大数据时代的全球竞争与对策袁卫人民大学

一、大数据时代的全球竞争二、大数据改变我们的生活三、全球竞争需要政府主导四、大数据人才竞争与培养五、媒体大数据的误区李克强总理2015年5月26日在贵阳大数据峰会贺信中说:“数据是基础性资源，也是重要的生产力。大数据与云计算、互联网等新技术相结合，正在迅速并将日益深刻改变人们的生活方式，互联网+对于提升产业乃至国家综合竞争力将发挥关键作用.中国是人口大国和信息应用大国，拥有海量数据资源，发展大数据产业空间无限….”一、大数据时代的全球竞争大数据三个基本特征：1，数据PB级(volume)；2，数据类型繁多，不仅结构化数据，还有网络日志、视频、图片和地理位置信息等非结构化数据(variety)；3，处理速度越来越快(velocity)。摩尔定律（Moore’sLaw)存储的价格从上个世纪60年代1万美元1M，降到现在的1美分1G的水平，其价差高达亿倍在大数据时代，国家竞争力将部分体现为一国拥有数据的规模以及解释、运用数据的能力；国家网络空间主权体现对数据的占有和控制。数据主权将是继边防、海防、空防之后，另一个大国博弈的空间。数据已同固定资产、人力资本等生产要素一样重要。在联合国2008年新国民经济核算体系中，强调数据、数据库、研究与开发(R&D)对GDP的贡献。数据是一种很特殊的资本，首先它没有排它性，没有消耗性，却有整合性，通过1+1可以大于2。所以数据竞争将成为商业、国家竞争的一种重要形式。亚马逊前前首席科科学家安安德雷斯斯韦斯斯岸直白白地指出出：数据是新新的石油油。在贵阳大大数据峰峰会上马马云预测测：数据将取取代石油油，成为为未来制制造业最最大的能能源。大数据新新技术发发展规律律周期Gartner公司2014年Hypecycle曲曲线揭示示了BigData经历了了2012-2013的上升升期和快快速成长长期，基基础理论论趋于成成熟，应应用与产产业技术术逐渐成成熟BigData技术术源自企企业需求求，落地地于开源源社区项项目，推推动于企企业大数数据分析析应用，，成熟于于IT企企业平台台BigData已经经成为人人类社会会新的基基础设施施，通过过数据描描述社会会动态与与发展变变迁大数据竞竞争力分分析我国信息息化发展展的桎梏梏——缺缺乏核心心技术结构化数数据处理理时代：：数据库库市场被被Oracle、IBM、Microsoft、、SAP等国外外数据库库产品所所垄断，，国产数数据库在在夹缝中中生存大数据时时代：国国内大数数据平台台技术依依赖Hadoop等国国外开源源平台，，在短期期内获得得巨大的的成功，，但难以以跳出以以仿制为为主，缺缺乏自主主创新能能力的窠窠臼，在在大数据据平台架架构方面面缺乏影影响力，，重走IT产业业的“中中国制造造”大国国而非““中国创创造”大大国之路路，重蹈蹈我国在在电脑和和手机操操作系统统方面处处处受制制于人的的覆辙大数据发发展方向向偏差———重商商业应用用，轻基基础产业业引领我国国大数据据产业的的是BAT（百百度、阿阿里、腾腾讯）等等互联网网和电子子商务产产业需要大力力推动科科学研究究、疾病病防治、、灾害预预测与控控制、国国防安全全、食品品安全与与群体事事件等民民生领域域的大数数据应用用提高大数据国国际竞争力提高信息资源源开放程度IBM执行总总裁罗睿兰认认为，“数据据将成为一切切行业当中决决定胜负的根根本因素，最最终数据将成成为人类至关关重要的自然然资源。”大大数据的价值值取决于大数数据的可得性性和开放性提高基础数据据服务水平，，消除数据孤孤岛，提高数数据共享，挖挖掘数据价值值通过制订标准准、立法等手手段解决数据据开放性与隐隐私保护之间间的矛盾二、大数据改改变我们的生生活2012年5月18日Facebook在纳斯斯达克上市，，开盘后总市市值1000亿美元左右右。2011年评估公司司审核时Facebook公布资资产约66亿亿美元，包包括计算机硬硬件、专利、、其他价值等等。大量数据据值多少钱？？2009到到2011年年Facebook收集集2.1万亿亿条信息，每每条信息值4美分，每位位用户价值越越100美元元，全球每10人中就有有1位用户。。数据与品牌、、人才、战略略等形成巨大大的无形资产产，无形资产产在2002年约占上市市公司市值的的75%。例1.1奥巴马2012年竞选2012年大大选前建立竞竞选数据库通过数据分析析发现美国西西海岸，40-49岁的的女性非常喜喜欢乔治.克克鲁尼（奥斯斯卡影帝），，同时这个年年龄段的女性性也是捐款最最多的，所以以奥巴马团队队就搞了一个个项目：通过过捐款获得一一个与奥巴马马和克鲁尼一一起吃饭的机机会。对Facebook数据据分析,奥奥巴马支持者者对摇摆州朋朋友的影响大数据分析帮帮助奥巴马2012年拉拉到1billion美美元的竞选经经费，包括改改善电视广告告,摇摆州州投票的影响响。例1.2，数据帮助降降低犯罪率上世纪70-80年代的的纽约是犯罪罪之都，1990年平均均每天6人死死于恶性犯罪罪，每小时16辆被盗。。1970年杰杰克.梅普尔尔(JackMaple)高中毕毕业后成为地地铁警察，开开始研究地铁铁抢劫案发生生规律。办公公室挂满各种种地图，将犯犯罪标在地图图上并决定第第二天出警地地点(chartsoffuture).1990年这一图表表引起新任局局长布雷特(WilliamBratton)注意，得得到推广。1991年纽纽约地铁案件件下降27%。共和党人人鲁迪.朱利利安尼(RudyGiuliani)竞选当当上市长，立立即任命布雷雷特为局长，，布立即任命命梅普尔为第第一副局长。。电子版的chartsoffuture就是CompStat,纽约76个警区全全部数据，1994年起起案件下降，，2009年年每天1起(全年466起）。1996年CompStat获哈佛佛大学的InnovationsinAmericanGovernmentAward,引引起美国总总统和副总统统注意，在全全国推广CrimeMappingandData-DrivenManagement.到到2006年将20多多年犯罪数据据和交通事故故数据结合在在一起，发现现高度相关。。不同联邦部部门联合治理理，10万人人以下城市至至少4年以上上数据。提高高效率，改善善治安。例1.3,佛罗里达州警警车超速调查查2011年年10月佛佛罗里里达州州劳德德代尔尔市(FortLauderdale)发生生一起起恶性性交通通事故故，警警车超超速。。《太太阳哨哨兵报报》记记者克克斯汀汀（SallyKestin)开始始调查查：2004年年起，，该州州发生生320起起警车车超速速导致致的交交通事事故，，19人丧丧生，，只有有一名名警察察入狱狱。难难在取取证。。根据据美国国信息息自由由法，，克斯斯汀申申请交交管信信息开开放。。获得得110万万条警警车通通过不不同高高速路路收费费站信信息，，用3个月月时间间算出出13个月月中，，3900辆警警车发发生5100宗宗超速速事件件。96%超速速在144公里里到176公里里之间间，当当地1/5警车车都有有超过过144公公里记记录。。而且，，绝大大多数数超速速在上上下班班途中中。2012年年2月月第一一篇报报道““他们们凌驾驾于法法律之之上””。查查实800名警警察，，48名州州高速速路巡巡警受受处分分，迈迈阿密密市38名名警察察受处处理，，1名名被开开除，，10名停停发工工资等等。2012年年底克克斯汀汀又作作了与与2011年同同月的的对比比分析析，2月到到12月超超速数数从3179件件减少少到495件，，减少少84%，，写第第二篇篇报道道“警警察猛猛踩刹刹车！！”《太阳阳哨兵兵报》》是当当地县县里的的小报报，23万万份，，获得得2013年普普利策策新闻闻奖。。例1.4,世界杯杯的大大数据据我7月月初就就收到到微信信：意意大““离””了、、西班班“哑哑”了了、英英格““烂””了、、乌拉拉“归归”了了…..八八强赛赛：哥哥伦比比“哑哑”了了、法法兰““熄””了、、比利利“失失”了了、哥哥斯达达“离离家””了！！四强强赛：：巴““熄””了、、荷““烂””了…….决决赛：：阿根根“停停”了了，德德“过过”了了。德国队队用SAPMatchInsight系统统，球球员鞋鞋内、、护腕腕内放放置传传感器器，足足球和和球场场内布布满传传感器器，捕捕捉球球员动动作细细节和和位置置变化化，实实时传传回到到SAPHANA平台台上，，几分分钟后后处理理完显显示在在教练练的平平板显显示器器上，，每个个球员员跑动动线路路、技技术特特征、、成功功率等等数据据都一一目了了然。。教练练可以以用它它安排排技战战术，，球员员可用用它发发现问问题。。三、全全球竞竞争要要政府府主导导：美美国2004年年11月奥奥巴马马赢得得联邦邦参议议院选选举，，他当当了三三年多多参议议员，，作为为第一一发起起人提提了137个法法案，，只有有2个个成为为法案案。同同时作作为合合署人人与其其他议议员发发起600多个个法案案，他他上任任成功功推出出的第第一份份法案案就是是有关关数据据开放放的法法案《《联邦邦资金金责任任透明明法案案》(科伯伯恩---奥巴巴马法法案)，要要求公公开所所有公公共财财政支支出的的原始始数据据USA2009年年1月月21日上上任第第一天天签署署的首首份总总统备备忘录录《透透明和和开放放的政政府》》，签签署的的第二二份《《信息息自由由法》》2009年年3月5日日他上任不不到两个月月就任命联联邦政府首首席信息官官，4月18日又任任命了首席席技术官。。D。。美国从“信信息高速公公路计划””过渡到““大数据计计划”大数据战略略第一轮行行动大数据战略略第二轮行行动大数据战略略第三轮行行动2013年年6月，八八国集团首首脑在北爱爱尔兰峰会会上签署了了《开放数数据宪章》》，法国、、美国、英英国、德国国、日本、、意大利、、加拿大和和俄罗斯承承诺，2013年年年制定开放放数据行动动方案，2015年年年底开放放可机读的的政府数据据。八国用共同同的网站：：.目前美国网网站包含来来自90个个联邦机构构的200个发布主主体,176个组织织主页,提提供了129,950个数据据集.BigDataforDevelopment:Challenges&OpportunitiesMay2012联合国中国大数据不仅仅仅是数据据状态和高高科技信息息技术，而而是认识世世界的观念念与方法。。一是用数数据说话，，科学决策策；二是职职能辅助决决策，提高高办事效率率。2013年年3月14日公布的的《国务院院机构改革革和职能转转变方案》》要求，用用3至5年年时间，基基本建成集集合金融、、工商登记记、税收缴缴纳、社保保缴费、交交通违章等等信用信息息的统一平平台，实现现资源共享享；建立以以居民身份份号码为基基础的公民民统一社会会信用代码码制度；建建立以组织织机构代码码为基础的的法人和其其他组织统统一社会信信用代码制制度；建立立不动产统统一登记制制度；加强强技术标准准体系建设设。智慧城市建建设2008年年11月月，IBM董事长SamuelPalmisano（（彭明盛））在美国外外交委员会会演讲中，，提出智慧慧地球和智智慧城市的的概念。““全面感知知、充分整整合、激励励创新、协协同运作””。截止2009年，全全球已有一一半以上人人口居住在在城市，到到2030年，将有有50亿人人口住在城城市。到2014年，居住住在城市的的中国百姓姓已近55%信息网络宽宽带化、规规划管理信信息化、基基础设施智智能化、公公共服务便便捷化、产产业发展现现代化以及及社会治理理精细化。。2013年年全球7大大智慧城市市全球超过400个城城市竞逐最最有智慧城城市头衔，，最后选出出这7个城城市，分别别是：1、美国国俄亥俄俄州的哥伦布市市；2、芬兰兰的奥卢；3、加拿拿大的斯特拉特特福；4、台湾湾地区的的台中市；5、爱沙沙尼亚的的塔林；6、我国国台湾地地区的桃园县；7、加拿拿大的多伦多。2012年12月5日日住房与与城乡建建设部““关于开开展国家家智慧城城市试点点工作的的通知””，到2015年1月月住建部部和科技技部分三三批公布布290个试点点市、区区、镇。。智慧城城市的三三化：物物联化、、互联化化和智能能化。智慧城市市四大特特征：全全面职能能的感知知、宽带带互联的的便利、、职能融融合的应应用、以以人为本本的持续续创新。。近三年国国家开发发银行投投资800亿，，整个投投资近5000亿搞新新型城镇镇化建设设。经过3-5年试试点建设设，住建建部评定定1、2、3星星。2012年底广广东率先先制定《《广东省省实施大大数据战战略工作作方案》》，采用用行政收收集、网网络搜取取、自愿愿提供、、有偿购购买等多多种方式式拓宽数数据搜集集渠道；；政府各各部门开开展数据据开放试试点，通通过部门门网站向向社会开开放可供供下载和和分析使使用的数数据，进进一步推推进政务务公开；；建设完完善全省省网上办办事大厅厅、政府府数据档档案、企企业信用用信息网网等骨干干网路系系统；同同时，同同3年左左右时间间，在全全省范围围内推广广设立公公民个人人专属网网页。到到2015年力力争信息息化水平平达到中中等发达达国家水水平，到到2020年，，迈进世世界先进进水平，，基本建建成“智智慧广东东”。案例3.1，广广东佛山山市南海海区成立立数据统统筹局硬件设施平台城市信息服务平台1、硬件件、网络络基础平平台网络、核核心存储储、服务务器等硬硬件基础础设施、、数据资资源、应应用系统统的运营营和管理理，由数数据中心心根据管管理制度度及流程程进行统统一管理理。内内设运维维监控大大厅，实实行24小时在在线值守守。2、、智智慧慧城城市市软软件件平平台台应用用系系统统开开发发采采用用统统一一的的基基础础信信息息平平台台，，有有助助于于在在各各个个阶阶段段降降低低成成本本，，共共享享应应用用和和技技术术资资源源，，避避免免重重复复独独立立建建设设，，降降低低技技术术风风险险和和实实施施难难度度，，加加快快““智智慧慧克克拉拉玛玛依依””建建设设速速度度和和效效果果。。建成成两两大大平平台台，，奠奠定定智智慧慧城城市市建建设设基基础础案例3.2,新新疆疆克拉拉玛依依市的的智慧慧城市市建设设数字克克拉玛玛依建建设初初见成成效数字惠惠民1、标准规范体系建设工程2、网络基础设施建设工程3、城市数据中心建设工程4、信息资源建设工程5、信息服务平台建设工程6、地理信息系统建设工程7、信息强政建设工程8、信息惠民建设工程9、信息兴业建设工程10、数字城市门户系统建设工程11、安全体系建设工程12、运维体系建设工程数字兴兴业数字惠惠民数字兴兴业数字强强政到2020年，，建立立完善善的信信息通通信基基础设设施，，突破破一批批核心心技术术、共共性技技术、、关键键技术术和运运营技技术，，以技技术、、标准准、方方案、、服务务模式式为主主要产产品的的智慧慧产业业，形形成覆覆盖各各行业业、各各领域域、各各区域域的城城市运运营服服务体体系，，建成成中亚亚地区区领先先的智智慧城城市生生态体体系和和辐射射中亚亚、全全国的的智慧慧产业业生态态系统统。到2015年，信息息化成为推推动克拉玛玛依经济发发展的重要要力量，实实现经济形形态的两个个转变：一一是进入““网络形态态”，信息息化成为企企业重要支支撑。二是是进入“智智能形态””，重点企企业实现信信息共享、、高端发展展，重点行行业进入智智能发展的的轨道。第一阶段目目标：初级级智慧型城城市第二阶段目目标：成熟熟智慧型城城市健康云：实施区域远远程医学平平台建设项项目，引进进内地25家优质医医疗资源，，开展远程程会诊、远远程教学查查房等服务务，为建立立健康云奠奠定了基础础；教育云：面向全市中中小学，建建立了教育育资源库、、数字化图图书馆，数数字化教研研网及数字字化教学平平台，实现现教育资源源向社会开开放及远程程教学，教教育云初见见成效；政务云：开通电子政政务云，完完成7套政政务系统在在政务云上上的部署，，在5个部部门开展云云桌面应用用，提供了了电子政务务云应用的的范例；石油云：在自治区支支持下，正正在推动石石油云建设设，将石油油业务的系系统和运用用集中于云云端，提供供基于云计计算的石油油行业信息息云计算应应用。目前，克拉拉玛依已被被批准成为为中国云计算算服务创新新示范区。基于华为为云平台，，在云计算算建设和应应用方面也也取得系列列成绩：问题:信息孤岛与与数据开放放今年两会期期间，人大代表雷雷军提交了了《关于加加快实施大大数据国家家战略的建建议》，提出：政政府分享数数据。今年4月3日国务院院办公厅《《2015年政府信信息公开工工作要点》》，“积极极稳妥推进进政府数据据公开，鼓鼓励和推动动企业、第第三方机构构、个人等等对公共数数据进行深深入分析和和应用”。。如能落实实，将具有有里程碑性性质。中国赶超的的机遇大数据时代代，有两点点非常有利利于中国竞竞争力跨越越式发展。。第一，大数数据技术以以开源为主主，迄今为为止，尚未未形成绝对对技术垄断断。即便是IBM、甲骨骨文等行业业巨擘，也也同样是集集成了开源源技术，和和本公司原原有产品更更好地结合合而已。开开源技术对对任何一个个国家都是是开放的，，中国公司司同样可以以分享开源源的蛋糕。。但是需要要更加开放放的心态，，更加开明明的思想，，正确的对对待开源社社区。第二，中国国人口和经经济规模，，决定中国国的数据资资产规模，，冠于全球球。客观上上为大大数据据技术术的发发展，，提供供了演演练场场。后后一点点急需需政府府、学学术界界、产产业界界、资资本市市场四四方通通力合合作，，在确确保国国家数数据安安全的的前提提下，，最大大程度度地开开放数数据资资产，，促进进数据据关联联应用用，释释放大大数据据的大大价值值。四、大大数据据人才才的竞竞争与与培养养2012年年2月月11日<纽约约时报报>长长篇文文章““大数数据时时代””（TheAgeofBigData).美美国需需要14-19万数数据分分析专专家和和150万万数据据经理理。著名的的咨询询机构构Gartner预预测，，到2015年年，全全球将将新增增440万万个与与大数数据相相关的的工作作岗位位，且且会有有25%的的组织织设立立首席席数据据官职职位。。其中中有190万个个工作作岗位位将在在美国国。而而每一一个与与大数数据有有关的的IT工作作，都都将在在技术术行业业外部部再创创建3个工工作岗岗位，，这将将在美美国再再创建建将近近600万万个工工作岗岗位。。但与与此相相矛盾盾的是是在这这些全全球新新增的的大数数据工工作需需求中中，只只有三三分之之一的的能够够得到到满足足。数据科学家近年来受欢迎迎的新职业，，是统计学家家、软件工程程师、图形设设计师和作家家的结合，目目的是从大大数据中得到到新发现。谷谷歌首席经济济学家哈尔.范里安(HalVarian)说“数据非非常之多而且且具有战略重重要性，但是是真正缺少的的是从数据中中提取价值的的能力。这也也就是为什么么统计学家、、数据库管理理者和掌握机机器学习理论论的人是真正正了不起的人人。”201318142012013年我我们（约）：：学士：9,000硕士：2,000(学术术型）630(专硕硕)博士：400MBA计算机统计与运筹学学商学（市场营营销、电子商商务等）大数据分析硕硕士项目在大数据环境境下处理、分分析数据的能能力数据分析师数据到价值关关键环节数据到价值核核心环节数据到价值基基础环节数据挖掘工程程师、数据架架构师算法工程师、、数据开发工工程师国内大数据人人才的培养应用统计专业业硕士（大数数据分析方向向）专业课程程设置人大、北大、、中科院大学学、中财大、、首经贸五所所高校与人民民日报、新华华社、中央电电视台、百度度、阿里巴巴巴、京东等共共建“大数据据分析硕士””平台。五、媒体大数数据的误区误区之一：数数据越大越好好、越准误区之二：不不再依赖于样样本推断总体体，[英]维克托托·迈尔-舍舍恩伯格，《《大数据时代代》马克·吐温：：“世界上三三种谎言,分分别是谎言,该死的谎言言和统计数字字（Therearethreekindsoflies:lies,damnedlies,andstatistics)例5.1盖洛普的崛起起1936年美美国总统大选选，文摘(LiteraryDigest)杂志邮寄了了1千万份调调查表,调调查选民是支支持民主党的的F.D.Roosevelt，还还是共和党堪堪萨斯州州长长AlfredLandon。1916年以以来文摘在每次选举举前都预测测了总统选选举的获胜胜者。在回回收调查表表前，文摘说，“当最最后的数据据统计出并并检查完后后，假设过过去的经验验可以当作作判断标准准，这个国国家将知晓晓四千万张张选票中实实际赞成票票的比率，，误差在1%以内””（1936年8月月22日））。文摘收到了了240万万份答答卷,样样本结结果表表明：：Landon57%，，FDR43%。盖洛普普的崛崛起真实的的选举举结果果是：：FDR62%，Landon38%。[注：：（1）文摘从诸如如电话话号码码薄、、俱乐乐部会会员一一览表表、杂杂志订订阅和和汽车车注册册这样样的来来源抽抽取得得到它它的抽抽样框框。（（2））1936年这这个国国家由由于经经济政政策的的分歧歧在政政治上上发生生分裂裂-共共和党党人一一般比比民主主党人人更富富裕。。（3）对对它的的民意意测验验文摘依靠自愿回回答。]例5.2美国广广播公公司(ABC)节目调调查ABC晚间间电视视新闻闻曾曾有一一次问问观众众：“联合合国应应不应应当继继续把把总部部设在在美国国？””(1995年)总体：：美国国所有有的成成年人人参数：：支持持联合合国留留在美美国的的比率率样本：：那些些打电电话的的人18.5万万多人人打来来电话话做出出应答答应当=61,050不不应当当=123,95061,050/185,000=0.33123,950/185,000=0.67当年进进行的的一次次随机机调查查,结结果果是:应当=0.72不不应