大数据时代课件

大数据时代的全球竞争与对策袁卫人民大学2015.8.21

一、大数据时代的全球竞争二、大数据改变我们的生活三、全球竞争需要政府主导四、大数据人才竞争与培养五、媒体大数据的误区李克强总理2015年5月26日在贵阳大数据峰会贺信中说:“数据是基础性资源，也是重要的生产力。大数据与云计算、互联网等新技术相结合，正在迅速并将日益深刻改变人们的生活方式，互联网+对于提升产业乃至国家综合竞争力将发挥关键作用.中国是人口大国和信息应用大国，拥有海量数据资源，发展大数据产业空间无限….”摩尔定律（Moore’sLaw)存储的价格从上个世纪60年代1万美元1M，降到现在的1美分1G的水平，其价差高达亿倍在大数据时代，国家竞争力将部分体现为一国拥有数据的规模以及解释、运用数据的能力；国家网络空间主权体现对数据的占有和控制。数据主权将是继边防、海防、空防之后，另一个大国博弈的空间。数据已同固定资产、人力资本等生产要素一样重要。在联合国2008年新国民经济核算体系中，强调数据、数据库、研究与开发(R&D)对GDP的贡献。数据是一种很特殊的资本，首先它没有排它性，没有消耗性，却有整合性，通过1+1可以大于2。所以数据竞争将成为商业、国家竞争的一种重要形式。大数据新技术发展规律周期Gartner公司2014年Hypecycle曲线揭示了BigData经历了2012-2013的上升期和快速成长期，基础理论趋于成熟，应用与产业技术逐渐成熟BigData技术源自企业需求，落地于开源社区项目，推动于企业大数据分析应用，成熟于IT企业平台BigData已经成为人类社会新的基础设施，通过数据描述社会动态与发展变迁提高大数据国际竞争力提高信息资源开放程度IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”大数据的价值取决于大数据的可得性和开放性提高基础数据服务水平，消除数据孤岛，提高数据共享，挖掘数据价值通过制订标准、立法等手段解决数据开放性与隐私保护之间的矛盾二、大数据改变我们的生活2012年5月18日Facebook在纳斯达克上市，开盘后总市值1000亿美元左右。2011年评估公司审核时Facebook公布资产约66亿美元，包括计算机硬件、专利、其他价值等。大量数据值多少钱？2009到2011年Facebook收集2.1万亿条信息，每条信息值4美分，每位用户价值越100美元，全球每10人中就有1位用户。数据与品牌、人才、战略等形成巨大的无形资产，无形资产在2002年约占上市公司市值的75%。例1.1奥巴马2012年竞选2012年大选前建立竞选数据库通过数据分析发现美国西海岸，40-49岁的女性非常喜欢乔治.克鲁尼（奥斯卡影帝），同时这个年龄段的女性也是捐款最多的，所以奥巴马团队就搞了一个项目：通过捐款获得一个与奥巴马和克鲁尼一起吃饭的机会。对Facebook数据分析,奥巴马支持者对摇摆州朋友的影响大数据分析帮助奥巴马2012年拉到1billion美元的竞选经费，包括改善电视广告,摇摆州投票的影响。例1.2，数据帮助降低犯罪率上世纪70-80年代的纽约是犯罪之都，1990年平均每天6人死于恶性犯罪，每小时16辆被盗。1970年杰克.梅普尔(JackMaple)高中毕业后成为地铁警察，开始研究地铁抢劫案发生规律。办公室挂满各种地图，将犯罪标在地图上并决定第二天出警地点(chartsoffuture).1990年这一图表引起新任局长布雷特(WilliamBratton)注意，得到推广。1991年纽约地铁案件下降27%。共和党人鲁迪.朱利安尼(RudyGiuliani)竞选当上市长，立即任命布雷特为局长，布立即任命梅普尔为第一副局长。电子版的chartsoffuture就是CompStat,纽约76个警区全部数据，1994年起案件下降，2009年每天1起(全年466起）。1996年CompStat获哈佛大学的InnovationsinAmericanGovernmentAward,引起美国总统和副总统注意，在全国推广CrimeMappingandData-DrivenManagement.到2006年将20多年犯罪数据和交通事故数据结合在一起，发现高度相关。不同联邦部门联合治理，10万人以下城市至少4年以上数据。提高效率，改善治安。例1.3,佛罗里达州警车超速调查2011年10月佛罗里达州劳德代尔市(FortLauderdale)发生一起恶性交通事故，警车超速。《太阳哨兵报》记者克斯汀（SallyKestin)开始调查：2004年起，该州发生320起警车超速导致的交通事故，19人丧生，只有一名警察入狱。难在取证。根据美国信息自由法，克斯汀申请交管信息开放。获得110万条警车通过不同高速路收费站信息，用3个月时间算出13个月中，3900辆警车发生5100宗超速事件。96%超速在144公里到176公里之间，当地1/5警车都有超过144公里记录。例1.4,世界杯的大数据我7月初就收到微信：意大“离”了、西班“哑”了、英格“烂”了、乌拉“归”了…..八强赛：哥伦比“哑”了、法兰“熄”了、比利“失”了、哥斯达“离家”了！四强赛：巴“熄”了、荷“烂”了….决赛：阿根“停”了，德“过”了。德国队用SAPMatchInsight系统，球员鞋内、护腕内放置传感器，足球和球场内布满传感器，捕捉球员动作细节和位置变化，实时传回到SAPHANA平台上，几分钟后处理完显示在教练的平板显示器上，每个球员跑动线路、技术特征、成功率等数据都一目了然。教练可以用它安排技战术，球员可用它发现问题。三、全球竞争要政府主导：美国2004年11月奥巴马赢得联邦参议院选举，他当了三年多参议员，作为第一发起人提了137个法案，只有2个成为法案。同时作为合署人与其他议员发起600多个法案，他上任成功推出的第一份法案就是有关数据开放的法案《联邦资金责任透明法案》(科伯恩---奥巴马法案)，要求公开所有公共财政支出的原始数据USA2009年1月21日上任第一天签署的首份总统备忘录《透明和开放的政府》，签署的第二份《信息自由法》2009年3月5日他上任不到两个月就任命联邦政府首席信息官，4月18日又任命了首席技术官。D。美国从“信息高速公路计划”过渡到“大数据计划”大数据战略第二轮行动大数据战略第三轮行动2013年6月，八国集团首脑在北爱尔兰峰会上签署了《开放数据宪章》，法国、美国、英国、德国、日本、意大利、加拿大和俄罗斯承诺，2013年年制定开放数据行动方案，2015年年底开放可机读的政府数据。八国用共同的网站：.目前美国网站包含来自90个联邦机构的200个发布主体,176个组织主页,提供了129,950个数据集.BigDataforDevelopment:Challenges&OpportunitiesMay2012联合国中国大数据不仅仅是数据状态和高科技信息技术，而是认识世界的观念与方法。一是用数据说话，科学决策；二是职能辅助决策，提高办事效率。2013年3月14日公布的《国务院机构改革和职能转变方案》要求，用3至5年时间，基本建成集合金融、工商登记、税收缴纳、社保缴费、交通违章等信用信息的统一平台，实现资源共享；建立以居民身份号码为基础的公民统一社会信用代码制度；建立以组织机构代码为基础的法人和其他组织统一社会信用代码制度；建立不动产统一登记制度；加强技术标准体系建设。智慧城市建设2008年11月，IBM董事长SamuelPalmisano（彭明盛）在美国外交委员会演讲中，提出智慧地球和智慧城市的概念。“全面感知、充分整合、激励创新、协同运作”。截止2009年，全球已有一半以上人口居住在城市，到2030年，将有50亿人口住在城市。到2014年，居住在城市的中国百姓已近55%信息网络宽带化、规划管理信息化、基础设施智能化、公共服务便捷化、产业发展现代化以及社会治理精细化。2013年全球7大智慧城市全球超过400个城市竞逐最有智慧城市头衔，最后选出这7个城市，分别是：1、美国俄亥俄州的哥伦布市；2、芬兰的奥卢；3、加拿大的斯特拉特福；4、台湾地区的台中市；5、爱沙尼亚的塔林；6、我国台湾地区的桃园县；7、加拿大的多伦多。2012年12月5日住房与城乡建设部“关于开展国家智慧城市试点工作的通知”，到2015年1月住建部和科技部分三批公布290个试点市、区、镇。智慧城市的三化：物联化、互联化和智能化。智慧城市四大特征：全面职能的感知、宽带互联的便利、职能融合的应用、以人为本的持续创新。近三年国家开发银行投资800亿，整个投资近5000亿搞新型城镇化建设。经过3-5年试点建设，住建部评定1、2、3星。2012年底广东率先制定《广东省实施大数据战略工作方案》，采用行政收集、网络搜取、自愿提供、有偿购买等多种方式拓宽数据搜集渠道；政府各部门开展数据开放试点，通过部门网站向社会开放可供下载和分析使用的数据，进一步推进政务公开；建设完善全省网上办事大厅、政府数据档案、企业信用信息网等骨干网路系统；同时，同3年左右时间，在全省范围内推广设立公民个人专属网页。到2015年力争信息化水平达到中等发达国家水平，到2020年，迈进世界先进水平，基本建成“智慧广东”。案例3.1，广东佛山市南海区成立数据统筹局硬件设施平台城市信息服务平台1、硬件、网络基础平台网络、核心存储、服务器等硬件基础设施、数据资源、应用系统的运营和管理，由数据中心根据管理制度及流程进行统一管理。内设运维监控大厅，实行24小时在线值守。2、智慧城市软件平台应用系统开发采用统一的基础信息平台，有助于在各个阶段降低成本，共享应用和技术资源，避免重复独立建设，降低技术风险和实施难度，加快“智慧克拉玛依”建设速度和效果。建成两大平台，奠定智慧城市建设基础案例3.2,新疆克拉玛依市的智慧城市建设数字克拉玛依建设初见成效数字惠民1、标准规范体系建设工程2、网络基础设施建设工程3、城市数据中心建设工程4、信息资源建设工程5、信息服务平台建设工程6、地理信息系统建设工程7、信息强政建设工程8、信息惠民建设工程9、信息兴业建设工程10、数字城市门户系统建设工程11、安全体系建设工程12、运维体系建设工程数字兴业数字惠民数字兴业数字强政到2020年，建立完善的信息通信基础设施，突破一批核心技术、共性技术、关键技术和运营技术，以技术、标准、方案、服务模式为主要产品的智慧产业，形成覆盖各行业、各领域、各区域的城市运营服务体系，建成中亚地区领先的智慧城市生态体系和辐射中亚、全国的智慧产业生态系统。到2015年，信息化成为推动克拉玛依经济发展的重要力量，实现经济形态的两个转变：一是进入“网络形态”，信息化成为企业重要支撑。二是进入“智能形态”，重点企业实现信息共享、高端发展，重点行业进入智能发展的轨道。第一阶段目标：初级智慧型城市第二阶段目标：成熟智慧型城市健康云：实施区域远程医学平台建设项目，引进内地25家优质医疗资源，开展远程会诊、远程教学查房等服务，为建立健康云奠定了基础；教育云：面向全市中小学，建立了教育资源库、数字化图书馆，数字化教研网及数字化教学平台，实现教育资源向社会开放及远程教学，教育云初见成效；政务云：开通电子政务云，完成7套政务系统在政务云上的部署，在5个部门开展云桌面应用，提供了电子政务云应用的范例；石油云：在自治区支持下，正在推动石油云建设，将石油业务的系统和运用集中于云端，提供基于云计算的石油行业信息云计算应用。目前，克拉玛依已被批准成为中国云计算服务创新示范区。基于华为云平台，在云计算建设和应用方面也取得系列成绩：问题:信息孤岛与数据开放今年两会期间，人大代表雷军提交了《关于加快实施大数据国家战略的建议》，提出：政府分享数据。今年4月3日国务院办公厅《2015年政府信息公开工作要点》，“积极稳妥推进政府数据公开，鼓励和推动企业、第三方机构、个人等对公共数据进行深入分析和应用”。如能落实，将具有里程碑性质。中国赶超的机遇大数据时代，有两点非常有利于中国竞争力跨越式发展。第一，大数据技术以开源为主，迄今为止，尚未形成绝对技术垄断。即便是IBM、甲骨文等行业巨擘，也同样是集成了开源技术，和本公司原有产品更好地结合而已。开源技术对任何一个国家都是开放的，中国公司同样可以分享开源的蛋糕。但是需要更加开放的心态，更加开明的思想，正确的对待开源社区。第二，中国人口和经济规模，决定中国的数据资产规模，冠于全球。客观上为大数据技术的发展，提供了演练场。后一点急需政府、学术界、产业界、资本市场四方通力合作，在确保国家数据安全的前提下，最大程度地开放数据资产，促进数据关联应用，释放大数据的大价值。四、大数据人才的竞争与培养2012年2月11日<纽约时报>长篇文章“大数据时代”（TheAgeofBigData).美国需要14-19万数据分析专家和150万数据经理。著名的咨询机构Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。其中有190万个工作岗位将在美国。而每一个与大数据有关的IT工作，都将在技术行业外部再创建3个工作岗位，这将在美国再创建将近600万个工作岗位。但与此相矛盾的是在这些全球新增的大数据工作需求中，只有三分之一的能够得到满足。数据科学家近年来受欢迎的新职业，是统计学家、软件工程师、图形设计师和作家的结合，目的是从大数据中得到新发现。谷歌首席经济学家哈尔.范里安(HalVarian)说“数据非常之多而且具有战略重要性，但是真正缺少的是从数据中提取价值的能力。这也就是为什么统计学家、数据库管理者和掌握机器学习理论的人是真正了不起的人。”201318142012013年我们（约）：学士：9,000硕士：2,000(学术型）630(专硕)博士：400MBA计算机统计与运筹学商学（市场营销、电子商务等）大数据分析硕士项目在大数据环境下处理、分析数据的能力数据分析师数据到价值关键环节数据到价值核心环节数据到价值基础环节数据挖掘工程师、数据架构师算法工程师、数据开发工程师国内大数据人才的培养应用统计专业硕士（大数据分析方向）专业课程设置人大、北大、中科院大学、中财大、首经贸五所高校与人民日报、新华社、中央电视台、百度、阿里巴巴、京东等共建“大数据分析硕士”平台。五、媒体大数据的误区误区之一：数据越大越好、越准误区之二：不再依赖于样本推断总体，[英]维克托·迈尔-舍恩伯格，《大数据时代》马克·吐温：“世界上三种谎言,分别是谎言,该死的谎言和统计数字（Therearethreekindsoflies:lies,damnedlies,andstatistics)例5.1盖洛普的崛起1936年美国总统大选，文摘(LiteraryDigest)杂志邮寄了1千万份调查表,调查选民是支持民主党的F.D.Roosevelt，还是共和党堪萨斯州州长AlfredLandon。1916年以来文摘在每次选举前都预测了总统选举的获胜者。在回收调查表前，文摘说，“当最后的数据统计出并检查完后，假设过去的经验可以当作判断标准，这个国家将知晓四千万张选票中实际赞成票的比率，误差在1%以内”（1936年8月22日）。文摘收到了240万份答卷,样本结果表明：Landon57%，FDR43%。盖洛普的崛起真实的选举结果是：FDR62%，Landon38%。[注：（1）文摘从诸如电话号码薄、俱乐部会员一览表、杂志订阅和汽车注册这样的来源抽取得到它的抽样框。（2）1936年这个国家由于经济政策的分歧在政治上发生分裂-共和党人一般比民主党人更富裕。（3）对它的民意测验文摘依靠自愿回答。]例5.2美国广播公司(ABC)节目调查ABC晚间电视新闻曾有一次问观众：

“联合