大数据时代的机遇和挑战

1、大数据与管理汇报人：和力第1页数据：数据是统计下来能够被判别符号，包含文字、图片、视频和声音等。太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。第2页目录大数据发展1大数据定义和特征2案例分享3大数据时代机遇和挑战4第3页 大航海时代，早期因为对潮汐、风和洋流等知识缺乏，远洋航海不但效率低下，而且充满危险。大数据前世今生 马修方丹莫里曾是一名优异美国海军军官，在一次偶然事故后被迫退伍。随即，他与20个志同道合数据处理者一起，整理了全部旧航海图上信息，并绘制了一张拥有120万数据点航海

2、图。 经过分析这些数据，莫里知道了一些良好天然航线，这些航线上风向和洋流都非常利于航行。他所绘制图表使航海旅程降低，也变得更安全。莫里航海图，最早大数据实践第4页 UPS司机普通天天要送120至175次货。在任何两个目标地之间，都能够选择多条路线。显然，司机和UPS想要找到其中最有效率那条。大数据前世今生UPS行车路线选择 所以UPS利用大数据分析打造了一个名为Orion道路优化与导航集成系统，能够在约3秒内找出最正确路线。 ，UPS驾驶员少跑了5000万公里路，节约了300万加仑燃料，少排放了3万立方公吨二氧化碳。第5页大数据发展背景年Gartner研究指出，当代信息社会信息爆炸已经演变成了

3、数据爆炸。年年Nature杂志出版专刊“Big Data”，分析了大量快速涌现数据给数据分析处理带来巨大挑战。Science推出关于数据处理专刊“Dealing with data”，讨论了数据洪流（Data Deluge）所带来挑战。5月麦肯锡全球研究院公布了大数据：创新、竞争和生产力下一个领域研究汇报。年3月奥巴马总统宣告美国政府投资逾2亿美元开启“大数据研究和发展计划（BDRDI）”。5月，联合国发表名为大数据促发展：挑战与机遇政务白皮书。第6页大数据发展背景 伴随一系列标志性事件发生和建立，人们越发感觉到大数据时代力量。所以被许多国外媒体和教授称为“大数据元年”。Information

4、二十世纪中后期Industry十八世纪中叶DataAgricultural一万年前第7页大数据发展背景1、智能终端普及2、网络带宽提升3、电子商务狂热4、社交网络流行5、位置信息6、云计算兴起7、物联网时代到来第8页大数据发展背景第9页大数据发展背景第10页大数据定义麦肯锡全球研究院（）对大数据定义是从数据集大致量入手：大数据是指那些规模大到传统数据库软件工具已经无法采集、存放、管理和分析数据集。baidu百科对大数据定义是: 大数据( Big Data) ，或称巨量资料，指因为容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存放、检索、共享、传输和分析数据集。维克托迈尔

5、-舍恩伯格（）在大数据时代一书中主要从价值大角度来定义大数据，他认为大数据是当今社会所独有一个新型能力：以一个前所未有方式，经过对海量数据进行分析，取得有巨大价值产品和服务，或深刻洞见。第11页大数据特征大数据4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量存放量 据预计，全球存放了大约300EB数据，而到年，已达1.8ZB，据预计到20，世界上存放数据预计能到达35ZB之多，相当于数千亿个大型图书馆存放数据。太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=

6、1024PB；泽字节，记作ZB，1ZB=1024EB。第12页大数据特征大数据4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量存放量+计算量广州超算中心16000个运算节点312万个计算关键整体总计内存1.408PB12.4PB硬盘阵列第13页大数据特征大数据4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量Velocity 高速 处理速度快。1秒定律。 这一点也是和传统数据挖掘技术有着本质不一样。数据更新、增加速度快 Facebook上

7、每秒有4.1万张照片上传，淘宝每秒有数万笔交易。+数据存放、传输等处理速度快第14页大数据特征大数据4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量Velocity 高速 处理速度快。1秒定律。 这一点也是和传统数据挖掘技术有着本质不一样。Variety 多样 数据类型繁多。不但包含传统关系数据类型，也包含以网页、音视频、文档等形式存在未加工、半结构化和非结构化数据。第15页大数据特征大数据4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大

8、量Velocity 高速 处理速度快。1秒定律。 这一点也是和传统数据挖掘技术有着本质不一样。Variety 多样 数据类型繁多。不但包含传统关系数据类型，也包含以网页、音视频、文档等形式存在未加工、半结构化和非结构化数据。Value 价值 价值密度低。但庞大数据中蕴含着新知识，以及极其主要预测价值。第16页大数据平台框架第17页管理模式变迁决议、预策业务数据市场、金融、政策等等业务数据市场、金融、政策等等报表等决议、预策业务数据信息、预策大数据系统决议市场、金融、政策等等第18页案例谷歌流感趋势项目 传统流感预报会滞后大约两周时间，这种滞后往往会造成严重后果。 谷歌发觉，一些搜索字词能够很好

9、地标示流感疫情现实状况。Google 流感趋势使用了经过汇总 Google 搜索数据库来测流感疫情。第19页案例谷歌流感趋势项目 ，H1N1病毒肆虐全球，谷歌“全球流感地图”成功派上用场，准确预测出患病高发地域，有效地指导人们进行预防。第20页案例大数据在政务领域应用 大数据发展，将极大地改变政府管理模式，有利于节约政府投资、加强市场监管能力、提升政府决议能力、提升公共服务能力，实现区域化管理。 10月，济南电子政务数据交换平台正式启用。该平台基于云计算理念，成功将工商、国税、质检、公安、社保等20多个部门数据共享。国税局与地税局经过数据比对，发觉了25000条数据差异，落实纳税企业5000多

10、户，补缴税款2700多万元。推广：如将我国城镇居民医疗数据与保险数据对比分析能够优化保险企业报销百分比，发觉虚假报销行为；与制药厂数据比对分析能够调整药品生产量与销售渠道。但医疗政策信息并不能发挥这么作用。第21页案例政治选举在 奥巴马竞选团体对数以千万计选民邮件进行数据挖掘，准确预测出更拥护奥巴马选民类型，并进行了有针对性宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任总统。第22页案例父亲去哪儿大数据解读 新华社新媒体中心联合数托邦创意分析工作室抓取了新浪微 博上提及“父亲去哪儿”45.5万条原创微博，并对36.7万独立原发作者用户（去除疑似水军账户）、1300余万

11、条用户微博及近1亿关系进行数据分析。结果发觉：父亲去哪儿不但成为名副其实“口碑王”，还使娱乐节目发生了很多微妙改变。 第23页案例父亲去哪儿大数据解读粉丝性别百分比：“父亲粉”女性占到八成。莫非是因为星爸太帅？当然，这与微博中女性用户占比较高和她们更爱分享转评习惯也相关。 用户年纪分布：覆盖适龄婚育群体，观众气质更显成熟。不少适龄青年发微博称，“看到某某，我也好想结婚，想有个这么儿子女儿。” 地域偏好排行：父亲去哪儿观众显著向GDP高地聚集。对湘派娱乐节目免疫力极强京、沪、苏、蜀等地罕见上榜。父亲去哪儿偏好度前十省份中，有个GDP十强省份，涵盖3个直辖市。这是否能说明，一部分“先富起来”人，对

12、亲子关系有更深焦虑和更多期待？ 第24页案例父亲去哪儿大数据解读赞助商潜在赞助商明星同类节目竞争者节目组观众大数据解读可能受益者满足了自己“八卦”需求。对这个节目有了深入了解。从父亲去哪儿成功中能够学到什么？此次赞助是否成功？成功在哪里？为以后广告投放提供了经验。了解了自己及孩子在观众心中“热度”，为下一步转型及孩子未来规划提供参考。依据之前数据分析，大胆推出了低成本同名电影并大获成功！第二季拍摄紧锣密鼓地进行着为决议提供支持。若自己目标客户与该节目标观众一致，能够考虑下一季赞助。第25页案例纸牌屋创作在 纸牌屋是从3000万付费用户数据中总结收视习惯、选择， 仔细分析400万条评论、300万

13、次主题搜索，并对用户喜好精准分析基础上进行创作。最终，拍什么、谁来拍、谁来演、怎么播，都由数千万观众客观喜好统计决定，是用大数据 “算”出来电视剧。第26页案例大数据在金融领域应用大数据助力推进高频金融交易和小额信贷高频交易：当前美国股市天天成交量高达70亿股，经过对历史和实时数据挖掘创新，以创造和改进量化交易模型，并将之应用于基于计算机模型实时证券交易过程中。据统计其中高达三分之二交易都是由建立在数学模型和算法之上计算机程序自动完成。小额信贷： 截止底阿里巴巴数据平台服务器上，已积攒超出100PB已处理数据，包含交易、金融、SNS、地图、生活服务等各种数据类型，依靠阿里电商平台强大数据体系和

14、平台支撑,阿里金融开创了一个“纯信用、无抵押、免担保”小额贷款模式，从而给数十万小微企业，放贷数百亿元，坏账率仅为0.3%左右，低于商业银行水平。第27页案例纽约沙井盖爆炸预测在 每年纽约有很多沙井盖因内部失火发生爆炸，以后相关部门对足够围绕地球三周半地下电缆和数万个沙井盖历史数据进行了处理，从数据中发觉了大型沙井盖爆炸106种预警情况，并成功预测出了高危沙井盖。这么，包含这些预警指标预测模型就建立起来了，可用于对以后沙井盖爆炸做出预测，帮助企业事前做出针对性维修决议。第28页案例CPI预测 美国劳工统计局每个月都要公布CPI,这些数据对投资者和商家都非常主要。政府为了得到这些数据，每年大约需

15、要花费两亿五千万美元。这些数据是准确也是有序，不过这个采集结果公布会有几周滞后。 MIT两位经济学家经过一个软件在互联网上搜集信息，他们天天能够搜集到 50万种商品价格。经过把大数据和好分析法相结合，这个项目在 9月雷曼弟兄破产之后马上就发觉了通货紧缩趋势，然而那些依赖官方数据人直到 11月份才知道这个情况。第29页案例baidu迁徙图 国内有2亿手机用户使用baidu地图，用户每次位置改变，baidu都能得到数据。把手机网民定位信息汇总成大数据进行分析，就能勾勒出人们迁徙轨迹。房产道路广告第30页案例智能电表 智能电表布署后，每隔5分钟就从用户处读取一次数据，从而产生海量用电信息。错峰用电平

16、衡用电住房空置率违建用电分析第31页大数据时代机遇 当前，我国工业化、信息化、城镇化、农业当代化任务很重，建设下一代信息基础设施，发展当代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛利用，是实现四化同时发展确保。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决议含有主要意义，我们必须重新认识数据主要价值。这也是李克强总理提出“互联网+”行动计划主要组成部分。机遇大数据技术促进国家和社会发展第32页大数据时代机遇 大数据正在对每个领域都造成影响，包含商业、经济等领域。大数据正在促生新蓝海，催生新经济增加点。主动地拥抱这种改变，从战略到战术层而开始自我蜕变和进

17、化将会让企业愈加适应这个新时代，大数据蓝海成为未来竞争制高点。机遇大数据蓝海成为企业竞争新焦点 4月16日,中石化宣告牵手阿里，对部分传统石油化工业务进行升级。中石化与阿里巴巴合作意在将全部网点搜集到车辆加油及运行数据搜集起来，进行动态实时油量需求分析，在油品供给、油站建设、油库建设、输送网络上进行愈加满足市场需求决议，这么能够大幅降低中石化运行成本。第33页大数据时代机遇 大数据时代催生了一个创新型职位数据分析师，麦肯锡企业预测美国到需要深度数据分析人才44万49万，缺口14万19万人；需要既熟悉本单位需求又了解大数据技术与应用管理者150万，这方面人才缺口更大。 中国是大国，但能了解与应用

18、大数据创新人才更是稀缺资源。机遇大数据时代呼唤创新型人才第34页大数据带来挑战采集、存放、分析、展现技术隐私泄露预测与处罚黑客攻击数据独裁大数据带来挑战第35页大数据带来挑战 当前,大数据应用只是冰山一角,绝大部分隐藏在表面之下。未来，大数据所带来精彩值得期待！ 第36页Thank You !第37页1、不是井里没有水，而是你挖不够深。不是成功来得慢，而是你努力不够多。2、孤独一人时间使自己变得优异，给来人一个惊喜，也给自己一个好交代。3、命运给你一个比他人低起点是想告诉你，让你用你一生去奋斗出一个绝地还击故事，所以有什么理由不努力!4、心中没有过分贪求，自然苦就少。口里不说多出话，自然祸就少

19、。腹内食物能降低，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪，一样大悟无言。缘来尽可能要惜，缘尽就放。人生原来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来尘埃!5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来。阳光那么好，何须自寻烦恼，过好每一个当下，一万个漂亮未来抵不过一个温暖现在。6、不论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。7、生命漂亮，永远展现在她进取之中;就像大树漂亮，是展现在它负势向上高耸入云蓬勃生机中;像雄鹰漂亮，是展现在它搏风击雨如苍天之魂翱翔中;像江河漂亮，是展现在它波涛汹涌一泻千里奔流中。8、有些事，不可防止地发生，阴晴圆缺皆有规律，我们只能坦然地接收;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改变它轨迹。9、与其埋怨世界，不如改变自己。管好自己心，做好自己事，比什么都强。人生无完美，波折亦风景。别把失去看得