企业大数据之道

北方人计算机工程专业软件开发系统分析PM技术总监培训机构讲师创办十八掌教育第一页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第二页，共64页。大数据的故事第三页，共64页。故事（一）1998第四页，共64页。故事（二）2009<<自然>>杂志文章谷歌分析以前流行病的病理特征，出来的结果和国家疾控中心的数据非常吻合，通过这一数据有效预测了流行病毒的暴发。第五页，共64页。故事（三）2012<<时代>>周刊分析不同地区、年龄段选民有效选民募集资金广告投放精准预测竞选结果有的放矢中国话--有钱花在刀刃上第六页，共64页。故事（四）2015阿里11.11交易额912.17亿同比增长59.7%11.11第七页，共64页。故事（四）—中国大妈的实力各地大妈消费了78%的品类，涉及粮油、厨电、食品、美妆小家电品类广场舞音响第一，超出第二名美颜相机50%。服装消费占据85% 浙江大妈>山东大妈>福建大妈广场舞音响购买力浙江大妈>山东大妈>江苏大妈瑜伽产品福建大妈>广东大妈>重庆大妈北方大妈:钟爱玉器和琥珀，流行饰品的消费是南方大妈的4.5倍。南方大妈:青睐翡翠和珍珠，内衣购买量是北方大妈的2倍。中西部大妈:爱海鲜，四川大妈大闸蟹、海带、虾类。东西南北大妈:黄金首饰农村大妈的最爱

美妆品牌:卡姿兰>美宝莲>珀莱雅

厨房电器:美的>苏泊尔>九阳

服装品牌:坦博尔>亿利达>福玛玛第八页，共64页。这意味着……第九页，共64页。不知道BIGDATA？你OUT了！吃饭前一定要发个朋友圈！第十页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第十一页，共64页。数据有多大？50(州)x1000(气象站)x100年(1901-2000)=5000000(文件)第十二页，共64页。数据有多大？第十三页，共64页。数据有多大？淘宝目前每天的活跃数据量已经超过50TB，共有4亿条产品讯息和2亿多名注册用户在上面活动，每天超过4000万人次访问。500G/台x100台x3(副本)=150000台1bit=1位(0/1)Byte=字节(每个字节含有8位)1KB=1024Bytes=2^10Bytes1MB=1024KB=2^20Bytes1GB=1024MB=2^30Bytes1TB=1024GB=2^40Bytes1PB=1024TB=2^50Bytes1EB=1024PB=2^60Bytes1ZB=1024EB=2^70Bytes1YB=1024ZB=2^80Bytes1NB=1024YB=2^90Bytes1DB=1204NB=2^100Bytes第十四页，共64页。数据有多大？第十五页，共64页。大数据的多种角度大众角度数据量大、海量技术人员的角度如何存储如何计算公司决策层需要哪些方面的数据什么时间能出结果第十六页，共64页。什么是大数据大数据的构成123大数据的“4V”特征大数据时代的背景什么是大数据？第十七页，共64页。facebook社交网络…淘宝、ebay电子商务…微博、Apps移动互联…21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。“大数据”的诞生：

大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。第十八页，共64页。2001全球数据总量x2第十九页，共64页。GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：

2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；2012

年，这个数字达到了3.7ZB；2020年，整个世界的数据总量将会增长10倍，达到35.2ZB（1ZB=10亿TB）！1PB（拍字节）=2^50字节1EB（艾字节）=2^60字节1ZB（泽字节）=2^70字节大数据爆炸是增长第二十页，共64页。“体量大(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）VolumeVelocityValueVariety大数据的4“V”第二十一页，共64页。物理设备大数据的来源第二十二页，共64页。人为因素大数据的来源第二十三页，共64页。大数据的来源第二十四页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第二十五页，共64页。12011年-2016年中国大数据市场规模2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展;2012年中国大数据市场规模达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。中国大数据的市场分析第二十六页，共64页。22012年各行业大数据市场规模2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额；由于各个行业都存在大数据应用需求，潜在市场空间非常可观。中国大数据的市场分析第二十七页，共64页。大数据需求与待遇-前程无忧第二十八页，共64页。大数据需求与待遇-中华英才第二十九页，共64页。大数据需求与待遇-智联招聘第三十页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第三十一页，共64页。应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）纵轴契合度：

表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造大数据热门行业第三十二页，共64页。21互联网行业大数据主要应用在社交和网购方面结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景大数据潜力行业（一）第三十三页，共64页。3金融行业大数据应用场景主要集中在投资方面4制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景大数据热门行业（二）第三十四页，共64页。Facebook广告精准投放2005-2011广告规模增长3倍广告是互联网公司主营收入针对喜好发布广告，千人千面追踪用户行为，整理分组，实时发现客户群根据群体，推送潜在的兴趣广告2009-2010，广告市场份额翻一番2011相较于2010增长95%广告增速是Google的3倍以上2006-2010期间，facebook是唯一广告市场稳步增长的公司大数据应用案例（一）第三十五页，共64页。英国电信公司数据量增加，同质化竞争需要预测客户购买方向和之后的可能价值对客户群进行数据挖掘，和商业活动进行关联定向营销，特质化营销，销售最大化与其他160个电信公司竞争中位于首位2011年直邮活动回应率提高100%。大数据应用案例（二）第三十六页，共64页。某银行信用卡部门秒级营销竞争激烈，同质化严重构建数据仓库，多层面数据分析对客户群进行低中高价值分类，提供个性化服务营销近秒级，效率极大提升2011年，每次营销活动配置从2-3周减少到2-3天2011前三季度，交易量增加65%。比股份制银行搞出14%，比中国所有银行的均值搞出4%不良贷款率下降0.76%百分点成本支出节省上千万大数据应用案例（三）第三十七页，共64页。德国ECC紧急救援呼叫中心交通事故，救援效率，生命保障将事故现场可视化，结合道路、交通、天气决策最佳救援方案数据实时传送紧急救助中心或警局极大地提升了事处理效率，由最初人工管理转为自动管理大数据应用案例（四）第三十八页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第三十九页，共64页。大数据对于企业作用建立客户关系，便于精准营销

了解竞争对手，知己知彼创新商业模式、产品与服务

实时调整经营决策挖掘企业内部数据，提高企业决策力第四十页，共64页。定位客户基本属性(性别、年龄、购买力)1挖掘客户行为与偏好，定制产品和服务2建立数据体系、市场测试、调整、优化3建立数据仓库，随时扩充和更新，锁定人群4数据库是企业的无价之宝，财富之源5大数据应用方向-精准营销第四十一页，共64页。收集竞争对手数据1找出弱点，攻其软肋，出奇制胜2找出自我弱势，调整战略，攻守有道。3差异化竞争，凸显自我的企业价值。4大数据应用方向-知己知彼第四十二页，共64页。美国印地安那大学和英国曼彻斯特大学的学者通过提取Twitter上的非结构化数据分析公众情绪，再将情绪曲线与道琼斯工业指数进行对照分析，发现可以提前3~4天预测股市大盘走势；1英国的科学家根据Twitter的数据来跟踪流感的爆发。他们主要基于用户发布信息中的关键词，例如“我头痛”等，并结合用户的发布地点，按区域与英国卫生部的官方数据进行了比较，最终建立起一个预测模型。创业团队“SickWeather”甚至以预测疾病为主题开展了自己的创业项目。2大数据应用方向-模式创新第四十三页，共64页。对企业内部数据的采集、整理、挖掘和分析，为各部门人员提供数据支持，加快决策速度、确保准确性，实现企业高效管理1为企业质量把控提供有效数据支撑，共同分享销售、库存等商业数据，共同进行品类分析和管理，提升产品品质。2利用多个数据源的信息进行数据融合，促进对企业动态特性的准确理解，以便提高企业的决策能力。它通过数据的获取、管理和分析，为企业组织的各种人员提供信息，以提高企业的战略和战术决策能力3大数据应用方向-内部数据挖掘创新第四十四页，共64页。随着更多交易数据的增长，结合当下市场的搜索热词和消费者消费趋势，适时推出与之相近的产品衍生品和相关服务。1

例如在线零售商，通过将流量和销售结合进行对比分析，决定如何调整价格以及促销活动的优惠方案。2大数据应用方向-寻找增长点第四十五页，共64页。大数据应用具体化--BI第四十六页，共64页。大数据应用具体化--数据挖掘第四十七页，共64页。大数据应用具体化--相关性分析第四十八页，共64页。大数据应用具体化-波士顿矩阵分析第四十九页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第五十页，共64页。

政府推动

美国在2012年启动了大数据研究与发展计划，日本、英国以及相当一部分国家的政府都相继启动了这方面的行动计划。党的十八届五中全会公报提出要实施“国家大数据战略”，这是大数据第一次写入党的全会决议，这也是有史以来第一次将科技手段纳入到国家战略的高度。1大数据大势所趋第五十一页，共64页。资本市场垂青

2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。2大数据大势所趋人才需求巨大盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。3第五十二页，共64页。机会在敲门

2015中国大数据市场规模将达到115.9亿元，增速达38%；预计2016年至2018年中国大数据市场规模还将维持40%左右的高速增长。4大数据大势所趋大数据时代已来临-DT在前不久结束的云栖大会上，阿里巴巴集团董事局主席马云说，在未来，计算能力将会成为一种生产能力，而数据将会成为最大的生产资料，会成为像水、电、石油一样的公共资源。马云认为，人类已进入DT（大数据）时代，数据取代了石油成为最核心的资源。5第五十三页，共64页。（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录第五十四页，共64页。大数据应用开发工程师1ETL开发、hadoop开发、机器学习开发、实时计算开发、数据仓库等。(10k-15K)/月大数据系统研发工程师2基于大数据现有生态系统的各项技术API进行集成开发，为企业提供更高视角的具有自主知识产权的综合解决方案、期间或许会涉及到各大技术的底层代码，技术要求比较高、设计的技术领域更广。，待遇也越高。(15K-30K)/月就业方向第五十五页，共64页。大数据分析师3主要职责是对企业的业务模型进行抽象，运用数学思想进行数据建模，推导出数学公式或者是相应的数学算法，交由开发人员进行实现。该职位对数学领域的知识要求较高，但更重要的是对企业的业务模型和市场洞察力以及独立分析、思考能力都有严格的要求，而且需要有非常丰富的行业经验、非短时间内可以达到的程度。(50w-100w)/年就业方向第五十六页，共64页。大数据架构师4大数据架构师涉及的工作范畴更多的是企业大数据的整体规划和布局，比如集群架构的设计、可伸缩性处理、高可用性对应策略、计算机硬件选型、大数据集群的构建指导方案、资源调度处理、硬件调优处理、操作系统