企业大数据之道

1实战大数据（一）解密大数据徐培成北方人计算机工程专业软件开发系统分析PM技术总监培训机构讲师创办十八掌教育（一）什么是大数据（二）中国大数据市场及现状（四）大数据在企业中的应用方向（六）大数据就业方向（五）大数据调查报告（七）忠告和提醒（三）大数据行业分析与经典案例目录大数据的故事故事（一）1998故事（二）2009<<自然>>杂志文章谷歌分析以前流行病的病理特征，出来的结果和国家疾控中心的数据非常吻合，通过这一数据有效预测了流行病毒的暴发。故事（三）2012<<时代>>周刊分析不同地区、年龄段选民有效选民募集资金广告投放精准预测竞选结果有的放矢中国话--有钱花在刀刃上故事（四）2015阿里11.11交易额912.17亿同比增长59.7%11.11故事（四）—中国大妈的实力各地大妈消费了78%的品类，涉及粮油、厨电、食品、美妆小家电品类广场舞音响第一，超出第二名美颜相机50%。服装消费占据85% 浙江大妈>山东大妈>福建大妈广场舞音响购买力浙江大妈>山东大妈>江苏大妈瑜伽产品福建大妈>广东大妈>重庆大妈北方大妈:钟爱玉器和琥珀，流行饰品的消费是南方大妈的4.5倍。南方大妈:青睐翡翠和珍珠，内衣购买量是北方大妈的2倍。中西部大妈:爱海鲜，四川大妈大闸蟹、海带、虾类。东西南北大妈:黄金首饰农村大妈的最爱

美妆品牌:卡姿兰>美宝莲>珀莱雅

厨房电器:美的>苏泊尔>九阳

服装品牌:坦博尔>亿利达>福玛玛这意味着……不知道BIGDATA？你OUT了！吃饭前一定要发个朋友圈！（一）什么么是大数据据（二）中国国大数据市市场及现状状（四）大数数据在企业业中的应用用方向（六）大数数据就业方方向（五）大数数据调查报报告（七）忠告告和提醒（三）大数数据行业分分析与经典典案例目录数据有多大？50(州)x1000(气象站)x100年(1901-2000)=5000000(文件)数据有多大？数据有多大？淘宝目前每每天的活跃跃数据量已已经超过50TB，共有4亿条产品讯讯息和2亿多名注册册用户在上上面活动，，每天超过过4000万人次访问问。500G/台x100台x3(副本)=150000台1bit=1位(0/1)Byte=字节(每个字节含含有8位)1KB=1024Bytes=2^10Bytes1MB=1024KB=2^20Bytes1GB=1024MB=2^30Bytes1TB=1024GB=2^40Bytes1PB=1024TB=2^50Bytes1EB=1024PB=2^60Bytes1ZB=1024EB=2^70Bytes1YB=1024ZB=2^80Bytes1NB=1024YB=2^90Bytes1DB=1204NB=2^100Bytes数据有多大？大数据的多种角度大众角度数据量大、、海量技术人员的的角度如何存储如何计算公司决策层层需要哪些方方面的数据据什么时间能能出结果什么是大数据大数据的构成123大数据的“4V”特征大数据时代代的背景什么是大数据？facebook社交网络…淘宝、ebay电子商务…微博、Apps移动互联…21世纪是数据据信息大发发展的时代代，移动互互联、社交交网络、电电子商务等等极大拓展展了互联网网的边界和和应用范围围，各种数数据正在迅迅速膨胀并并变大。“大数据””的诞生：：大约从2009年开开始，“大大数据”才才成为互联联网信息技技术行业的的流行词汇汇。美国互互联网数据据中心指出出，互联网网上的数据据每年将增增长50%，每两年年便将翻一一番，而目目前世界上上90%以以上的数据据是最近几几年才产生生的。此外外，数据又又并非单纯纯指人们在在互联网上上发布的信信息，全世世界的工业业设备、汽汽车、电表表上有着无无数的数码码传感器，，随时测量量和传递着着有关位置置、运动、、震动、温温度、湿度度乃至空气气中化学物物质的变化化，也产生生了海量的的数据信息息。2001全球数据总总量x2GBTBPBEBZB想驾驭这庞庞大的数据据，我们必必须了解大大数据的特特征。地球上至今今总共的数数据量：2006年，个人用用户才刚刚刚迈进TB时代，全球球一共新产产生了约180EB的数据；2012年，这个数数字达到了了3.7ZB；2020年，整个世世界的数据据总量将会会增长10倍，达到到35.2ZB（1ZB=10亿TB）！1PB（拍字节））=2^50字节1EB（艾字节））=2^60字节1ZB（泽字节））=2^70字节大数据爆炸是增长“体量大(Volume)、多样化(Variety)、快速化(Velocity)、价值密度度低（Value）VolumeVelocityValueVariety大数据的4“V”物理设备大数据的来源人为因素大数据的来源大数据的来源（一）什么么是大数据据（二）中国国大数据市市场及现状状（四）大数数据在企业业中的应用用方向（六）大数数据就业方方向（五）大数数据调查报报告（七）忠告告和提醒（三）大数数据行业分分析与经典典案例目录12011年-2016年中国大数数据市场规规模2011年是中国大数数据市场元元年，一些些大数据产产品已经推推出，部分分行业也有有大数据应应用案例的的产生。2012年-2016年，将迎来来大数据市市场的飞速速发展;2012年中国大数数据市场规规模达到4.7亿元，2013年大数据市市场将迎来来增速为138.3%的飞跃，到到2016年，整个市市场规模逼逼近百亿。中国大数据的市场分析22012年各行业大大数据市场场规模2012年政府、互互联网、电电信、金融融的大数据据市场规模模较大，四四个行业将将占据一半半市场份额额；由于各个行行业都存在在大数据应应用需求，，潜在市场场空间非常常可观。中国大数据的市场分析大数据需求与待遇-前程无忧大数据需求与待遇-中华英才大数据需求与待遇-智联招聘（一）什么么是大数据据（二）中国国大数据市市场及现状状（四）大数数据在企业业中的应用用方向（六）大数数据就业方方向（五）大数数据调查报报告（七）忠告告和提醒（三）大数数据行业分分析与经典典案例目录应用可能性性电信政府（公共共事业）交通金融医疗教育能源（电力力/石油）纵轴契合度：：表示该用户的的IT应用特点与大大数据特性的的契合程度；；横轴应用可能能性：表示该用户出出于主客观因因素在短期内内投资大数据据的可能性；；注：该位置为分析析师访谈的综综合印象，为为定性分析，，图中位置不不代表具体数数值HighMidLowLowMidHigh优先关注行业业用户应用特点与大大数据技术有值得关注行业业用户应有特点与大大数据的契合合度及应用可可能性综合较较高适当关注行业业用户两个维度暂时时都不具备优优势，可适当当给予关注互联网（电子子商务）契合度流通零售制造大数据热门行业21互联网行业大大数据主要应应用在社交和和网购方面结合位置数据据、消费数据据进行实时营营销信息推送送是电信行业业大数据应用用主要场景大数据潜力行业（一）3金融行业大数数据应用场景景主要集中在在投资方面4制造行业具有有多环节、多多地域特色，，各个环节的的优化是制造造行业最关注注的大数据应应用场景大数据热门行业（二）Facebook广告精准投放放2005-2011广告规模增长长3倍广告是互联网网公司主营收收入针对喜好发布布广告，千人人千面追踪用户行为为，整理分组组，实时发现现客户群根据群体，推推送潜在的兴兴趣广告2009-2010，广告市场份份额翻一番2011相较于2010增长95%广告增速是Google的3倍以上2006-2010期间，，facebook是唯一广告市市场稳稳步增增长的的公司司大数据应用案例（一）英国电电信公公司数据量量增加加，同同质化化竞争争需要预预测客客户购购买方方向和和之后后的可可能价价值对客户户群进进行数数据挖挖掘，，和商商业活活动进进行关关联定向营营销，，特质质化营营销，，销售售最大大化与其他他160个电信信公司司竞争争中位位于首首位2011年直邮邮活动动回应应率提提高100%。大数据应用案例（二）某银行行信用用卡部部门秒秒级营营销竞争激激烈，，同质质化严严重构建数数据仓仓库，，多层层面数数据分分析对客户户群进进行低低中高高价值值分类类，提提供个个性化化服务务营销近近秒级级，效效率极极大提提升2011年，每每次营营销活活动配配置从从2-3周减少少到2-3天2011前三季季度，，交易易量增增加65%。比股股份制制银行行搞出出14%，比中中国所所有银银行的的均值值搞出出4%不良贷贷款率率下降降0.76%百分点点成本支支出节节省上千万万大数据应用案例（三）德国ECC紧急救救援呼呼叫中中心交通事事故，，救援援效率率，生生命保保障将事故故现场场可视视化，，结合合道路路、交交通、、天气气决策策最佳佳救援援方案案数据实实时传传送紧紧急救救助中中心或或警局局极大地地提升升了事事处理理效率率，由由最初初人工工管理理转为为自动管管理大数据应用案例（四）（一一））什什么么是是大大数数据据（二二））中中国国大大数数据据市市场场及及现现状状（四四））大大数数据据在在企企业业中中的的应应用用方方向向（六六））大大数数据据就就业业方方向向（五五））大大数数据据调调查查报报告告（七七））忠忠告告和和提提醒醒（三三））大大数数据据行行业业分分析析与与经经典典案案例例目录大数数据据对对于于企企业业作作用用建立立客客户户关关系系，，便便于于精精准准营营销销了解竞争对手手，知己知彼彼创新商业模式式、产品与服服务实时调整经营营决策挖掘企业内部部数据，提高高企业决策力力定位客户基本属性(性别、年龄、购买力)1挖掘客户行为与偏好，定制产品和服务2建立数据体系、市场测试、调整、优化3建立数据仓库，随时扩充和更新，锁定人群4数据库是企业的无价之宝，财富之源5大数据应用方向-精准营销收集竞争对手数据1找出弱点，攻其软肋，出奇制胜2找出自我弱势，调整战略，攻守有道。3差异化竞争，凸显自我的企业价值。4大数据应用方向-知己知彼美国印地安那大学和英国曼彻斯特大学的学者通过提取Twitter上的非结构化数据分析公众情绪，再将情绪曲线与道琼斯工业指数进行对照分析，发现可以提前3~4天预测股市大盘走势；1英国的科学家根据Twitter的数据来跟踪流感的爆发。他们主要基于用户发布信息中的关键词，例如“我头痛”等，并结合用户的发布地点，按区域与英国卫生部的官方数据进行了比较，最终建立起一个预测模型。创业团队“SickWeather”甚至以预测疾病为主题开展了自己的创业项目。2大数据应用方向-模式创新对企业内部数据的采集、整理、挖掘和分析，为各部门人员提供数据支持，加快决策速度、确保准确性，实现企业高效管理1为企业质量把控提供有效数据支撑，共同分享销售、库存等商业数据，共同进行品类分析和管理，提升产品品质。2利用多个数据源的信息进行数据融合，促进对企业动态特性的准确理解，以便提高企业的决策能力。它通过数据的获取、管理和分析，为企业组织的各种人员提供信息，以提高企业的战略和战术决策能力3大数据应用方向-内部数据挖掘创新随着更多交易数据的增长，结合当下市场的搜索热词和消费者消费趋势，适时推出与之相近的产品衍生品和相关服务。1

例如在线零售商，通过将流量和销售结合进行对比分析，决定如何调整价格以及促销活动的优惠方案。2大数据应用方向-寻找增长点大数据应用具体化--BI大数据应用具体化--数据挖掘大数据应用具体化--相关性分析大数据应用具体化-波士顿矩阵分析（一）什么是是大数据（二）中国大大数据市场及及现状（四）大数据据在企业中的的应用方向（六）大数据据就业方向（五）大数据据调查报告（七）忠告和和提醒（三）大数据据行业分析与与经典案例目录

政府推动

美国在2012年启动了大数据研究与发展计划，日本、英国以及相当一部分国家的政府都相继启动了这方面的行动计划。党的十八届五中全会公报提出要实施“国家大数据战略”，这是大数据第一次写入党的全会决议，这也是有史以来第一次将科技手段纳入到国家战略的高度。1大数据大势所趋资本市场垂青

2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。2大数据大势所趋人才需求巨大盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。3机会在敲门

2015中国大数据市场规模将达到115.9亿元，增速达38%；预计2016年至2018年中国大数据市场规模还将维持40%左右的高速增长。4大数据大势所趋大数据时代已来临-DT在前不久结束的云栖大会上，阿里巴巴集团董事局主席马云说，在未来，计算能力将会成为一种生产能力，而数据将会成为最大的生产资料，会成为像水、电、石油一样的公共资源。马云认为，人类已进入DT（大数据）时代，数据取代了石油成为最核心的资源。5（一）什么是是大数据（二）中国大大数据市场及及现状（四）大数据据在企业中的的应用方向（六）大数据据就业方向（五）大数据据调查报告（七）忠告和和提醒（三）大数据据行业分析与与经典案例目录大数据应用开发工程师1ETL开发、、hadoop开发、、机器器学习习开发发、实实时计计算开开发、、数据据仓库库等。。(10k-15K)/月大数据系统研发工程师2基于大数据据现有生态就业方向大数据分析师3主要职责是是对企业的的业务模型型进行抽象象，运用数数学思想进进行数据建建模，推导导出数学公公式或者是是相应的数数学算法，，交由开发发人员进行行实现。该该职位对数数学领域的的知识要求求较高，但但更重要的的是对企业业的业务模模型和市场场洞察力以以及独立分分析、思考考能力都有有严格的要要求，而且且需要有非非常丰富的的行业经验验、非短时时间内可以以达到的程程度。(50w-100w)/年就业方向大数据架构师4大数据架架构师涉涉及的工工作范畴畴更多的的是企业业大数据据的整体体规划和和布局，，比如集集群架构构的设计计、可伸伸缩性处处理、高高可用性性对应策策略、计计算机硬硬件选型型、大数数据集群群的构建建指导方方案、资资源调度度处理、、硬件调调优处理理、操作作系统与与大数据据软件栈栈的构建建与调优优等等。。设计的的技术知知识