大数据时代大数据思维

不讲大数据就“OUT”了如何理解大数据技术：大云平移产业：商业革命资产：数据资产思维：管理革命和思维革命大数据时代：改变我们的生活、工作和思维方式Gartner公司（3V+1）：大数据是指数量大、变化快和（或）多样化的信息资产，需要新的处理形式，从而强化决策、促进洞察力和优化流程第一页，共31页。数据量（Volume）全量超大规模（海量）K、MB（兆）、G、T、P、E、Z、Y、N、D、C大数据的起始计量单位至少是P（1000个T）不仅是规模，更重要的是增长速度到2012年，人类生产的所有印刷材料数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB整个人类文明所获得的全部数据中，有90%是过去两年内产生的到了2020年，全世界所产生的数据规模将达到今天的44倍第二页，共31页。速度（Velocity）：实时变化（输入和处理速度快）对处理时间的要求种类（Variety)）：多样化（多源异构）结构化非结构化：文本、图象等价值（Value）:价值密度低大海捞针？数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键例：Facebook上市前有形资产价值66亿美元，但估值1040亿美元2009年-2011年间收集了2.1万亿条获利信息第三页，共31页。大有大的道理戴明：除了上帝，任何人都必须用数据来说话对大部分事物来说，平均值都差强人意但在决策中，大量个体的平均值往往是最好的猜猜瓶子里有多少钱？猜得最准的个人距离正确答案10美元所有猜测的平均值距离正确答案3美元365美元第四页，共31页。数据、模型和理论的关系第五页，共31页。光大是不够的数据并不是越多越好对数据分析能力的挑战：由人来解读转化为洞察见解科斯：如果你总是拷问数据，数据迟早会招供的有一位美国数学家最怕坐飞机他研究了近20年的统计数据，发现恐怖分子带炸弹上飞机的概率非常低但他还是不放心，又做进一步研究，发现两个人同时带炸弹上飞机的概率为零于是他坐飞机都自己携带一枚炸弹水生动物不要羡慕陆生动物的四个蹄子，它真正需要的是生出一个肺，而不是用腮呼吸第六页，共31页。林彪的大数据思维辽沈战役期间，林彪要求每天要进行“军情汇报”由值班参谋读出各单位用电台报告的当日战况和缴获几乎是重复着千篇一律枯燥无味的数据一天，参谋汇报当日战况时，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”见无人回答，接连问了三句为什么那里缴获的短枪与长枪比例比其它战斗略高为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?为什么在那里俘虏和击毙军官与士兵的比例比其它战斗略高?“我猜想，不，我断定!敌人的指挥所就在这里!果然，部队很快就抓住了敌方指挥官廖耀湘第七页，共31页。大数据内涵的三维度解析技术实践理论数据信息采集、传输、存贮、处理和分析能力——云技术、分布式处理技术、存贮技术、感知技术——分析技术：可视化分析、数据挖掘算法、语义搜索引擎、数据质量与数据管理、预测性分析大数据特征大数据价值大数据思维公共（互联网）数据政务数据产业（企业）数据个人（用户）数据（i-data)第八页，共31页。大数据的本质用母体代替抽样统计抽样的局限性用数量代替精确拥抱混杂性：容错性更强用相关性代替因果性知道是什么比知道为什么更重要演绎与归纳的区别演绎：通过一般规律推导出具体事实（从因到果）归纳：从具体事实中总结出一般规律第九页，共31页。大数据的启示：决策分析观念的转变传统抽样数据、局部数据和片面数据经验、假设和价值观未来要全体不要抽样要效率不要绝对精确要相关不要因果分析过去，提醒现在，展望未来第十页，共31页。GaryLoveman博士的经历1989年在MIT获经济学博士学位后在哈佛商学院任教专长是数据挖掘和服务管理：客户心理分析数学只是象牙塔里学究们出于个人兴趣的消遣，而对真实世界的决策没有帮助，这让他一度感到沮丧1994年在HBR发表一篇文章引起企业关注1997年接受主营赌场业务的哈拉斯娱乐公司（Harrah’sEntertainment）邀请，担任该公司COO他只准备待两年，为此请了两年学术假期再没有返回哈佛大学，2003年接任该公司CEO关键：使用数学运营赌场第十一页，共31页。哈拉斯娱乐公司的特色每年在信息系统上的投资超过1亿美元推行了一套名为“完全回馈”（TotalReward）的会员卡制度，所有消费都用卡到2010年，已积累超过4000万会员的信息，是博彩业最大的客户数据库公司从地方性企业成长为全球最大的博彩公司（拥有39家本土赌场、13家海外赌场）

2010年改名为凯撒娱乐公司(CaesarsEntertainment）

第十二页，共31页。利用大数据提供优质服务通过对顾客消费模式的分析，计算出顾客的长期价值（customerworth）一个顾客理论上长期会在Harrah’s总共消费多少26%的客户贡献了82%的收入：前者并不是大多数赌场一直在争取的金领豪客，而是中产阶级的中老年顾客（教师、医生、银行职员等）系统能根据顾客背景资料及历史消费模式计算出顾客的痛苦点（painpoint）如果他输钱超过痛苦点，今晚的赌博会成为一个痛苦的回忆，离开Harrah’s后一去不返实时做出对策：提供免费餐券劝退第十三页，共31页。投资决策电影《永无止境》的故事一位落魄的作家库珀服用了一种可以迅速提升智力的神奇蓝色药物，然后他将这种高智商用于炒股在短时间掌握无数公司资料和背景：将世界上已经存在的海量数据（包括公司财报、电视、互联网、小道消息等）挖掘出来甚至将FaceBook、Twitter的海量社交数据挖掘得到普通大众对某种股票的感情倾向通过海量信息的挖掘、分析，使一切内幕都不是内幕，使一切趋势都在眼前在10天内赢得了200万美元，神奇的表现让身边的职业投资者目瞪口呆启示：如果人类将剩余80％的大脑潜能激发出来第十四页，共31页。大数据实践广泛应用数据、使用统计与量化分析方法、使用描述性与预测性模型以及基于事实的管理方法影响决策和行动核心：用大数据思维去发掘大数据的潜在价值第十五页，共31页。以基于大数据的预测分析为例消费行为：营销人的社交活动：恋爱、离婚、生育人的思考与决策：竞选、论文评分、情绪人的放弃：惠普对30多万员工的离职风险评估事故：保险、破产疾病和死亡撒谎、欺诈、犯罪西格尔，《大数据预测》，中信出版社，2014年4月大数据预测的147项案例第十六页，共31页。Google流感预测：国家、地区是分析过去，提醒现在，展望未来。第十七页，共31页。百度预测景点预测疾病预测城市预测房地产预测票房预测就业预测金融预测世界杯预测高考预测第十八页，共31页。百度大数据产品百度司南：一站式营销决策平台人群分析品牌分析媒体分析舆情分析百度统计百度精算百度推荐百度筷搜？第十九页，共31页。大数据：价值潜力与捕捉难度第二十页，共31页。大数据对企业的革命性影响有能力从以自我为中心改变为以客户为中心从产品创新到需求创新：强需求胜过好产品导致管理方式的重构业务本身就可以自决策，不必要依靠膨大的组织和复杂的流程改变了商业逻辑从观察、思考、推理、决策到直接获得答案决策文化变革：让数据做主从全新视角来发现新的商业机会和重构新的商业模式广角镜+显微镜第二十一页，共31页。农夫山泉用大数据卖矿泉水“大自然搬运工”，在全国有十多个水源地“搬上搬下，银子哗哗”：一瓶超市售价2元的550ml饮用水，其中3毛钱花在了运输上如何根据不同的变量因素来控制物流成本道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求业务员每天例行公事：到销售点拍摄10张照片：水怎么摆放、位置有什么变化、高度如何……一天要跑15个，下班之前150张照片传回总部，产生的数据量在10M全公司1万个业务员，每天100G，每月3TB第二十二页，共31页。基因测序与个性化医疗的实现一种新型基因检测技术，能够从血液或唾液中分析测定基因全序列意义：预知未来健康状况，有针对性地进行保健和治疗，帮助人们从被动预防治疗走向主动预知健康乔布斯和影星安吉丽娜·朱莉市场比保健市场更为庞大，未来将达到几百万亿美元问题：消耗时间、代价昂贵一个肿瘤患者的基因组容量是2-3T借助于大数据，基因测序的成本已经从几十万美元逼近1000美元大关第二十三页，共31页。大数据实践为企业创造价值的可能途径客户群体细分，量身定制特别服务发现隐藏线索，进行产品和服务创新模拟现实环境，发掘新的需求加强部门联系，提高管理和产业链条效率第二十四页，共31页。例1：提供个性化定制性服务美国明尼阿波利斯市郊外的一位父亲收到了美国第二大零售商Target寄来的有关养育婴儿的优惠券收件人是他那还读高中的女儿这位父亲起初勃然大怒，准备同该商家理论但后来发现女儿确实不小心怀了孕根据25种典型消费品的消费大数据构建了“怀孕预测指数”商家正是根据这位少女在该店的购物记录，通过该指数，准确无误地预测到了她的预产期于是立即启动了个性化服务第二十五页，共31页。例2：把握居民电力消费行为特征人类对自身能源消耗的细节并不了解在这些细节中暗藏了大量无效率的能源浪费不同的消费形态造成不同的发电成本不同发电成本负担的消费者支付了相同价格，从而造成巨大的无效率现有定价机制无法根据消费形态不同区分不同价格通常假设居民电力消费行为具有“双峰”特点由智能电表得到的大数据分析不支持：每隔15分钟测量虽然总体呈现此模式，但个体模式各异（只有10%）通过大数据技术设计高效节能电力消费模式第二十六页，共31页。例3再现现场环境发现新的需求PRADA在纽约的旗舰店中每件衣服上都有RFID码每当一个顾客拿起一件PRADA进试衣间，RFID会被自动识别，数据会传至PRADA总部每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间，数据都被存储起来加以分析如果有一件衣服销量很低，以往的作法是直接干掉如果RFID传回的数据显示这件衣服虽然销量低，但进试衣间的次数多某个细节的微小改变就会重新创造出一件非常流行的产品第二十七页，共31页。大数据相关技术第二十八页，共31页。苏珊.朗格，《哲学新解》某些观念有时会以惊人的力量给知识状况带来巨大的冲击由于这些观念能够一下子解决许多问题，所以，它似乎将有希望解决所有基本问题，澄清所有不明了的疑点每个人都想迅速地抓住它们，作为进入某种新实证科学的法宝，作为可以用来建构一个综合分析体系的概念轴心这种“宏大概念突然流行起来，一时间把几乎所有的东西都挤到了一边第二十九页，共31页。大数据不擅长的数