大数据时代的大数据思维2

大数据时代的大数据思维茅宁南京大学管理学院不讲大数据就“OUT”了如何理解大数据技术：大云平移产业：商业革命资产：数据资产思维：管理革命和思维革命大数据时代：改变我们的生活、工作和思维方式Gartner公司（3V+1）：大数据是指数量大、变化快和（或）多样化的信息资产，需要新的处理形式，从而强化决策、促进洞察力和优化流程数据量（Volume）全量超大规模（海量）K、MB（兆）、G、T、P、E、Z、Y、N、D、C大数据的起始计量单位至少是P（1000个T）不仅是规模，更重要的是增长速度到2012年，人类生产的所有印刷材料数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB整个人类文明所获得的全部数据中，有90%是过去两年内产生的到了2020年，全世界所产生的数据规模将达到今天的44倍速度（Velocity）：实时变化（输入和处理速度快）对处理时间的要求种类（Variety)）：多样化（多源异构）结构化非结构化：文本、图象等价值（Value）:价值密度低大海捞针？数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键例：Facebook上市前有形资产价值66亿美元，但估值1040亿美元2009年-2011年间收集了2.1万亿条获利信息大有大的道理戴明：除了上帝，任何人都必须用数据来说话对大部分事物来说，平均值都差强人意但在决策中，大量个体的平均值往往是最好的猜猜瓶子里有多少钱？猜得最准的个人距离正确答案10美元所有猜测的平均值距离正确答案3美元365美元数据、模型和理论的关系光大是不够的数据并不是越多越好对数据分析能力的挑战：由人来解读转化为洞察见解科斯：如果你总是拷问数据，数据迟早会招供的有一位美国数学家最怕坐飞机他研究了近20年的统计数据，发现恐怖分子带炸弹上飞机的概率非常低但他还是不放心，又做进一步研究，发现两个人同时带炸弹上飞机的概率为零于是他坐飞机都自己携带一枚炸弹水生动物不要羡慕陆生动物的四个蹄子，它真正需要的是生出一个肺，而不是用腮呼吸林彪的大数据思维辽沈战役期间，林彪要求每天要进行“军情汇报”由值班参谋读出各单位用电台报告的当日战况和缴获几乎是重复着千篇一律枯燥无味的数据一天，参谋汇报当日战况时，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”见无人回答，接连问了三句为什么那里缴获的短枪与长枪比例比其它战斗略高为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?为什么在那里俘虏和击毙军官与士兵的比例比其它战斗略高?“我猜想，不，我断定!敌人的指挥所就在这里!果然，部队很快就抓住了敌方指挥官廖耀湘大数据内涵的三维度解析技术实践理论数据信息采集、传输、存贮、处理和分析能力——云技术、分布式处理技术、存贮技术、感知技术——分析技术：可视化分析、数据挖掘算法、语义搜索引擎、数据质量与数据管理、预测性分析大数据特征大数据价值大数据思维公共（互联网）数据政务数据产业（企业）数据个人（用户）数据（i-data)大数据的本质用母体代替抽样统计抽样的局限性用数量代替精确拥抱混杂性：容错性更强用相关性代替因果性知道是什么比知道为什么更重要演绎与归纳的区别演绎：通过一般规律推导出具体事实（从因到果）归纳：从具体事实中总结出一般规律大数据的的启示：：决策分分析观念念的转变变传统抽样数据据、局部部数据和和片面数数据经验、假假设和价价值观未来要全体不不要抽样样要效率不不要绝对对精确要相关不不要因果果分析过去去，提醒醒现在，，展望未未来GaryLoveman博博士的经经历1989年在MIT获经济学学博士学学位后在在哈佛商商学院任任教专长是数数据挖掘掘和服务务管理：：客户心心理分析析数学只是是象牙塔塔里学究究们出于于个人兴兴趣的消消遣，而而对真实实世界的的决策没没有帮助助，这让让他一度度感到沮沮丧1994年在HBR发表一篇篇文章引引起企业业关注1997年接受主主营赌场场业务的的哈拉斯斯娱乐公公司（Harrah’’sEntertainment）邀请，，担任该该公司COO他只准备备待两年年，为此此请了两两年学术术假期再没有返返回哈佛佛大学，，2003年接任该该公司CEO关键：使使用数学学运营赌赌场哈拉斯娱娱乐公司司的特色色每年在信信息系统统上的投投资超过过1亿美元推行了一一套名为为“完全全回馈””（TotalReward）的会员员卡制度度，所有有消费都都用卡到2010年，已积积累超过过4000万会员的的信息，，是博彩彩业最大大的客户户数据库库公司从地地方性企企业成长长为全球球最大的的博彩公公司（拥拥有39家本土赌赌场、13家海外赌赌场）2010年改名为为凯撒娱娱乐公司司(CaesarsEntertainment）利用大数数据提供供优质服服务通过对顾顾客消费费模式的的分析，，计算出出顾客的的长期价价值（customerworth）一个顾客客理论上上长期会会在Harrah’’s总共消费多少少26%的客户贡献了了82%的收入：前者者并不是大多多数赌场一直直在争取的金金领豪客，而而是中产阶级级的中老年顾顾客（教师、、医生、银行行职员等）系统能根据顾顾客背景资料料及历史消费费模式计算出出顾客的痛苦苦点（painpoint）如果他输钱超超过痛苦点，，今晚的赌博博会成为一个个痛苦的回忆忆，离开Harrah’s后一去不返实时做出对策策：提供免费费餐券劝退投资决策电影《永无止境》的故事一位落魄的作作家库珀服用用了一种可以以迅速提升智智力的神奇蓝蓝色药物，然然后他将这种种高智商用于于炒股在短时间掌握握无数公司资资料和背景：：将世界上已已经存在的海海量数据（包包括公司财报报、电视、互互联网、小道道消息等）挖挖掘出来甚至将FaceBook、Twitter的海量社交数数据挖掘得到到普通大众对对某种股票的的感情倾向通过海量信息息的挖掘、分分析，使一切切内幕都不是是内幕，使一一切趋势都在在眼前在10天内赢得了200万美元，神奇奇的表现让身身边的职业投投资者目瞪口口呆启示：如果人人类将剩余80％的大脑潜能能激发出来大数据实践广泛应用数据据、使用统计计与量化分析析方法、使用用描述性与预预测性模型以以及基于事实实的管理方法法影响决策和和行动核心：用大数数据思维去发发掘大数据的的潜在价值以基于大数据据的预测分析析为例消费行为：营营销人的社交活动动：恋爱、离离婚、生育人的思考与决决策：竞选、、论文评分、、情绪人的放弃：惠惠普对30多万员工的离离职风险评估估事故：保险、、破产疾病和死亡撒谎、欺诈、、犯罪西格尔，《大数据预测》，中信出版社社，2014年4月大数据预测的的147项案例Google流感预测：：国家、地区区是分析过去，，提醒现在，，展望未来。。百度预测景点预测疾病预测城市预测房地产预测票房预测就业预测金融预测世界杯预测高考预测百度大数据产产品百度司南：一一站式营销决决策平台人群分析品牌分析媒体分析舆情分析百度统计百度精算百度推荐百度筷搜？大数据：价值值潜力与捕捉捉难度大数据对企业业的革命性影影响有能力从以自自我为中心改改变为以客户户为中心从产品创新到到需求创新：：强需求胜过过好产品导致管理方式式的重构业务本身就可可以自决策，，不必要依靠靠膨大的组织织和复杂的流流程改变了商业逻逻辑从观察、思考考、推理、决决策到直接获获得答案决策文化变革革：让数据做做主从全新视角来来发现新的商商业机会和重重构新的商业业模式广角镜+显微镜农夫山泉用大大数据卖矿泉泉水“大自然搬运运工”，在在全国有十多多个水源地“搬上搬下，，银子哗哗””：一瓶超市市售价2元的550ml饮用水，其中中3毛钱花在了运运输上如何根据不同同的变量因素素来控制物流流成本道路等级、天天气、配送中中心辐射半径径、季节性变变化、不同市市场的售价、、不同渠道的的费用、各地地的人力成本本、甚至突发发性的需求业务员每天例例行公事：到到销售点拍摄摄10张照片：水怎怎么摆放、位位置有什么变变化、高度如如何……一天要跑15个，下班之前前150张照片传回总总部，产生的的数据量在10M全公司1万个业务员，，每天100G，每月3TB基因测序与个个性化医疗的的实现一种新型基因因检测技术，，能够从血液液或唾液中分分析测定基因因全序列意义：预知未未来健康状况况，有针对性性地进行保健健和治疗，帮帮助人们从被被动预防治疗疗走向主动预预知健康乔布斯和影星星安吉丽娜·朱莉市场比保健市市场更为庞大大，未来将达达到几百万亿亿美元问题：消耗时时间、代价昂昂贵一个肿瘤患者者的基因组容容量是2-3T借助于大数据据，基因测序序的成本已经经从几十万美美元逼近1000美元大关大数据实践为为企业创造价价值的可能途途径客户群体细分分，量身定制制特别服务发现隐藏线索索，进行产品品和服务创新新模拟现实环境境，发掘新的的需求加强部门联系系，提高管理理和产业链条条效率例1：提供个个性化定制性性服务美国明尼阿波波利斯市郊外外的一位父亲亲收到了美国国第二大零售售商Target寄来的有关养养育婴儿的优优惠券收件人是他那那还读高中的的女儿这位父亲起初初勃然大怒，，准备同该商商家理论但后来发现女女儿确实不小小心怀了孕根据25种典型消费品品的消费大数数据构建了““怀孕预测指指数”商家正是根据据这位少女在在该店的购物物记录，通过过该指数，准准确无误地预预测到了她的的预产期于是立即启动动了个性化服服务例2：把握居民电电力消费行为为特征人类对自身能能源消耗的细细节并不了解解在这些细节中中暗藏了大量量无效率的能能源浪费不同的消费形形态造成不同同的发电成本本不同发电成本本负担的消费费者支付了相相同价格，从从而造成巨大大的无效率现有定价机制制无法根据消消费形态不同同区分不同价价格通常假设居民民电力消费行行为具有“双双峰”特点由智能电表得得到的大数据据分析不支持持：每隔15分钟测量虽然总体呈现现此模式，但但个体模式各各异（只有10%）通过大数据技技术设计高效效节能电力消消费模式例3再现现场环境境发现新的需需求PRADA在纽约的旗舰舰店中每件衣衣服上都有RFID码每当一个顾客客拿起一件PRADA进试衣间，RFID会被自动识别别，数据会传传至PRADA总部每一件衣服在在哪个城市哪哪个旗舰店什什么时间被拿拿进试衣间停停留多长时间间，数据都被被存储起来加加以分析如果有一件衣衣服销量很低低，以往的作作法是直接干干掉如果RFID传回的数据显显示这件衣服服虽然销量低低，但进试衣衣间的次数多多某个细节的微微小改变就会会重新创造出出一件非常流流行的产品大数据相关技技术苏珊.朗格，《哲学新解》某些观念有时时会以惊人的的力量给知识识状况带来巨巨大的冲击