大数据环境下的管理理论与方法

大数据环境下的决策理论与方法生活、工作与思维的大变革Living,workingandthinkingbigchanges东南大学经济管理学院Email:第一页，共四十一页。第一部分：大数据的基本介绍第二部分：大数据时代的思维变革第三部分：大数据时代的商业变革第四部分：大数据与电子商务第五部分：促进大数据发展行动纲要第五部分：大数据的局限、误区与真相目录第二页，共四十一页。一、大数据的基本介绍第三页，共四十一页。一场生活、工作与思维的大变革大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……马云说：互联网还没搞清楚的时候，移动互联就来了，移动互联还没搞清楚的时候，大数据就来了。大数据，变革公共卫生大数据，变革商业大数据，变革思维大数据，开启重大的时代转型预测，大数据的核心大数据，大挑战引言第四页，共四十一页。啤酒+尿布（神方案）全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒＋尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。大数据的神奇传说1Google数字模型预测流感谷歌二〇〇八年研发出一组分析算法，对流感检索关键词，发生频率、地域和时间分布等展开大数据分析。仅用一天时间，就拿出了流感爆发预测，提前几周成功预测了2009年在美国爆发的甲型H1N1流感，发表在《自然》杂志，声称准确率高达97％超市预知高中生顾客怀孕明尼苏达州一家塔吉特门店曾被客户投诉，一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿——一个高中生。但没多久他却来电道歉，因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据，然后通过相关关系分析得出事情的真实状况。第五页，共四十一页。大数据的神奇传说2数据新闻让英国撤出伊拉克2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定。第六页，共四十一页。数据文档帮乔布斯延长生命乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。大数据的神奇传说3大数据成功预测21项大奖2013年，微软纽约研究院的经济学家大卫?罗斯柴尔德（DavidRothschild）利用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题。今年罗斯柴尔德再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力。大数据让奥巴马连任成功2012年11月奥巴马大选连任成功的胜利果实也被归功于大数据，因为他的竞选团队进行了大规模与深入的数据挖掘。时代杂志更是断言，依靠直觉与经验进行决策的优势急剧下降，在政治领域，大数据的时代已经到来；各色媒体、论坛、专家铺天盖地的宣传让人们对大数据时代的来临兴奋不已，无数公司和创业者都纷纷跳进了这个狂欢队伍。第七页，共四十一页。美国国家科学基金委（NSF）的定义大数据是指由科学仪器、传感器、网上交易、电子邮件、视频、点击流和/或所有其他现在或将来可用的数字源产生的大规模、多样的、复杂的、纵向的/或分布式的数据集。大数据的定义IBM公司的定义大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（真实性），这些特征相结合，定义了IBM所称的“大数据”。麦肯锡公司（McKinsey&Company）的定义大数据是一个大的数据池，其中的数据可以被采集、传递、聚集、存储和分析。目前，大数据是全球经济每个部门和功能的一部分。与固定资产和人力资本等其他重要的生产要素类似，没有数据，很多现代经济活动、创新和增长都不会发生，这正成为越来越普遍的现象。维基百科（Wikipedia）的定义大数据是指规模庞大且复杂的数据集合，很难用常规的数据库管理工具或传统数据处理应用对其进行处理。第八页，共四十一页。数据数据（data）是记录下来的、存储在某一种媒体上能够识别（鉴别）的符号。这些符号不仅指数字，而且包括字符、文字、图形和影像等等。数据、信息和知识知识知识是一种用符号表示的信息，其中信息是知识的内涵与实体，而数据是信息的外延与形式。信息信息（information）是经过加工处理对客观实体产生影响的数据，数据是承载信息的载体。数据、信息与知识的关系对象数据信息知识识别、检测、表达转变、处理获取、创造第九页，共四十一页。管理就是决策决策科学先驱者西蒙（H.A.Simon）教授认为，管理就是决策。不同的决策其问题不同、期望不同、复杂度不同、可控性不同、可形式化程度不同等，利用大数据可为企业的决策者或管理者进行决策提供帮助，或辅助决策，以提高决策的科学性、可预见性。决策决策问题的分类从决策科学的角度来看，按照决策问题可形式化的程度，企业的决策问题可分为结构化决策、非结构化决策和半结构化决策。第十页，共四十一页。结构化决策通常指确定型的管理决策问题，即问题的相关要素、以及要素之间的关系和制约关系是可知、可描述的、确定的。例如，应用运筹学方法等求解资源优化问题。如：饲料配方、生产计划、调度等。决策问题的分类非结构化决策非结构化决策问题很难用确定的决策模型来描述，大多数情况下它发生在企业的战略层，是必须由决策者给出问题的定义、判断和评价的一类决策问题。往往是决策者根据掌握的情况和数据临时做出决定。如：聘用人员，为杂志选封面。半结构化决策半结构化决策介于结构化决策、非结构化决策之间，一般只有部分给定的处理过程和清晰结果，很多情况下发生在知识管理层和战术管理层。这样的决策问题一般可适当建立模型，但无法确定最优方案。如：开发市场，经费预算。第十一页，共四十一页。不同层次决策的信息特征第十二页，共四十一页。二、大数据时代的思维变革第十三页，共四十一页。大数据时代的思维变革—更多“更多”——不是随机样本，而是全体数据当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本＝总体”。让数据“发声”——IBM的资深“大数据”专家杰夫-乔纳斯（JeffJonas）小数据时代的随机采样，最少的数据获得最多的信息全数据模式，样本＝总体第十四页，共四十一页。大数据时代的思维变革—更杂“更杂”——不是精确性，而是混杂性执迷于精确性是信息缺乏时代和模拟时代的产物。据估计只有5%的数字数据时结构化的，能适用于传统的数据库。如果不接受混乱，剩下95%的非结构化数据都无法被利用，通过接受不精确性，可以打开从未涉足的世界的窗户。允许不精确大数据的简单算法比小数据的复杂算法更有效纷繁的数据越多越好混杂性，不是竭力避免，而是标准途径新的数据库设计的诞生第十五页，共四十一页。大数据时代的思维变革—更好“更好”——不是因果关系，而是相关关系知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法第十六页，共四十一页。三、大数据时代的商业变革第十七页，共四十一页。大数据时代的商业变革—数据化“数据化”——一切皆可“量化”大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化的核心当文字变成数据当方位变成数据当沟通成为数据一切事物的数据化第十八页，共四十一页。大数据时代的商业变革—价值“价值”——“取之不尽，用之不竭”的数据创新数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。穿戴式健康电子产品现在有可穿戴的数据设备，可以追踪监测很大的人群，而且可以对这些人群进行监测，抽取非常丰富的数据，而且可以对小群体进行监测。现在我们还有能力可以监测每个个人，比如说监测个人的血压、血糖等等指数，时间长了就可以预测患这些疾病的风险。第十九页，共四十一页。大数据时代的商业变革—角色定位“角色定位”——数据、技术与思维的三足鼎立微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7亿美元的价格购买了给Farecast提供数据的ITASoftware公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值还是必须从数据本身来挖掘。大数据价值的3大构成大数据掌控公司大数据技术公司大数据思维公司和个人全新的数据中间商专家的消亡与数据科学家的崛起大数据，决定企业的竞争力第二十页，共四十一页。四、大数据与电子商务第二十一页，共四十一页。大数据与电子商务—现状截止2014年12月底中国网购用户规模达3.8亿人,而2013年为3.12亿,同比增长21.8%。2012年淘宝天猫双十一191亿，2013年双十一350亿，2014年双十一571亿，那2015年的淘宝天猫双11究竟能够突破多少亿交易额呢？根据数据试着用三种方法进行推到演算。预测2015年的淘宝天猫双11销售额是844亿—860.5亿。同时，根据Alexa统计及数据估算，淘宝网的日均页访问量达到了3.53亿，每天产生的数据量更是高达60TB第二十二页，共四十一页。大数据与电子商务—精准营销1号店通过手机平台的大数据，对其进行分析，给顾主发送个性化EDM，进行精准的电子邮件营销。若顾客曾经在1号店网站上查看过一个商品却未购买，一号店会根据可能的情况：缺货，价格不合适，商品不合适等经行分析，分别在到货、降价或引入类似商品时以电邮方式告知客户。同时，通过挖掘客户的周期性购买习性或附近类似客户的购买周期习性，适时提醒客户。淘宝在2012年推出了“淘宝时光机”项目，该项目通过分析用户自注册为用户以来的行动，用幽默生动的谈话模式，告知顾主淘宝的成长历史以及该用户在淘宝购物的轨迹。通过收集与该用户有相类似喜好的其他用户的行动并经过分析后，可以对特定用户的偏好和行动轨迹进行猜测，已达到精准营销的目的；并可以用特定用户喜好的方式和个性化的数据、拉近了与顾客的距离。Google的Adsense对顾客的搜索过程和其对各网站的关注度履行数据经行发掘，并在联盟内网站上追踪用户的去处，将数据整合后经行分析，在其联盟网站上推出了和顾客潜在兴趣相匹配的广告，达到精准化营销。第二十三页，共四十一页。大数据与电子商务—信用评级阿里巴巴则通过在淘宝、天猫等网站积累的数据资料，通过对用户的销售终端、资金使用等数据进行追踪和收集，以了解中小企业的交易状况。从中可筛选出财务健康、讲究诚信的企业，为他们发放无担保贷款，解决其贷款难的问题，不仅新增了盈利模式又可以防范风险。目前，阿里巴巴已收贷300多亿元，坏账率仅为0.3%，远低于银行贷款坏账率。第二十四页，共四十一页。大数据与电子商务—广告推介当当网、亚马逊等电商企业之前通过协同算法来找到商品之间的联系，即：当购买某件商品时，会展现相关商品的推荐信息。这能够为用户查找相关商品提供方便，提升客户体验；更是利用了商品之间的互补性与相关性，增加了销量。并且，通过对平台用户的浏览痕迹进行记录分析，正对不同层次类型的用户会提供特定的商品推荐信息。第二十五页，共四十一页。数据分析如何帮助电商行业提升绩效—客户洞察通过对客户历史数据的分析，进一步了解客户的购物习惯、兴趣爱好和购买意愿，并可以对客户群体进行细分，通过用户画像了解用户，猜测用户对产品的需求或者潜在需求，精细化的定位人群特征，挖掘潜在的用户群体，为媒体网站、广告主、企业及广告公司充分认知群体用户的差异化特征，根据族群的差异化特征，帮助客户找到营销机会、运营方向，全面提高客户的核心影响力。第二十六页，共四十一页。数据分析如何帮助电商行业提升绩效—营销规划精准的广告电子商务企业同归对这次写海量数据的收集、分析和整合，挖掘出对自己有用的信息，分析不同用户群体的特征，根据用户需求和兴趣在正确的时间，给正确用户投放让其感兴趣的广告，从而保证营销的有效性和精准性。消息的及时推送实现消息额及时推送囊括的范围很广泛，包括在用户需要时提供信息，或者电商企业推送性吸引导用户进行购买等。很多电商企业利用大数据挖掘客户的周期性购买习惯，在临近客户购买周期时适时的提醒客户消费。消息的个性化展示利用大数据，对用户的数据进行收集、分析和整合，对数据库进行实时更新，从而改变页面内容，在信息海洋中为用户提供有用及时信息，对产品与服务进行针对性的调整与优化，为消费者提供个性化和精准的服务。第二十七页，共四十一页。数据分析如何帮助电商行业提升绩效—物流管理将供应链领域的销售网点体系、条形码扫描设备、射频识别阅读仪、用于车辆和手提电话的全球定位系统以及用于管理交通、库房和其他运作的软件体系等数据相关联，并从多种渠道获取大量非结构性数据，进行研究，提升物流速度和针对性。如，要避免库存不足或者由于恶劣天气导致的延迟送货等现象的发生，就进行实时或者近乎实时的数据分析。第二十八页，共四十一页。数据分析如何帮助电商行业提升绩效—风险控制在大数据时代下，企业能够通过海量数据研究客户需求，避免产品市场风险和存货风险。通过研究客户需求在一定程度上降低因市场变化、产品滞销等原因导致跌价或不能及时卖出自己的产品的影响。及时发现市场疲软、产品产销不对路;商品更新换代，客户偏好变化等影响销售的因素，从而很好地控制风险。同时，通过市场数据和客户数据的结合研究，企业能够更好地控制生产投入、控制采购、按时产出，加强保管。第二十九页，共四十一页。五、促进大数据发展行动纲要第三十页，共四十一页。李克强总理的大数据观—共享政府大数据建设，首先要实现所有部门的数据“共享”。在8月19日的常务会议讨论研究《关于促进大数据发展的行动纲要》时，李克强重点强调：各部门的数据首先要实现“共享”。“什么叫“共享”？起码要有个连接，打开你的就能把其他的打开。共享过程中如果出现重叠，那就要进行衔接，实现数据整合。”第三十一页，共四十一页。李克强总理的大数据观—开放有一些引导社会经济发展的数据，不涉及国家秘密的，都应该向公众开放，以方便大家使用。从另一方面讲，相关数据的开放，也会倒逼政府数据发布的真实性和规范性。“现在一些地方、部门发布的数据，有时候会相互‘打架’，老百姓都搞不清楚究竟哪些数据是真实的。”李克强说，“这怎么提高社会治理能力，怎么建设现代政府呢？”他要求，政府大数据建设不能仅仅“划一个概念”：“首先要把政府大数据的建设事情办好，给社会一个好的示范。”第三十二页，共四十一页。李克强总理的大数据观—安全大数据产业的潮流不可阻挡，我们要顺势而为。今年2月，总理在贵州考察期间，专程来到北京·贵阳大数据应用中心，详细了解贵阳利用大数据平台监督执法权力的情况，明确提出要把执法权力关进“数据铁笼”，实现“人在干、云在看”。而在8月19日的常务会议上，李克强强调的第三个关键词就是“安全”。他说，互联网等行业已经在不断创新、发展大数据产业。“因此，政府既要‘扶持’，为大数据产业创造一个健康发展的环境，又要‘引导’、‘规范’，保障信息安全。”总理明确，要完善产业标准体系，依法依规打击数据滥用、侵犯隐私等行为，让各类市场主体公平分享大数据带来的技术、制度和创新活力。第三十三页，共四十一页。促进大数据发展行动纲要—国家行动方略2015年9月6日经李克强总理签批，国务院日前印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。《纲要》提出，要加强顶层设计和统筹协调，大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合，消除信息孤岛，推进数据资源向社会开放，增强政府公信力，引导社会发展，服务公众企业；以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展；完善法规制度和标准体系，科学规范利用大数据，切实保障数据安全。《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。第三十四页，共四十一页。促进大数据发展行动纲要—主要任务一要加快政府数据开放共享，推动资源整合，提升治理能力。二要推动产业创新发展，培育新兴业态，助力经济转型。三要强化安全保障，提高管理水平，促进健康发展。第三十五页，共四十一页。促进大数据发展行动纲要—政策机制一是建立国家大数据发展和应用统筹协调