麦肯锡——大数据：创新、竞争和生产力的下一个前沿

1、麦肯锡数据：创新、竞争和生产力的下一个前沿原文翻译数据已成为流入全球经济各个领域的激流。公司制造了数量庞大的 交易数据，捕获了数万亿字节的有关其客户、供给商和公司运营的信息。 数百万的网络传感器被嵌入在诸如移动、智能电表、汽车和工业机器等实体设备中，它们在物联网时代感知、创建和传送着数据。事实上，随 着公司和组织开展他们的业务并与个人进展互动，他们正在产生大量的排放数据，即作为其他活动的副产品而产生的数据。社交媒体、智 能手机和其他消费设备，包括 PC和笔记本电脑，使世界上数十亿的个 人能够贡献大量数据。而且越来越多的多媒体内容在大数据的指数增长 中发挥了重要作用见插文 1 ,大数据是什么？。

2、例如，每秒的高 清视频生成的字节数量是存储单页文本所需的2000倍。在数字世界中,消费者每天都在进展通信、浏览、购置、共享和搜索 一一创建自己巨大 的数据流。大数据是指数据量级超过传统数据库软件工具捕获、存储、管理和分析能力的数据集。这个定义是主观的，并且包含了一个数据集量 级的动态定义超过这个大小才会被认为是大数据一一也就是说，我们没有定义一个确定的值比如多少 TB。我们认为随着技术的进步， 被认定为 大数据的数据集的大小数量级也将增加。还要注意，这个 数据集大小的定义会因行业而异， 它取决于这些行业中普遍使用的软件 工具不同以与通常的数据集的大小。基于这些认知，今天许多行业的大 数据的数据

3、集大小X围将从几十TB到几PB几千TB。数据量激增本身是一个全球现象， 但它是意味着什么呢？全球 X围 内有许多人对这种信息收集持深深的怀疑态度，认为数据泛滥只不过是 对他们隐私的侵犯。但有证据明确，大数据不仅惠与商业，而且在国民 经济与民生方面，都会发挥重要的经济价值。我们的研究发现，数据可 以为世界经济创造巨大的价值、提高公司和公共部门的生产力和竞争 力，并为消费者创造显著的经济附加值。例如，如果美国医疗保健行业 能够创造性地、有效地使用大数据来提高效率和质量，我们估计，该行 业从数据获取的潜在价值可能超过每年3000亿美元，其中三分之二将表现在减少了国民医疗保健约 8%的支出。在商业世界

4、里，我们估计， 例如，充分使用大数据的零售商有可以将其营业利润率增加60 %以上。在欧洲兴旺经济体，我们预计政府行政部门可以通过使用大数据，在运营效率提升上节省1000亿欧元以上1 940亿美元。这个估计不包括 大数据杠杆带来的收益，比如减少欺诈、错误和税收差距即潜在税收 和实际税收收入之间的差距。现在数字化数据无处不在一一存在于每个行业、每个经济体以与每个使 用数字技术的组织和用户中。虽然大数据这个话题可能只有一些数据极 客在提与，但大数据现在与每个领域的领导者都相关，而且消费者已经从其被应用的产品和服务中受益。存储、聚合和组合数据，并将其结果进展深入分析的能力，经历着像摩 尔定律在计算领域

5、的趋势一样：数字存储介质、云计算持续地在降低本 钱和技术障碍。不到600美元，你就可以购置一个磁盘用来存储世界上 所有的音乐。从数据中获取洞察的方法也得到显著提升，这得益于应用了复杂技术的软件和强大的计算能力在一起进步。此外，由于现在通过网络连接的人、 设备和传感器的数量的增加，生成、 传播、共享和访问数据的能力得到了革命性的提升。2010年，超过40亿人占世界人口的60%使用手机，其中约12%的人使用智能手机， 其渗透率还在以每年超过 20 %的速度增长。目前在交通、汽车、工业、 公用事业和零售行业有超过 3000万个网络传感器节点。这些传感器的 数量以每年超过30 %的速度增长。有很多方法

6、可以使大数据在全球经济的各行业中创造价值。事实上，我们的研究明确，我们正处在创新、生产效率和经济增长的巨大浪潮中， 伴随着新的竞争和价值获取模式 一一完全由大数据驱动，这些大数据需 要消费者、企业和各行业充分开发其潜力。但为什么是现在这样呢？难道数据不是信息、通信技术影响的一局部？是的，但我们的研究明确，大数据所带来的变化的规模和 X围处于一个 拐点，随着一系列技术趋势的加速和趋同，它将大大扩展。由于这种趋 同，我们已经看到经济格局在明显变化。许多先驱公司已经在使用大数据来创造价值，其它的需要探索他们需要如何做才能去竞争。政府也面临一个重要的机会， 在公共财政预算有限的情况下， 提高他们 的效

7、率并给公民带来的价值，而且很可能由于世界许多国家的人口老龄 化，财政预算一直持续吃紧。我们的研究明确，公共事业领域可以通过 有效利用大数据来显著提高其生产力。然而，如果公司和其他组织和政策制定者要获取大数据的全部潜力，需要面对相当大的挑战。能够充分利用大数据的分析和管理人才的短缺是一个重大而紧迫的挑战，公司和政策制定者可能很快就会遇到。仅美国就面临 14万至19 万具备深厚的分析能力的人才缺口， 更不用说还需要150万名管理人员 和分析人员要分析数据并根据上述人的发现做出决策。 人才短缺只是开 始。我们在本报告中探讨的其他挑战包括：建立相应的根底设施；鼓励持续创新的激励和竞争机制；用户、组织和

8、经济体对于经济效益的正确理解； 保障措施到位以应对公众对大数据的顾虑。本报告旨在了解大数据的现状，不同领域如何使用大数据来创造价值， 对利益相关者的潜在价值，以与对私营公司和公共事业领域的领导人， 也就是决策者的影响。我们对大数据作为一个整体进展了分析，详细分析了五个领域美国的卫生保健，欧洲的公共事业领域，美国的零售业，全球的制造和个人位 置数据。这项研究绝不是大数据的盖棺定论， 相反它仅仅是一个开始。我们确信, 随着使用大数据的技术和方法的开展，以与数据、数据应用、数据应用 所带来的经济效益的增长伴随着挑战和风险，这将是一个持续开展 的故事。就目前来说，我们的研究涵盖了以下七个核心观点：1.

9、 数据已经渗透到每个行业和商业功能之中，是生产的重要因素。 已经有几个研究团队对世界 X围内生成、存储和消费的数据总量进展研 究。尽管由于研究X围不同，所带来的结果各不一样，但都明确未来会 呈指数级增长。MGI估计，2010年，全球企业在磁盘驱动器中存储超 过7 EB的新数据，与此同时，消费者在 PC和笔记本电脑等设备上存 储超过6 EB的新数据。1 EB的数据相当于4000多倍于美国国会图书 馆的存储信息。事实上，我们今天所收集的海量数据，物理存储无法实 现。例如，医疗保健提供者会丢弃其 90%的生成数据例如，几乎所有 在手术期间所创建的实时视频。大数据现已覆盖全球经济中的各个部门， 一如有

10、形资产和人力资本这样 的重要生产要素，现代经济活动根本离不开大数据。我们估计，到2009年，美国经济中几乎所有领域拥有1000名以上员工规模的企业，平均至少有 200 TB的存储数据这是1999年美国零 售商沃尔玛数据仓库规模的两倍。在许多行业，每个公司的平均存储 数据都超过1 PB。总的来说，欧洲组织大约是整个美国存储容量的70 %，接近11 EB，而美国在2010年超过16 EB。鉴于欧洲各经济体开展阶段彼此类似，因此，我们认为，欧洲大多数行 业的公司都有足够的能力来存储和操纵大数据。其他地区的人均数据容量相较更低。这明确，至少在短期内，通过大数据创造价值的最大潜在 地区是在最兴旺经济体。

11、然而长远来看，只要条件成熟，开展中经济体也同样潜力巨大。例如， 目前亚洲已经是个人位置数据的领先地区，因为人口众多，移动普与。 2010年，手机使用率还会更高 一一仅仅在中国就预计有8亿台设备。 此外，开展中国家的个别公司，在使用大数据方面表现强劲。还有的组 织将充分利用远程存储和数据处理能力。由于根底技术、平台和数据分析能力的创新，并且越来越多的用户行为在虚拟的数字世界展现出来，大数据的可能性将持续迅猛开展。2. 大数据在众多领域创造价值我们发现了五种广泛适用的途径， 通过利用大数据发现潜在的转型可能 来创造价值，并对组织如何设计、运营和管理产生重要影响。例如，在可以开展大规模试验的环境中，

12、 企业如何开展营销活动？企业 流程如何调整，企业如何评估和利用他们的资产特别是数据资产？ 公司对数据的访问和分析能力能否具有高于品牌的价值？现有的商业 模式会被什么取代？例如，基于信息不对称的行业 一一例如，各种类型的经纪人一一在数据 充分透明度的世界，将会有何改变？在原有商业模式和根底架构之上的 现任人员，如何与新晋攻击者竞争，这些攻击者能够快速处理并利用详 实的消费者数据，例如，他们在社交媒体中说了些什么，他们在使用哪 种设备？当大量数据开始从供给商转移到消费者端，消费者可以自主的访问数据，比如比照各竞争对手间的价格和质量，那又会发生什么呢？创建透明度使利益相关者的与时访问更加便捷， 仅凭

13、这一点就可以创造巨大的 价值。例如，在公共部门，使那些独立部门获取数据更为容易，可以大 大减少搜索和处理时间。在制造过程中，整合来自研发、工程和制造单 元的数据，以实现并行处理，可显著缩短产品推向市场的时间并提高其 质量。通过实验来发现需求，揭示可变性并提高性能 当他们以电子形式创建和存储更多交易数据时， 组织可以收集到更为准 确和详细的绩效数据实时或接近实时，从产品库存到员工病假情况。IT信息技术使组织能够使生产过程仪表化，然后设置控制实验。使用数 据来分析性能的变化 一一可能是自然产生的，或通过受控实验产生 一一 究其根因，可以提高领导者的绩效管理水平。根据个性化行为，划分客户群大数据可以

14、使组织进展更为具体的市场细分，准确地定制产品和服务以满足不同需求。这种方法在营销和风险管理中广泛应用，在其他领域如 此是革命性的一一例如，在公共部门，一视某某如此是通常做法。在市 场划分方面，即便是颇有渊源的消费品和服务公司，也开始部署更精细 的大数据技术，例如对客户进展实时的微观层面的细分，以准确制定促 销活动和广告。用自动算法替代/辅助人类决策精细的分析能够大大改善决策，最大程度地降低风险，并开掘隐含价值。 这样的方式适用于税务机构、 零售商等各类组织，税务机构可以通过自 动风险引擎来识别候选者，以进一步检查，零售商可以通过算法优化决 策过程，诸如存货的自动微调和根据商店和网上商店的实时定

15、价调整。 有时候，决策不一定是自动化的，而是通过使用大数据技术，分析整个 庞大的数据集，而非个人就能解读并处理的电子表格小样本。决策可能各不一样；有的组织已经能够通过对客户、员工，甚至嵌入在产品中的 传感器所获取的整个数据集来做出更好的决策。仓造新的模式、产品和服务大数据使公司能够创造新的产品和服务，改良现有的数据，并发明全新的商业模式。制造商正通过从实际产品的使用表现中获取数据，以改善 下一代产品，并提供富于创新的售后服务产品。实时定位数据的出现， 创造了一套全新的基于位置的服务，从导航到财产定价，以与基于何时 何地驾驶汽车的伤亡保险赔付。3. 对每个公司而言，大数据应用会成为核心竞争力和增

16、长驱动力大数据应用正成为领先企业超越同行的关键手段。例如，我们估计，拥 抱大数据的零售商有可能提高 60%以上的营业利润率。许多零售巨头， 诸如英国Tesco如此通过使用大数据从本地竞争对手获取市场份额，金 融服务和保险等行业也屡见不鲜。我们认为，在各个行业，大数据的先驱应用者价值会上升，恰恰以牺牲 落后者为代价，这种趋势逐渐被印证。 有前瞻性的领导者可以逐步建立 强大的数据能力。这项工作需要时间，但利用大数据的开展优势将在长 期内显现，无疑是值得投资的。反之亦然，难以充分发挥大数据能力的 竞争对手将被甩在后面。大数据还有助于创造新的增长机会和全新类型的公司，例如整合和分析行业数据的公司。这些

17、公司大多处于大数据信息流之中，可以获得关于产品和服务的数据，买方和供给商的数据以与消费者偏好。像这样 的例子有很多，广泛消费受众的产品和服务公司，拥有全球供给链的公司，处理数百万桩交易的公司，以与消费者数字体验平台等。这些将成为大数据优势行业。越来越多的企业也会发现自身所具有的某种大数据 优势。许多公司拥有自身产品和服务所生成的宝贵数据库。甚至可以连接到实物，使产品能够自动报出序列号、船期、使用次数等。这些机会中，一局部会产生新的价值来源，另一局部会导致行业内价值 的重大调整。例如，到2020年，医疗临床信息提供者将角逐超过 100 亿美元的市场份额，他们通过整合数据并进展必要的分析以提高医疗

18、保 健的效率。早期快速行动者确保拥有有效的数据入口，必将赢得最大的收益见插文2如何衡量大数据的价值？ 。从竞争力和潜在价值的角度来看，所有公司都应该认真对待大数据。大 多数行业中，既定的竞争对手和新进入者都将利用数据驱动战略来创 新、竞争和赢得价值。事实上，在每个部门我们都找到了类似现象的早 期案例。插文2.如何衡量大数据的价值？当我们想量化大数据的潜在价值时，我们只考虑那些根本上依赖于大数 据的行业是如何获得价值杠杆的一一对于这些行业来说大数据是必要 的，但又不完全依赖于此。我们没有把那些只包括自动化但不涉与大数 据的杠杆价值计算进来例如，用 ATM代替银行柜员以获得生产力提 高。还要说明，

19、我们计算那些需要使用大数据的杠杆总价值，并没有 试图去估计大数据对特定杠杆产生的价值。4. 大数据的应用将产生新的生产率增长点和消费者盈余在我们研究的这五个领域有许多大数据杠杆， 它们将带来生产力的大幅 增长见图1。这些机会很有可能提高效率和效用，使组织能够以更 少的投入做更多的事情，并获得更高质量的产出，即提高产品和服务的 增值价值。例如，我们发现公司可以利用数据，设计出更有效地匹配客户需求的产 品。随着产品的使用，还能通过数据进一步完善产品。例如手机能够获 得用户习惯和偏好，保存适合于该特定用户需要的应用和数据，这样按 需定制的产品更有价值。当然这也需要操作和流程的创新。 还有通过算 法来

20、增强决策的有效性，并在产品和服务方面实现创新 一一从临床实践 到税务审。例如，通过使用高级算法分析加快新药的开发，通过使用网 络传感器为汽车用户创造新的、积极的售后服务。加快每个环节的生产率是提高这个经济体整体水平的关键， 这为企业提高生产率开启了另一 扇门。我们还发现了一个通用模式， 客户、消费者和公民可以通过大数据支持 来获得大量经济盈余它们是大数据相关创新的直接和间承受益者。 例如，使用大数据可以改善健康结果，公民可以高效的参与政府决策， 价格透明度提高带来价格的降低，以与更好的将产品和消费者需求匹 配。我们估计，随着大数据的部署，这一趋势会使消费者获得更多盈余， 加快所有行业的开展。以

21、个人位置数据为例。 使用实时交通信息导航可 以节省旅行时间和燃料消耗， 以此创造可量化的消费者剩余。 支持移动 定位的应用程序也会从用户中获得信息盈余。这两种情况中，这些创新所带来的盈余甚至可能远远超过服务提供商所获得的收入。为了使消费者受益，决策者通常需要推动持续的大数据部署。图1 :大数据能为多个行业获取显著的经济效益US health care $300 捌 iqn vfilufi pe< /ear *0.7 peroent annual productivity growthEurope public sector administration £2看0 billion

22、 value peR year S).5 percent annual productivity growthGlobal personal location data $100 tullion reve n ue for service providers* Up to S7Q0 billion value to end usersUS retail 60+% incre$e in net marg in possib le 0.5-1.0 percent annuli productivity growthManufacturing1 Up io 50 p&rc&nt de

23、crease in prodija development, assembly exists Up to 7 percenl reductian in working capitalSOURCE; MclCnvay Gtobsi insjituie anaiysJs5. 大数据的应用会影响很多行业，一些行业会有更大的收益Exhibit 2Some sectors are positioned for greater gains from the usa of big dataHistorical productivity growth Fn the Unttad States, 2000-08

24、 %24.023.5?3.022.5二二C«nputar andwtetVonic ppHtucls Cluster ACliisr 0! ClusterB GlmrtE .Cluster CC I 日ubblfrgireE denote''nHativa of GOPIrtfomiaj&nAdnninrBtFHttofi 日闻port, and manag&rn&fllWiotawlt trvdaManufacturing目M we曲h<Uii輛Finjnc# &nd lAOufflnc#Rn< ii eisMto ant

25、f rental帖ul；h Cre- pmvr:：曰佶gi圖Reiail lra(Rger 购冲罕 EdLCfftionqlserviresCwiitruciBDLq#Bln data valu patontlal lnd«x-Hih1Uix fv d'tAil4d 聲fi加时皐占nd rfi自"infer vaIu-时诗rm目l.SOURCE US Bi/reu of Labor Sldslict. htcKmMy Global insiiLite ariaiys.&各行业有着明显的差异，如果我们比照一下美国这些行业传统的生产力 与采用大数据之后的潜力使用

26、结合了集中量化指标的指数，我们会 发现各行业的模式差异巨大见图 2。计算机、电子产品和信息技术行业A组，属于全球贸易，并且已经 经历了非常强劲的生产力增长，有望从使用大数据中获益匪浅。B组中的两个服务行业 一一金融保险、政府一一只要可以克制使用中的 障碍，也将受益于大数据。C组的几个行业，刚经历了生产力的负增长，可能明确这些行业面临着 提升生产率的强大系统性障碍。其他行业中，我们看到全球贸易行业主要是D组往往经历较高的历史生产力增长，而本地服务业主要是 E组如此呈现较低增长态势。Top qulnlllci2nd qidiMJi*3rd4ilFii qulffitlle口"询细(mos

27、t 日MicuWl Id CBFrturw) imq dvaiiiA heat map show事 the relative ease of capturing the val ue potential across sectorsOwrjiillB3M< OfDalaeMMwndataInMic4IT interiBHyMonuiaEtunnoNLatupi mournsCowiEMjrt'Br BTid alBctrnni prodiJE±sRa«irental, tand) H-oa«Ing*碎 pRDlm甘 VttLhtInlbcrretic

28、MiT r artBew-tfilion and 丹曾Ratal I traOiiAdministrativa , support, wasd# rmsnsge-mert, aiKS FHrneaiaUon servicnA»cm *nod oil cm nfid <cod HrwicnOliMir services ji£&pl put>nc adrnm israwnjiArts enleiiaT nment, and r-Bcr&artTonFirKsncfl ainid! Ina-uriBWdHroAiiMKriai.nd ifrchniE

29、ai mfyicmMsnogerrwiM of comgumiw arid «nl«rp*imv Quwrrianesirrt.EdluiaticxiiLal serwiresMwftlh CW and c-r ! zjGcitlanrQ1appirKix fpr Enetai ld dc4irir|iqnzi on寸 mtnog- ij孚赳 for 口凸匚bi F ltiu gnbeia.SOUACiEl McKirmy GrafcaQ lcUtLila wzl芦陆虽然所有部门都必须克制使用大数据获取价值的障碍，但一些行业的结构性障碍更高见图3。例如，公共事业部门包括教育

30、行业，由于缺乏数据驱动的心态和现有数据，将面临更大的障碍。在医疗保健中获取价值的主要障碍是现有的IT水平较低。恰恰相反的是，零售，制造和 专业服务等行业可能会出现相对较低的障碍。6. 大数据需求组织将面临人才短缺限制大数据实现价值的一个显著原因是人才的短缺，特别是在统计和机器学习方面具有深厚造诣的人才， 以与知道如何通过使用大数据来 运营公司的经理和分析师们。Exhibit 4Demand for deep analytical talent in the United States could be 50 to 60 percent greater than its projected su

31、pply by 2018 Supply and demand Of «nalytic*l talont by 2Q1BThousand people140-19044M902008Graduates Othefs1 2018 supply Talent gap 2018 projectedemployment with deepdemandanalytical talent1 Other supply drivari include attrition immigration +)t and neemployingunennploy&d deep analyticai taJ

32、emt (+)SOURCE; US Buifbbui of Labor Stfirtiatica- US Census: Oin & Brodstmt; axnpany inteivieMrs; McKjinw Globfii InsilW anaiyraI一在美国，我们预计大数据将迅速成为各行业竞争的关键决定因素。但是,我们预测，在大数据行业中对深度分析职位的需求可能远远超过当前的供给量，达到14万至19万个职位见图表4。此外，这种人才难以生产，有一定数学能力的根底上，仍需要多年的培训。虽然我们的定量分析使用美国作为例证，但我们认为，这种类型的人才的短缺将是全球 性的，有些地区可能能

33、够产生可以填补其他地区人才差距的供给。此外，我们预计在美国需要150万名额外的经理和分析师，他们可 以有效地提出正确的问题并消费大数据分析的结果。面对类似人才短缺问题的美国和其他经济体，不能简单地通过改变毕业要求以等待学生以 更多的技能毕业，或进口人才来填补这一空白尽管这些可能是重要的 行动。有必要重新培养大量的人才；幸运的是，这一级的培训不需要 多年的专门学习。7. 要获取大数据全部潜力需要解决的几个问题数据政策。随着越来越多的数据被数字化并跨越组织边界，一系列政策问题将变得越来越重要，包括但不限于隐私、安全性、知识产权和 责任。显然，隐私是一个问题，特别是对消费者的重要性正在随着大数 据的

34、价值增长变得越来越明显。 健康和财务记录等个人资料通常是可以 提供最重要的福利的资料，例如帮助确定正确的医疗方案或最适宜的金 融产品。然而，消费者也将这些数据视为最敏感的。很明显，个人和他 们所在的社会将必须处理隐私和效用之间的权衡。另一个需要密切关注的问题是数据安全性，例如，如何保护竞争敏 感的数据或其他应该保持私有的数据。 最近的例子明确，数据泄露不仅 可以暴露个人消费者信息和某某公司信息，甚至暴露国家安全秘密。随 着严重违规行为的增多，通过技术和政策工具处理数据安全将变得至关 重要。大数据日益增长的经济重要性也引起了一些法律问题，尤其是数据 与许多其他资产从根本上不同的事实。 数据可以完

35、美地复制并轻松地与 其他数据结合。一样的数据可以由多个人同时使用。所有这些都是数据 与实物资产相比的独特特征。关于数据附带的知识产权的问题必须得到 回答：谁拥有这些数据，附带有什么权益？什么定义 合理使用数据？ 还有与责任相关的问题：当不准确的数据导致负面后果时， 谁负责？这 种类型的法律问题随着时间的推移，在获取大数据的全部潜力的同时， 将需要澄清。技术和技能。为了从大数据中获取价值，组织必须部署新技术如存储，计算和分析软件和新技能即新型分析方法。技术挑战的X围和处理这些挑战的优先级， 将根据机构的数据成熟度而有所不同。遗 留系统和不兼容的标准和格式，也经常阻碍数据的集成以与大数据创造 价值需要的更复杂的分析。新的问题和不断增长的计算能力将刺激新的 分析技术的开展。还需要技术和技能的不断创新，帮助个人和组织整合、 分析、可视化和消费不断增长的大数据。组织变革与人才。组织领导者往往缺乏对大数据价值的了解以与如 何解锁这个价值。在竞争激烈的行业，这可能被证明是一些公