麦肯锡报告 大数据：下一个创新、竞争和生产力的前沿

赛 迪 译 丛同步跟踪国外工业和信息化最新动向2012 年 6 月 18 日 第 25 期 总 第 57 期 内 部 资 料大 数 据 :下 一 个 创 新 、 竞 争 和 生 产 力 的 前 沿【 译 者 按 】 为 深 入 了 解 大 数 据 技 术 特 点 ， 更 好 把 握 大 数 据 应 用 的发 展 趋 势 ， 继 上 期 刊 登 美 国 总 统 办 事 机 构 今 年 4 月 公 布 的 美 国 联 邦政 府 大 数 据 研 发 计 划 之 后 ， 本 期 赛 迪 译 丛 特 别 刊 载 由 世 界 著 名咨 询 机 构 麦 肯 锡 公 司 于 2011 年 5 月 发 布 的 大 数 据:下一 个 创 新 、 竞争 和 生 产 力 的 前 沿 报 告 。 作 为 从 经 济 和 商 业 维 度 诠 释 大 数 据 发 展 潜力 的 第 一 份 专 题 研 究 成 果 ， 该 报 告 系 统 阐 述 了 大 数 据 概 念 ， 详 细 列 举了 大 数 据 的 核 心 技 术 ， 深 入 分 析 了 大 数 据 在 不 同 行 业 的 应 用 ， 明 确 提出 了 政 府 和 企 业 决 策 者 应 对 大 数 据 发 展 的 策 略 。赛 迪 智 库 软 件 与 信 息服 务 业 研 究 所 对 这 份 专 题 报 告 进 行 了 编 译 ，希 望 能 为 我 国 政 府 相 关 部门 提 供 决 策 参 考 。 1 麦 肯 锡 认 为 ， “大 数 据 ”是 指 其 大 小 超 出 了 典 型 数 据库 软 件 的 采 集 、 储 存 、 管 理 和 分 析 等 能 力 的 数 据 集 。 该 定义 有 两 方 面 内 涵 ： 一 是 符 合 大 数 据 标 准 的 数 据 集 大 小 是 变化 的 ， 会 随 着 时 间 推 移 、 技 术 进 步 而 增 长 ； 二 是 不 同 部 门符 合 大 数 据 标 准 的 数 据 集 大 小 会 存 在 差 别 。 目 前 ， 大 数 据的 一 般 范 围 是 从 几 个 TB 到 数 个 PB（ 数 千 TB） 。大 数 据 可 以 发 挥 重 要 的 经 济 作 用 ， 不 但 有 利 于 私 人 商业 活 动 ， 也 有 利 于 国 民 经 济 和 公 民 。 数 据 可 以 为 世 界 经 济创 造 重 要 价 值 ， 提 高 企 业 和 公 共 部 门 的 生 产 率 和 竞 争 力 ，并 为 消 费 者 创 造 大 量 的 经 济 剩 余 。 例 如 ， 如 果 能 够 富 有 创造 性 而 有 效 地 利 用 大 数 据 来 提 高 效 率 和 质 量 ， 预 计 美 国 医疗 行 业 每 年 通 过 数 据 获 得 的 潜 在 价 值 可 超 过 3000 亿 美 元 ，能 够 使 得 美 国 医 疗 卫 生 支 出 降 低 超 过 8%； 充 分 利 用 大 数 据的 零 售 商 有 可 能 将 其 经 营 利 润 提 高 60%以 上 ； 通 过 利 用 大数 据 实 现 政 府 行 政 管 理 方 面 的 运 作 效 率 提 高 ， 估 计 欧 洲 发达 经 济 体 可 以 节 省 开 支 超 过 1000 亿 欧 元 （ 这 其 中 尚 不 包括 可 以 用 来 减 少 欺 诈 、 错 误 以 及 税 差 的 影 响 作 用 ）。麦 肯 锡 认 为 ， 随 着 人 们 存 储 、 汇 聚 和 组 合 数 据 然 后 利 2 用 其 结 果 进 行 深 入 分 析 的 能 力 超 过 以 往 ， 随 着 越 来 越 尖 端技 术 的 软 件 与 不 断 提 高 的 计 算 能 力 相 结 合 ， 从 数 据 中 提 取洞 见 的 能 力 也 在 显 著 提 高 。 麦 肯 锡 对 大 数 据 的 具 体 研 究 成果 可 以 归 纳 为 5 个 方 面 。第 一 章 全 球 数 据 现 状 及 发 展 趋 势当 前 大 数 据 规 模 以 及 其 存 储 容 量 正 在 迅 速 增 长 ， 大 数据 已 经 渗 透 到 各 个 行 业 和 业 务 职 能 领 域 ， 成 为 重 要 的 生 产因 素 ， 大 数 据 的 演 进 将 与 生 产 力 的 提 高 有 着 直 接 的 关 系 。（ 一 ） 数 据 量 呈 现 指 数 级 增 长不 同 机 构 的 研 究 成 果 都 表 明 ， 未 来 数 年 全 球 数 据 总 量将 会 呈 现 指 数 性 增 长 。 麦 肯 锡 估 计 ， 全 球 企 业 2010 年 硬盘 上 存 储 了 超 过 7EB（ 1EB 等 于 10 亿 GB， 相 当 于 美 国 国 会图 书 馆 中 存 储 数 据 的 4000 多 倍 ） 的 新 数 据 ， 消 费 者 在 个人 电 脑 等 设 备 上 存 储 了 超 过 6EB 的 新 数 据 。（ 二 ） 不 同 行 业 的 大 数 据 强 度 和 内 容 各 有 不 同各 个 行 业 都 呈 现 大 数 据 增 长 的 现 象 ， 但 不 同 行 业 数 据存 储 量 有 所 不 同 ， 数 据 产 生 和 存 储 的 类 型 在 不 同 行 业 之 间也 有 所 区 别 。 证 券 、 投 资 服 务 以 及 银 行 等 金 融 服 务 领 域 拥 3 有 最 高 的 平 均 数 字 化 数 据 存 储 量 ， 通 信 和 媒 体 公 司 、 公 共事 业 公 司 以 及 政 府 等 企 业 和 组 织 也 有 规 模 显 著 的 数 字 化数 据 存 储 。 这 些 数 据 强 度 高 的 行 业 更 加 具 有 通 过 大 数 据 来创 造 价 值 的 潜 力 。（ 三 ） 现 有 趋 势 将 继 续 推 动 数 据 增 长在 各 部 门 和 地 区 之 间 ， 企 业 正 在 加 快 收 集 数 据 的 步伐 ， 推 动 了 传 统 的 事 务 数 据 库 的 增 长 ； 医 疗 卫 生 等 面 向 消费 者 的 行 业 中 ， 多 媒 体 的 广 泛 使 用 刺 激 了 大 数 据 的 持 续 扩张 ； 社 交 媒 体 的 广 泛 普 及 以 及 物 联 网 中 应 用 的 不 断 创 新 都进 一 步 推 动 了 大 数 据 不 断 增 长 这 些 相 互 交 叉 的 动 力刺 激 了 数 据 的 增 长 ， 并 将 继 续 推 动 数 据 池 的 迅 速 扩 张 。（ 四 ） 大 数 据 是 继 传 统 IT 之 后 下 一 个 提 高 生 产 率 的技 术 前 沿只 要 具 有 适 当 的 政 策 推 动 ， 大 数 据 的 使 用 将 成 为 未 来提 高 竞 争 力 、 生 产 力 、 创 新 能 力 以 及 创 造 消 费 者 盈 余 的 关键 要 素 。医 疗 卫 生 行 业 ， 能 够 利 用 大 数 据 避 免 过 度 治 疗 、 减 少错 误 治 疗 和 重 复 治 疗 ， 从 而 降 低 系 统 成 本 、 提 高 工 作 效 率 ， 4 改 进 和 提 升 治 疗 质 量 ； 公 共 管 理 领 域 ， 能 够 利 用 大 数 据 有效 推 动 税 收 工 作 开 展 ， 提 高 教 育 部 门 和 就 业 部 门 的 服 务 效率 ； 零 售 业 领 域 ， 通 过 在 供 应 链 和 业 务 方 面 使 用 大 数 据 ，能 够 改 善 和 提 高 整 个 行 业 的 效 率 ； 市 场 和 营 销 领 域 ， 能 够利 用 大 数 据 帮 助 消 费 者 在 更 合 理 的 价 格 范 围 内 找 到 更 合适 的 产 品 以 满 足 自 身 的 需 求 ， 提 高 附 加 值 。如 今 ， 数 据 已 经 成 为 可 以 与 物 质 资 产 和 人 力 资 本 相 提并 论 的 重 要 的 生 产 要 素 。 伴 随 着 多 媒 体 、 社 会 媒 体 以 及 物联 网 的 发 展 ， 企 业 将 收 集 更 多 的 信 息 ， 从 而 带 来 数 据 呈 现指 数 级 的 增 长 。 大 数 据 在 同 时 为 商 业 和 消 费 者 创 造 价 值 方面 具 有 巨 大 的 发 展 潜 力 。第 二 章 大 数 据 的 关 键 技 术从 大 数 据 中 挖 掘 更 多 的 价 值 ， 需 要 运 用 灵 活 的 、 多 学科 的 方 法 。 目 前 ， 源 于 统 计 学 、 计 算 机 科 学 、 应 用 数 学 和经 济 学 等 领 域 的 技 术 已 经 开 发 并 应 用 于 整 合 、 处 理 、 分 析和 形 象 化 大 数 据 。 一 些 面 向 规 模 较 小 、 种 类 较 少 的 数 据 开发 的 技 术 ， 也 被 成 功 应 用 于 更 多 元 的 大 规 模 的 数 据 集 。 依靠 分 析 大 数 据 来 预 测 在 线 业 务 的 企 业 已 经 并 持 续 自 主 开 5 发 相 关 技 术 和 工 具 。 随 着 大 数 据 的 不 断 发 展 ， 新 的 方 法 和工 具 正 不 断 被 开 发 。（ 一 ） 可 用 于 大 数 据 分 析 的 关 键 技 术可 用 于 大 数 据 分 析 的 关 键 技 术 源 于 统 计 学 和 计 算 机科 学 等 多 个 学 科 ， 其 中 关 于 分 析 新 数 据 集 方 法 的 研 究 仍 在继续。需要注意的是，A/B 测试、回归分析等技术也可应用 于 小 数 据 集 分 析 。麦 肯 锡 认 为 ， 可 用 于 大 数 据 分 析 的 关 键 技 术 主 要 包 括A/B 测试、关联规则挖掘、分类、数据聚类、众包、数据融 合 和 集 成 、 数 据 挖 掘 、 集 成 学 习 、 遗 传 算 法 、 机 器 学 习 、自 然 语 言 处 理 、 神 经 网 络 、 神 经 分 析 、 优 化 、 模 式 识 别 、预 测 模 型 、 回 归 、 情 绪 分 析 、 信 号 处 理 、 空 间 分 析 、 统 计 、监 督 式 学 习 、 无 监 督 式 学 习 、 模 拟 、 时 间 序 列 分 析 、 时 间序 列 预 测 模 型 、 可 视 化 技 术 等 （ 见 表 1） 。 6 表 1.可 用 于 大 数 据 分 析 的 关 键 技 术 7 名 称 定 义 示 例 备 注A/B 测 试也 称 为 分 离 测 试 或 水桶 测 试 。 通 过 对 比 测试 群 体 ， 确 定 哪 种 方案 能 提 高 目 标 变 量 的技 术 。确 定 何 种 的 标 题 、 布局 、 图 像 或 颜 色 可 以 提高 电 子 商 务 网 站 的 转化 率 。大 数 据 可 以 使 大 量 的测 试 被 执 行 和 分 析 ,保 证 这 个 群 体 有 足 够的 规 模 来 检 测 控 制 组和 治 疗 组 之 间 有 意 义的 区 别 。关 联 规 则挖 掘发 现 大 数 据 仓 库 中 变量 之 间 的 关 系 的 一 组技 术 。 这 些 技 术 包 含多 种 算 法 来 生 成 和 测试 可 能 的 规 则 。市 场 购 物 篮 分 析 ， 零 售商 可 以 确 定 哪 些 产 品是 经 常 一 起 销 售 的 ， 并使 用 这 些 信 息 进 行 营销 。典 型 的 例 子 就 是 发现 ， 很 多 超 市 的 顾 客在 买 尿 布 的 同 时 也 会买 啤 酒分 类在 已 确 定 分 类 的 基 础上 ， 识 别 新 的 数 据 点属 于 哪 种 类 别 的 一 组技 术 。对 特 定 客 户 行 为 的 预测 （ 例 如 购 买 决 策 、 流失 率 、 消 费 率 等 ） ， 有一 个 明 确 的 假 设 或 客观 的 结 果 。这 些 技 术 被 经 常 描 述为 监 督 式 学 习 ， 因 为有 一 个 训 练 集 的 存在 ， 他 们 与 聚 类 分 析形 成 对 比 ， 聚 类 分 析是 一 类 无 监 督 学 习 。数 据 聚 类划 分 对 象 的 统 计 学 方法 ， 将 不 同 的 集 群 划分 成 有 相 似 属 性 的 小群 体 ， 而 这 些 相 似 属性 是 预 先 未 知 的 。将 客 户 划 分 成 几 个 自相 似 性 的 群 体 以 进 行针 对 性 的 营 销 。是 一 种 没 有 使 用 训 练数 据 的 无 监 督 学 习 。众 包用 来 收 集 数 据 的 技术 ， 这 些 数 据 是 由 大规 模 群 体 或 组 织 公 开征 集 ， 通 过 网 络 媒 体提 交 的 。这 是 一 种 大 规 模 协 作和 使 用 Web 2.0 的 一个 实 例 。 8 名 称 定 义 示 例 备 注数 据 融 合 和集 成集 成 和 分 析 多 个 来 源数 据 的 技 术 ， 比 分 析单 一 来 源 数 据 更 能 获得 高 效 、 可 能 更 精 确的 结 果 。从 网 络 采 集 的 数 据 经过 整 合 对 复 杂 的 分 发系 统 的 表 现 ， 比 如 炼油 。将 来 自 社 会 媒 体 的 数据 ， 经 过 自 然 语 言 处理 ， 可 以 结 合 实 时 地销 售 数 据 ， 以 确 定 营销 行 为 对 顾 客 的 情 绪和 购 买 行 为 的 影 响 。数 据 挖 掘结 合 数 据 库 管 理 的 统计 和 机 器 学 习 方 法 从大 数 据 集 提 取 模 式 的技 术 。 包 括 关 联 规 则学 习 、 聚 类 分 析 、 分类 和 回 归 。挖 掘 客 户 数 据 以 确 定最 可 能 获 得 订 单 的 客户 群 ， 挖 掘 人 力 资 源 数据 以 识 别 最 能 干 的 员工 ， 或 市 场 购 物 篮 分 析来 模 拟 客 户 的 购 买 行为 。集 成 学 习通 过 多 个 预 测 模 型（ 均 通 过 使 用 统 计 数据 或 机 器 学 习 开 发 ），以 取 得 比 任 何 成 分 模型 更 好 的 预 测 效 果 。一 种 监 督 式 学 习 。遗 传 算 法通 过 模 拟 自 然 进 化 或适 者 生 存 过 程 的 搜 索最 优 解 的 技 术 。改 善 作 业 调 度 、 优 化 投资 组 合 等 。作 为 进 化 算 法 的 一 种类 型 ， 这 些 算 法 非 常适 合 求 解 非 线 性 问题 。机 器 学 习有 关 设 计 和 开 发 算 法的 计 算 机 科 学 （ 曾 被称 为 “人 工 智 能 ”） ，允 许 电 脑 基 于 经 验 数据 进 化 。自 然 语 言 处 理 。机 器 学 习 最 主 要 的 一个 研 究 重 点 是 自 动 学会 识 别 复 杂 的 模 式 ，并 基 于 数 据 作 出 明 确的 决 定 。自 然 语 言处 理使 用 计 算 机 算 法 来 分析 自 然 语 言 的 一 组 技术 。使 用 社 交 媒 体 的 情 绪分 析 ， 以 判 断 潜 在 客 户对 一 个 品 牌 活 动 的 反应 。大 多 数 自 然 语 言 处 理技 术 是 机 器 学 习 的 一类 。 9 名 称 定 义 示 例 备 注神 经 网 络通 过 生 物 神 经 网 络 的结 构 和 运 作 （ 即 脑 细胞 和 内 连 接 ） 的 启 发发 现 数 据 模 式 的 计 算模 型识 别 高 价 值 客 户 离 开公 司 的 风 险 以 及 识 别欺 诈 性 保 险 理 赔 。神 经 网 络 非 常 适 用 于发 现 非 线 性 模 型 。 它可 用 来 做 模 式 识 别 和优 化 。 一 些 神 经 网 络的 应 用 涉 及 监 督 式 学习 和 非 监 督 式 学 习 。神 经 分 析用 来 描 述 图 中 或 网 络中 的 离 散 节 点 关 系 的技 术 。识 别 最 有 影 响 力 的 营销 目 标 ， 或 识 别 企 业 信息 流 的 瓶 颈 。在 社 会 网 络 分 析 中 ，群 体 或 组 织 中 单 个 个体 之 间 的 关 系优 化用 来 重 新 设 计 复 杂 的系 统 和 流 程 ， 依 据 一个 或 多 个 目 标 措 施（ 例 如 成 本 、 速 度 或可 靠 性 ） 来 改 善 其 表现 的 数 值 方 法 组 合 。改 善 业 务 流 程 ， 例 如 调度 、 路 由 和 地 板 格 局 ，并 做 出 决 策 ， 如 产 品 范围 策 略 、 挂 钩 投 资 分 析和 研 发 组 合 策 略 。遗 传 算 法 就 是 优 化 技术 的 一 种 。模 式 识 别依 照 一 种 特 定 的 算 法给 某 种 产 值 （ 或 标 签 ）分 配 给 定 的 输 入 值（ 或 实 例 ） 的 机 器 学习 技 术 。分 类 技 术 属 于 这 种 类型预 测 模 型通 过 建 立 或 选 择 一 个数 学 模 型 得 出 最 好 预测 结 果 的 技 术 。在 客 户 关 系 管 理 中 的一 个 应 用 ： 通 过 预 测 模型 估 计 客 户 会 流 失 的可 能 性 或 者 客 户 被 交叉 销 售 其 他 产 品 的 可能 性 。回 归 就 是 预 测 模 型 中的 一 种 。回 归确 定 当 一 个 或 多 个 自变 量 变 化 时 因 变 量 变化 的 程 度 的 统 计 技术 。基 于 不 同 的 市 场 和 经济 变 量 或 最 能 影 响 客户 满 意 度 的 制 造 业 参数 ， 来 预 测 销 售 规 模 。用 于 数 据 挖 掘 ， 经 常用 来 预 测 。 10 名 称 定 义 示 例 备 注情 绪 分 析自 然 语 言 处 理 和 其 他分 析 技 术 的 应 用 ， 用于 从 文 字 材 料 识 别 和提 取 主 观 信 息 。企