大数据使企业的洞察无处不在

大数据使企业的洞察无处不在 大数据时代的到来 进入 2012年，大数据（big data）一词越来越多地被提及，人们用它来描 述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。 它已经上过纽约时报 华尔街日报的专栏封面，进入美国白宫官网的新闻， 现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰 君安、银河证券等写进了投资推荐报告。 由古至今，从未有一个时代出现过如此大规模的数据爆炸。2010 年，全球 企业一年新存储的数据就超过了 7000P，全球消费者新存储的数据约为 6000P， 这相当于十多万个美国国会图书馆的藏书量。 而在 2006年，全世界的电子数据存储量还仅为 18万 P（1P=1000T），如 今这个数字已经达到 180万 P，短短五六年间就已经增长了一个数量级。根据 预测，2015 年这个数字甚至会达到天文数字般的 800万 P。 就在此时此刻，海量数据正在源源不断地产生。每一天，无数的数据被搜 集，从不停息。“ 过去 3 年里产生的数据量，比以往 4 万年的总和还要多，大数 据时代的来临已经毋庸置疑。我们即将面临一场变革，新兴大数据将成为企业 发展的当务之急，而常规技术已经难以应对 P 级的大规模数据量。这一变化所 带来的挑战，是成功的企业在未来发展过程中必须要面对的。只有那些能够运 用这些新数据形态的企业，方能打造可持续的重要竞争优势。”美国奥巴马总统 委员会的科学技术顾问、天睿(Teradata)公司首席技术官斯蒂芬如此总结。 数据的价值 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能 并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将 越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提 出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空 间与潜力。 事实上，如今的商业世界，已经变成了飘浮在数据海洋上的巨轮。在这样一个时代， 任何人都必须用数据来说话。而那些通过数据能力驶入蓝海的企业，将会赢得丰厚的回报。 一 分 钟 内 ， 微 博 上 新 发 的 数 据 量 超 过 10 万 ； 社 交 网 络 “脸 谱 ”的 浏 览 量 超 过 600 万 这 些 庞 大 数 字 ， 意 味 着 什 么 ？ 它 意 味 着 ， 一 种 全 新 的 致 富 手 段 也 许 就 摆 在 面 前 ， 它 的 价 值 堪 比 石 油 和 黄 金 。 事 实 上 ， 当 你 仍 然 在 把 微 博 等 社 交 平 台 当 作 抒 情 或 者 发 议 论 的 工 具 时 ， 华 尔 街 的 敛 财 高 手 们 却 正 在 挖 掘 这 些 互 联 网 的 “数 据 财 富 ”， 先 人 一 步 用 其 预 判 市 场 走 势 ， 而 且 取 得 了 不 俗 的 收 益 。 现 在 就 让 我 们 一 起 来 看 看 他 们 是 怎 么 做 的 。 这 些 数 据 都 能 干 啥 ： 华 尔 街 根 据 民 众 情 绪 抛 售 股 票 ； 对 冲 基 金 依 据 购 物 网 站 的 顾 客 评 论 ， 分 析 企 业 产 品 销 售 状 况 ； 银 行 根 据 求 职 网 站 的 岗 位 数 量 ， 推 断 就 业 率 ； 投 资 机 构 搜 集 并 分 析 上 市 企 业 声 明 ， 从 中 寻 找 破 产 的 蛛 丝 马 迹 ； 美 国 疾 病 控 制 和 预 防 中 心 依 据 网 民 搜 索 ， 分 析 全 球 范 围 内 流 感 等 病 疫 的 传 播 状 况 ； 美 国 总 统 奥 巴 马 的 竞 选 团 队 依 据 选 民 的 微 博 ， 实 时 分 析 选 民 对 总 统 竞 选 人 的 喜 好 。 麦当劳的强大在于它卖的不仅仅是汉堡，而是在从事一个精准选址，对数据深 入挖掘的“房地产生意”。而另一家早已认识到数据对创造优势的重要性，而 且每年因此获得了超过预期的增长公司，则是亚马逊。它能够利用独有的客户 交易数据推动定制化产品的销售和定价决策，而且其产品线的广度前所未有。 这就是亚马逊一直以来能与无数零售商和电子零售商展开激烈竞争的关键优势 所在。 沃尔玛更是最早通过利用大数据而受益的企业之一。其一度拥有世界上最 大的数据仓库系统，通过对消费者的购物行为等数据进行分析，沃尔玛成为最 了解顾客购物习惯的零售商，并创造了“啤酒与尿布”的经典商业案例。2007 年，沃尔玛建立了一个超大的数据中心，其存储能力高达 4P以上。经济学人 在 2010年的一篇报道中指出，沃尔玛当时的数据量已经是美国国会图书馆的 167倍。 而早在 1969年，沃尔玛就开始使用计算机来跟踪存货，1974 年就将其分 销中心与各家商场运用计算机进行库存控制。1983 年，沃尔玛所有门店都开始 采用条形码扫描系统。1987 年，沃尔玛完成了公司内部的卫星系统安装，该系 统使得总部、分销中心和各个商场之间可以实现实时、双向的数据和声音传输。 采用这些在当时还是小众和超前的信息技术来搜集运营数据，为沃尔玛最 近 20年的崛起打下了坚实的地基。如今，在沃尔玛全世界最大的数据仓库中存 储着数千家连锁店在 65周内每一笔销售的详细记录，这使得业务人员可以通过 分析购买行为更加了解他们的客户。 目前国内企业仍倾向于为分析部署单点解决方案，为目标领域的具体需求 交付洞察性的信息。现在，很多公司都在为优化企业数据的总价值而开发并部 署综合战略。单点解决方案的价值仍将继续存在，但是将它们集成至更大的分 析框架有助于企业进行更加有效的规划并获取更大的投资回报。 大数据能给我们带来什么 在我们公司内部，总部的 NC财务系统、A6 办公自动化系统、电子邮件系 统，项目公司的水厂监控系统等结构化数据，以及各种文件、图片、报表等非 结构化数据每天都在不断地增加；这些数量庞大的数据很多都在应用中被忽略， 数据的价值也没有被充分的利用起来。 而且还有一个巨大到无法想象的外部大数据库等着我们去开发应用。 现以人力资源的薪酬设置为例：我们也可以通过内部和外部的数据收集及 分析，向领导者提供尽可能准确及有参考意义的数据。 分位解释 25 分位：表示有 25%的数据小于此数值，反映市场的较低端水平。 50 分位：也称为中位数，表示有 50%的数据小于此数值，反映市场的中等水平。相比于平均值，中位数 不易受到极端值的影响，更加便于您了解市场的薪酬水平。 75 分位：表示有 75%的数据小于此数值，反映市场的较高端水平。 这几个图表是通过外部数据分析系统获得相应岗位北京的工资水平的数据， 再通过公司内部相应岗位的近年来的平均工资及员工离职率等数据就可以为人 力资源管理者提供招聘员工工资定位、员工异动监控、岗位连续性控制等决策 的参考数据，而且随着参考数据越多越大，相对反应出的指标越准确。, 目前我们公司还面临一个很严重的问题，同时这个问题也是国内很多公司 遇到的问题。我们公司的很多数据都在各自单点部署的系统上，数据的整合及 共享并不充分，很多数据仅是单系统使用者或者个体用户能够调用，其他用户 还需要通过一层或多层的转发才能够获