大数据时代下如何利用小数据创造大价值

1、大数据时代下如何利用小数据创造大价值 摘 要：继物联网、云计算之后，大数据（big data）开始引起越来越多的关注，2012年3月29日奥巴马政府公布“大数据研发计划”（big data research and development initiative）将“大数据战略”上升为国家战略，白宫科技政策委员会还成立了大数据高层指导小组以推动这一战略规划，奥巴马政府甚至将大数据定义为“未来的新石油”。 关键词：小数据；大数据；企业数据战略；数据价值 当今，cio们都已经接受了“大数据”的概念，虽然小数据的容易会被过滤和忽视，主要是因为目前人们还没有一个明确概念和定义去解释小数据。但毋庸置疑的是

2、，如果没有小数据，往往会使大数据管理充满陷阱。所以数据管理的正确方式应该是两者相辅相成。 一、什么是大数据？为什么人人言必称大数据？ 对于大数据有许多定义，其中维基百科的定义是一个最大众的定义：“大数据，指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。根据美国麦肯锡公司的预测，大数据每年将会为美国医疗服务业带来3000亿美元的潜在增加值，为位置服务产业带来6000亿美元的潜在年收入，为欧洲的公共管理带来2500亿欧元的潜在价值。此外制造业可使设备装配成本降低50%，通过充分利用大数据零售商可以使其运营利润增长60%。通过经合组织（oecd）的一项最新研究成果以及对互

3、联网数据市场价值的估计，更加证明了大数据存在巨大的潜在价值。 二、大数据存在的缺陷 1.大数据只是一种辅助工具。大数据毫无疑问确实是一个非常有价值的工具，并且在某些领域产生了至关重要的影响。但是大数据只是可以辅助科学调查，而不能完全的代替，大数据能告诉我们是什么，但不能告诉我们为什么。因为虽然大数据能够非常好地检测相关性，特别是那些用小数据集可能无法测出的微妙相关性，但是它并不会告诉我们哪一种相关性是有意义的。 2.大数据可能带来大风险。大数据可以给我们提供更多的信息相关性，但是如果你在两个变量中不断地寻找相关性，那么你很可能会纯粹出于偶然发现虚假的相关性，由于缺乏谨慎的检查，这些大数据的量级

4、会造成一些错误的分析结论。正如统计学家冯启思所说，依赖于网站的大数据收集常常把一些用不同方法、有不同目的数据整合起来，有时候这会产生负面的影响。从这样的数据样本得出结论通常是需要冒很大风险的。 3.大数据难以测量人的感受。组织机构总是想了解人们想知道什么，而且在这方面得心应手，但是却不知道人们的感受。行为经济学证明：我们依靠偶获的灵感，直觉和猜测选择人生的道路。一旦这些灵感被庞大的数字所遮蔽，这便成了一个不能处理的巨大问题。英国卫报认为大数据削弱了人们的同理心，数字化已经渗透到我们生活的各个方面，我们以这种方式获得政务服务，管理自己的金钱甚至我们与朋友交流的方式也越来越依赖数字媒体。感受虽然不

5、能被量化，但是社会、经济和人道主义精神对数据的产生和使用影响深远。 4.大数据掩盖了价值观念。数据总是依照某人的倾向和价值观念而被构建出来的，大数据可以把任何事都简化为数字，并给出听上去很科学的解释，而那些看起来很客观公正的数据分析结果，其实从构建到解读的整个过程都贯穿了价值的选择。著名商业思想家纳西姆？塔勒布）曾指出数据会制造出更大的“干草垛”，在这个庞大的“干草垛”中，我们需要找的那根针会被埋的更深。换言之就是那些 “重大”发现的数量会被数据扩张带来的噪音而淹没。 三、如何利用“小数据”决胜大数据时代 1.从小数据流中获取灵感。面多“大数据”浪潮的冲击，人们往往认为数据达到一定的规模才有用

6、，数据的量大但并不意味着全都能用到。小细节解锁大问题，所以需要学会去筛选那些具有潜在商业导向价值的数据，善于从小数据流中获得灵感，并将其落实为具体行动。 2.提高数据的可信性。大数据侧重于广度，更加强调标准化，其统计结果一般体现出其规律并预示着未来趋势。现阶段，大数据时代只是刚刚开启，大数据分析往往缺乏谨慎的检查导致人们做出错误决策。而小数据侧重于深度，贵在挖掘，使人们摆脱了对经验的依赖，使决策由主观性走向客观性从而使数据更加可信。譬如通过收集多元异构的数据来对数据进行分析理解，从而提高数据的可信性，通过历史数据的对比可以推断数据的可信性，最终运用数学模型来检验数据的可信性。 3.使大数据更加

7、可视化。数据的可视化可能用到虚拟现实的结合或增强现实技术，从可视化的效果可以有助于判断大数据挖掘的可信性。例如，美国统计参加nba的球队的比赛情况，发现投篮概率与投篮命中率以及投篮位置有一定的规律，从80年代开始他们就对球员在赛场上的表现数据进行可视化，通过30多年的积累nba已经可以辨别每一个球员在场上的弱点，方便教练进行针对性战术安排，到目前为止约有15家nba球队俱乐部请了数据分析师，而他们的平均获胜率高达59.3%，那些没有进行数据分析的球队仅有平均40.7%的获胜率。 总而言之，大数据只是互联网发展到现今阶段的一种表象或特征而已，面对社会各界的“大数据”热，应当冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，大数据体现出规律，小数据蕴含着智慧。统计学家博可斯（george box）曾说：所有的模型都是错的，但有些仍然是有用。相信通过技术创新的不断发展，那些原本很难收集使用的数据会越来越容易被充分利用起来了，从而逐步为人类社会创造更多的价值。 参考文献： 1英维克托迈尔舍恩伯格.大数据时代生活、工作与思维的大变革.浙江