大数据时代的管理

1、大数据时代的管理大数据时代的管理主讲教师：喻登科主讲教师：喻登科南昌大学南昌大学啤酒与尿布的故事 在一家超市中，人们发现了一个特别有趣的现象：尿布在一家超市中，人们发现了一个特别有趣的现象：尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的稍量大幅增加了。怪的举措居然使尿布和啤酒的稍量大幅增加了。 这可不是一个笑话，而是一直被商家所津津乐道的发生这可不是一个笑话，而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例。原来，美国的妇女通常在美国沃尔玛连锁超市的真实案例。原来，美国的妇女通常在家照顾孩子，所

2、以她们经常会嘱咐丈夫在下班回家的路上在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。喝的啤酒。 这个发现为商家带来了大量的利润，这个发现为商家带来了大量的利润，但是如何从浩如烟但是如何从浩如烟海却又杂乱无章的数据中，发现啤酒和尿布销售之间的联系海却又杂乱无章的数据中，发现啤酒和尿布销售之间的联系呢？这又给了我们什么样的启示呢？呢？这又给了我们什么样的启示呢？ 请思考：请思考：l 为什么你从百度输入检索词，大多数时候就能在比较靠前的位置找到你需要的信息？百度是如何知道你的需要？又

3、如何对它内部存储的文档进行排序显示呢？l 为何你的邮箱经常会收到各种类似广告的垃圾邮件？奇怪的是，很多时候这些广告还真是你最近较为关注的领域。l 为何各种商品的包装上都有条形码？条形码的应用仅仅是为了方便销售和清点库存吗？l 想一想，你从人人网、QQ空间、QQ群、微信朋友圈、微博等每天获得多少信息？这些信息有多少是自创、有多少是重复的？有多少是你关注的，有多少是你忽略的？有多少是为你带来改变、对你有价值的？大数据时代大数据时代l 2008年年9月，月，自然自然杂志推出了杂志推出了“大数据大数据”的封面专栏的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科讲述了数据在数学、物理、生

4、物、工程及社会经济等多学科扮演的愈加重要的角色。扮演的愈加重要的角色。l 2012年，年，联合国发布了大数据政务白皮书联合国发布了大数据政务白皮书，指出大数据对于，指出大数据对于联合国和各国政府来说是一个历史性的机遇。人们可以使用联合国和各国政府来说是一个历史性的机遇。人们可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。析，帮助政府更好地响应社会和经济运行。l 2013年年3月月22日，日，奥巴马政府宣布投资奥巴马政府宣布投资2亿美元拉动大数据亿美元拉动大数据相关产业发展，将相关产业发展，将“

5、大数据战略大数据战略”上升为国家意志上升为国家意志。奥巴马。奥巴马政府将数据定义为政府将数据定义为“未来的新石油未来的新石油”，并表示一个国家拥有，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。权、空权之外的另一种国家核心资产。 l 2013年，年，国家自然科学基金委国家自然科学基金委项目指南项目指南中，大数据成为中，大数据成为最热门关键词。最热门关键词。enet网的投票结果：您觉得

6、大数据时代真的来了吗？网的投票结果：您觉得大数据时代真的来了吗？什么是数据？什么是数据？数据数据信息信息知识知识原始数据点原始数据点数字、文字、图片、视频等数字、文字、图片、视频等有价值的数据集合有价值的数据集合具有特定的意义具有特定的意义可为决策提供依据可为决策提供依据具有可破译性、关联性、新具有可破译性、关联性、新颖性和价值性的加工后信息颖性和价值性的加工后信息举例：举例：-100万（没有任何万（没有任何意义）意义）A公司今年利润公司今年利润-100万（包含信息，万（包含信息，意味着亏损）意味着亏损）A公司今年亏损公司今年亏损100万，我应该抛万，我应该抛出手中的该公司股出手中的该公司股票

7、（为决策服务）票（为决策服务）数据的计量数据的计量bitByteKBMBGBTBPBEBZBYBBBNBDB8102410241024102410241024102410241024102410242008年，全球产生数据量年，全球产生数据量0.49ZB；2009年，全球产生数据量年，全球产生数据量0.80ZB；2010年，全球产生数据量年，全球产生数据量1.20ZB；2011年，全球产生数据量年，全球产生数据量1.82ZB。截止截止2012年，人类所有生产的印刷材料数据量年，人类所有生产的印刷材料数据量200PB，全人类历史所说的话数据量大约为，全人类历史所说的话数据量大约为5EB。整个人类

8、文明中，整个人类文明中，90%的数据是过去两年产生的。的数据是过去两年产生的。到到2020年，数据规模将是今天的年，数据规模将是今天的44倍。倍。何为大数据？何为大数据？大数据的四大特征大数据的四大特征大数据大数据价值密度低价值密度低数据量巨大数据量巨大数据数据类型类型多样多样变化变化速度速度快捷快捷百度首页百度首页导航每天导航每天需要提供需要提供的数据超的数据超过过1.5PB，这些数据这些数据如果打印如果打印出来将超出来将超过过5千亿张千亿张A4纸。纸。 现在的数据类型不仅是文本形式，更多的是图片、视频、音现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个

9、性化数据占绝对多数频、地理位置信息等多类型的数据，个性化数据占绝对多数 数据处理遵循数据处理遵循“1秒秒”定律；到定律；到2020年，年，全球将拥有全球将拥有220亿部互联网连接设备。亿部互联网连接设备。以视频为以视频为例，例，1小时小时的监控视的监控视频，可能频，可能有用的数有用的数据只有一据只有一两秒。两秒。 大数据时代的管理启示大数据时代的管理启示1.大数据分析，将只有在少数情况下采用随机样本分析法，而大多数时大数据分析，将只有在少数情况下采用随机样本分析法，而大多数时候应进行全部数据分析候应进行全部数据分析2.大数据要求我们有所改变，不必追求精确性，而应该接受混乱与不确大数据要求我们有

10、所改变，不必追求精确性，而应该接受混乱与不确定性定性3.不是因果关系，而是相关关系。在大数据时代，我们不必非得知道现不是因果关系，而是相关关系。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己象背后的原因，而是要让数据自己“发声发声”4.数据化，一切皆可量化。信息技术非常重要数据化，一切皆可量化。信息技术非常重要5.数据创新能产生取之不竭的价值。大数据的真实价值就像飘浮的冰山，数据创新能产生取之不竭的价值。大数据的真实价值就像飘浮的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下6.我们正处在大数据时代的早期，思维和技

11、术是最有价值的，但最终大我们正处在大数据时代的早期，思维和技术是最有价值的，但最终大部分的价值还是必须从数据本身中挖掘部分的价值还是必须从数据本身中挖掘7.风险，让数据主宰一切的隐忧。我们总是以群体的方式存在，并体现风险，让数据主宰一切的隐忧。我们总是以群体的方式存在，并体现出群体性的风险特征。要挖掘大数据的价值，更要防止大数据挖掘带出群体性的风险特征。要挖掘大数据的价值，更要防止大数据挖掘带来的风险来的风险大数据的管理技术大数据的管理技术数据采集技术：数据采集技术：系统日志采集、网络数据采集、终端采集数据存储技术：数据存储技术：关系数据库、NOSQL、SQL基础架构：基础架构：云存储（云计算

12、）、分布式文件存储数据处理技术：数据处理技术：自然语言处理（计算语言学）结果呈现技术：结果呈现技术：云计算、标签云、关系图等统计分析技术：统计分析技术：假设检验、回归分析、聚类分析、判别分析、对应分析、因子分析等数据挖掘技术：数据挖掘技术：分类、估计、预测、描述和可视化、复杂数据类型挖掘等模型预测技术：模型预测技术：预测模型、机器学习、建模仿真等大数据时代数据存储面临的问题大数据时代数据存储面临的问题l 容量问题：容量问题：PB级规模的数据如何有效存储。级规模的数据如何有效存储。l 延迟问题：延迟问题：大数据的价值来源于及时性。分布式的大数据如大数据的价值来源于及时性。分布式的大数据如何并行处

13、理？何并行处理？l 安全问题：安全问题：期望信息安全立法。期望信息安全立法。l 成本问题：成本问题：归档组件的自动重组与精简技术是降低存储成本归档组件的自动重组与精简技术是降低存储成本的关键。的关键。l 期限问题：期限问题：有些数据需要保存几十年，有些可能迅速删除更有些数据需要保存几十年，有些可能迅速删除更新。新。l 灵活性问题：灵活性问题：如何扩容和功能扩展。如何扩容和功能扩展。l 应用感知问题：应用感知问题：如何将数据存储与数据开发应用相结合。如何将数据存储与数据开发应用相结合。l 小用户的数据存储难题：小用户的数据存储难题：大型数据存储器如何为小用户提供大型数据存储器如何为小用户提供服务

14、。服务。大数据的作用大数据的作用第一，对大数据的处理分析正成为新一代第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。信息技术融合应用的结点。 第二，大数据是信息产业持续高速增长的第二，大数据是信息产业持续高速增长的新引擎。新引擎。 第三，大数据利用将成为提高核心竞争力第三，大数据利用将成为提高核心竞争力的关键因素。的关键因素。 第四，大数据时代科学研究的方法手段将第四，大数据时代科学研究的方法手段将发生重大改变。发生重大改变。 大数据的商业应用：大数据的商业应用：案例案例案例一：案例一： 你开心他就买，你焦虑他就抛 华尔街“德温特资本市场”公司首席执行官保罗霍廷每天的工作之一，就是

15、利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。 霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。 这一招收效显著当年第一季度，霍廷的公司获得了7%的收益率。案例二：案例二： IBM估测，“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。1.“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确

16、的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。2.通过乔希詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。3.微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。4.“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。与大数据同行与大数据同行p 2013年5月10日，阿里巴巴集团董事局主席马云在淘宝十周年晚会上做卸任前的演说“大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了”。 p 我国与大数据处理相关的上市公司包括： 第一类是与海量数据的存储和处理相关的公司，包括天泽天泽信息信息、拓尔思拓尔思、美亚柏科美亚柏科、恒泰艾普恒泰艾普、潜能恒信潜能恒信。 第二类是与数据中心建设与运营维护相关的公司，包括荣荣之联之联、天玑科技天玑科技、银信科技银信科