大数据和管理科学

大数据和管理科学第一页，共34页。

从管理科学视角对大数据研究的思考大数据与管理科学第二页，共34页。对大数据的认识大数据中的管理问题三大数据研究的前景四大数据的研究方法汇报提纲

大数据与管理科学第三页，共34页。

在提出大数据概念之前，实际上已有很多关于大数据的获取、存储、处理和利用方法的研究成果。这说明实践是先于理论的，当然深入的理论研究一定能够促进大数据应用实践更好更快的发展。一对大数据的认识第四页，共34页。

1《大数据时代》中的部分观点

（1）关于大数据的神奇传说①谷歌通过观察人们在网上的搜索记

录，提前几周成功预测了2009年在

美国爆发的甲型H1N1流感。②埃齐奥尼利用大数据创立了一个机

票价格预测系统，准确度高达75%，

平均每张机票可节省50美元。一对大数据的认识第五页，共34页。

③农夫山泉为处理每月收集的3TB业务数据，建设了亚洲第一个SAPHana分析平台，为运营决策提供及时、准确的数据支持。④IBM智慧的分析洞察。每个月，全球发布10亿条Twitter信息和300亿条Facebook信息。预计到2020，总量增长约44倍。基于大数据的企业数据分析正成为IBM的利润增长。一对大数据的认识第六页，共34页。

一对大数据的认识（2）大数据引起的思维变革①在大数据时代进行抽样分析就像是在汽车时代骑马一样，我们分析数据会完全抛弃样本分析，而关注数据的总体。

即“样本=总体”。在大数据时代，我们不再担心某个数据点对整套分析的不利影响，我们要做的就是要接受这些纷繁的数据并从中受益，而不再以高昂的代价消除所有的不确定性。大数据时代对我们的生活，以及与世界交流的方式都提出了挑战，社会需要放弃它对因果关系的渴求，而仅需关注相关关系。第七页，共34页。

一对大数据的认识总之，我们需要改变我们的思维方式，使用我们能收集到的所有数据，而不仅仅是使用样本。我们不能再把精确性当成重心，我们需要接受混乱和错误的存在。另外，我们应该侧重于分析相关关系，而不再寻求每个预测背后的原因。

——引自《BigData:ARevolution—ThatWillTransformHowWeLive,WorkandThink》第八页，共34页。

2关于大数据的定义（1）美国国家科学基金委（NSF）的定义大数据是指由科学仪器、传感器、网上交易、电子邮件、视频、点击流和/或所有其它现在或将来可用的数字源产生的大规模、多样的、复杂的、纵向的和/或分布式的数据集。

这个定义指出了大数据是一类数据集，并指出了大数据现在和将来的数据来源，以及大数据具有大规模、多样性、复杂性、分布性、关联性等数据特征。一对大数据的认识第九页，共34页。

（2）麦肯锡公司（McKinsey&Company）的定义大数据是一个大的数据池，其中的数据可以被采集、传递、聚集、存储和分析。目前，大数据是全球经济每个部门和功能的一部分。与固定资产和人力资本等其它重要的生产要素类似，没有数据，很多现代经济活动、创新和增长都不会发生，这正成为越来越普遍的现象。

这个定义指出大数据是一个大的数据集合，它与固定资产、人力资本一样，也是一种生产要素，并能支持现代经济增长和创新活动。因此，大数据研究的关键科学问题应该是大数据与经济增长和创新活动的关系。一对大数据的认识第十页，共34页。

（3）IBM公司的定义可以用四个特征来描述大数据，即规模性（Volume）、高速性（Velocity）、多样性（Variety）和真实性（Veracity），这些特征相结合，定义了IBM所称的“大数据”。

这个定义显然也是把大数据定义为一种数据集合，而且这些数据具有规模性、高速性、多样性和真实性。所以，大数据研究所关心的科学问题就应该是对结构多样性的大数据能够进行高速存储和高速处理的技术。一对大数据的认识第十一页，共34页。

（4）维基百科（Wikipedia）的定义大数据是指规模庞大且复杂的数据集合，很难用常规的数据库管理工具或传统数据处理应用对其进行处理。其主要挑战包括数据抓取、策展、存储、搜索、共享、转换、分析和可视化。显然这个定义是从大数据的处理方法和处理工具的视角来看待大数据的，根据这个定义，大数据研究应该围绕大数据的快速处理方法和软件工具的研发来展开，研究的目的就是要得到大数据的快速处理方法和非常规的软件工具。大数据始终在“大数据”和“非大数据”之间不断的转换。一对大数据的认识第十二页，共34页。

3从管理的角度看大数据定义：大数据是一类能够反映物质世界和精神世界的运动状态和状态变化的信息资源，它具有海量性、异构性、增长性、复杂性和可重复开采性，一般都具有多种潜在价值。

这个定义把大数据看做是一类资源，它对经济社会发展具有重要的潜在价值。按照大数据的资源观，大数据研究的关键科学问题应该包括大数据的获取方法、加工技术、应用模式以及大数据的产权问题、相关的产业发展问题和相应的法律法规建设问题。一对大数据的认识第十三页，共34页。

从管理的角度看，与大数据相关的管理问题有两类。一是与大数据生产过程相关的管理问题，主要有大数据的获取问题、大数据的加工问题和大数据的应用问题。二是与大数据产业发展相关的管理问题，主要有大数据的产权问题、大数据的产业问题和大数据的法规问题。二大数据的管理问题第十四页，共34页。

（一）与大数据生产过程相关的管理问题（1）大数据的获取问题

大数据应用的首要步骤就是数据的获取问题。

大数据的来源是多方面的，既包括搜索引擎、社交网络和电子商务等互联网的产生的数据，也包括物联网、智能楼宇、智能交通、智慧城市、智慧地球等方式产生的数据。

有效获取各种方式产生的大数据是应用大数据和实现其价值的前提和基础。二大数据的管理问题第十五页，共34页。

二大数据的管理问题

（2）大数据的加工问题

大数据的加工处理需要基础性处理方法，例如：超高维处理方法、重采样处理方法、分布式实时计算方法、非结构化处理方法和可视化分析方法等。

在基础处理方法之上，大数据的加工处理还需要应用驱动的处理方法。如为解决市场营销、商务智能、社会安全、舆情监控等方面问题，所需要的特定方法。第十六页，共34页。

（3）大数据的应用问题大数据的主要是用来“预测”，而预测的目的是决策。那么，大数据理论与决策科学如何结合？大数据理论与决策科学的结合可以分为三种方式：

（1）在决策科学的框架内来研究大数据中的知识挖掘问题（嵌入式应用）；（2）从大数据中挖掘出的知识与领域科学的共同作用（合作式应用）；（3）大数据引起决策科学的变革（主导式应用）。二大数据的管理问题第十七页，共34页。

二大数据的管理问题

（4）大数据的产权问题

目前，大数据掌握在大型企业或其它社会组织的手中，如谷歌、百度、淘宝等互联网公司，电网公司、电信公司、银行机构、政府部门等企事业单位。大数据是由很多用户产生的小数据组成的，而谁应该享有大数据的所有权或使用权，产品或服务的提供者还是用户？这是大数据产业发展需要明确界定和解决的问题。通过界定大数据产权关系，可将大数据分类为：公共数据、部门数据和私人数据等。（二）与大数据产业发展相关的管理问题第十八页，共34页。

（5）大数据产业问题

大数据的产业链包括数据采集、存储、挖掘、管理与应用等环节。

大数据产业链会促进原有相关产业的发展，如数据采集、存储和管理的软硬件设备提供商等产业。

大数据产业链还会催生新的产业形成和发展，如以经营大数据为主要业务的大数据供应商、以提供基于大数据的信息服务为主要业务的大数据信息服务提供商等。二大数据的管理问题第十九页，共34页。

二大数据的管理问题

（6）大数据的法规问题

大数据产业的发展需要完善的政策和法规的支撑。

如在鼓励对大数据进行积极有效的开发和应用、对大数据所有权和使用权进行界定、保障大数据应用过程中的安全和隐私保护、防止大数据被非法获取和反向利用等方面，都需要严格的法律法规进行指导、规范、监督和约束。第二十页，共34页。

1大数据的来源和应用领域大数据具有广阔的应用前景。数据驱动的决策由来已久。

数据+决策能力=决策。

生产制造、物流交通、商务过程、资源环境、教育文化、医疗卫生、社交信息、生命科学、天文地理、航空航天、政府部门、国家安全等领域既是大数据的来源又是大数据的应用领域。

一个应用可能对应多个来源。三大数据研究的前景第二十一页，共34页。

2大数据与物联网、云计算物联网、云计算、大数据都是依托互联网并相互依存的有机整体，是信息技术的新发展。对大数据来说，物联网既是数据来源，又是数据用户，云计算则是大数据存储、处理的一种方式。随着物联网和云计算技术的发展，大数据应用和大数据产业一定能够更快的发展。三大数据研究的前景第二十二页，共34页。

3大数据与第三次工业革命第二次工业革命以来，全球科技和经济都获得了高速发展，人类在取得巨大的成就的同时，也面临着诸多可持续发展问题，许多学者认为，目前正在发生，或者即将发生第三次工业革命。关于第三次工业革命有许多观点，但最重要的只有两种。三大数据研究的前景第二十三页，共34页。

（1）以信息控制技术为核心的第三次工业革命第三次工业革命是以数字化制造、分布式通讯、互联网、新材料和空间技术的广泛应用为主要标志，它与信息技术、新材料技术、新能源技术和生物技术等诸多领域的科技革命交相辉映。这次工业革命不仅极大地推动人类社会经济、政治、文化领域的变革，而且也影响人类的生活方式和思维方式，使科技经济社会向更高境界推进，使人获得更加全面的发展。三大数据研究的前景第二十四页，共34页。这五个支柱为：①向可再生能源转型。②将每一大洲的建筑转化为微型发电厂，以便就地收集可再生能源。③在每一栋建筑物以及基础设施中使用氢和其他存储技术，以存储间歇式能源。④利用互联网技术将每一大洲的电力网转化为能源共享网络，这一共享网络的工作原理类似于互联网。（成千上万的建筑物能够就地生产出少量的能源，这些能源多余的部分既可以被电网回收，也可以被各大洲之间通过联网而共享。）⑤将运输工具转向插电式以及燃料电池动力车，这种电动车所需要的电可以通过洲与洲之间共享的电网平台进行买卖。（2）以互联网和可再生能源相结合为基础的第三次工业革命三大数据研究的前景第二十五页，共34页。对关于第三次工业革命两种主流观点的思考三大数据研究的前景能源互联网是解决化石能源危机与环境污染问题的途径之一。一方面，它的建设与发展主要依靠信息科学与技术、新材料科学与技术、新能源科学与技术等科学与技术的发展；另一方面，发展可再生能源的主要目的是为了满足人类日益增长的物质生活和精神生活的需求。而为了满足这个需求，也离不开信息科学与技术、新材料科学与技术、新能源科学与技术以及生命科学与技术的发展。从这个意义上说，以上两种关于第三次工业革命的主流观点是可以合二为一的。第二十六页，共34页。三大数据研究的前景第三次工业革命是由第二次工业革命以来逐步形成的资源和环境压力不断加大、经济和社会发展越来越不平衡以及人类对物质生活和精神生活的需求日益提高而引发的。

信息科学与技术、新材料科学与技术、新能源科学与技术、生命科学与技术的快速发展及其广泛应用极大地推动了第三次工业革命的发展，它将极大地延伸人类的智慧，拓展人类的活动范围，促进人类生产方式和生活方式的重大变革。第二十七页，共34页。

综上所述，大数据研究具有重要的理论意义和应用前景，但是大数据理论至多只能作为新兴信息技术的一个组成部分，来推动第三次工业革命的进程，不可能成为引发第三次工业革命的龙头技术。不做跟风者，争当引领人，起码要是弄潮儿。谨防被大数据！三大数据研究的前景第二十八页，共34页。

四大数据的研究方法1顶层规划为了做好大数据研究、应用与产业发展规划，学界、业界和政府有关部门要共同研究