大数据及大系统

1、1大数据与大系统大数据与大系统2014年年9月月26日，上海日，上海周宏仁周宏仁国家信息化专家咨询委员会 常务副主任中国计算机应用大会中国计算机应用大会 暨暨2014年智慧城市与大数据学术会议年智慧城市与大数据学术会议2一、什么是数据3“数据”人类历史上从来就不乏数据，也不可否认数据的重要性，然而，数据从来没有像今天这样成为一种人类不可或缺的资源。今天所讨论的“数据”，无论是小、中、大数据，都不是指储存在任何其它物理介质（纸张、报纸、书籍）中的数据，而是专指储存在不同形态的计算机或信息系统中的数据，包括各种各样的数字终端，如智能手机和平板电脑中的数据，各种网络中的数据。无论这些数据代表的物理现

2、象（数字、文字、声音、图片、视频、嗅觉、味觉）多么复杂，归根结蒂只有1和0两个代码。就是这两个代码的无穷组合代表了极其复杂且变化万千的物理世界！4数据时代数据之所以在今天能成为一种与能源、物质并驾齐驱的资源，固然与数据可以表征现实的物理世界有关，更是由于现代信息通信技术可以方便地检索、传播、处理和利用数据。数据资源的开发利用之所以变得如此之重要，也归因于信息的数字化和计算机化的结果。因此，数据时代，或者大数据时代，是信息时代固有的内涵之一。大数据的重要意义和价值是毋庸置疑的。认识数据时代的来临，比认识大数据本身更为重要。大数据时代的来临，就是数据时代的来临，也是“数据”真正作为“资源”的时代的

3、来临。5数据：可再生、可自生资源奈斯比特：“我们第一次有了一种建立在不仅可以再生而且可以自生的重要资源（信息）上的经济。资源缺乏不成问题了，但被资源淹没倒是问题。”当然，他所指的不仅仅是大数据资源，而是涵盖了所有“尺寸”的“信息资源”。然而，大数据技术的出现，也推翻了奈斯比特的另一个观点，“在信息社会中，没有控制的和没有组织的信息不再是一种资源。它倒反而成为信息工作者的敌人。”实际上，大数据要研究和利用的，正是这一类数据资源。约翰奈斯比特（John Naisbitt），大趋势改变我们生活的十个新趋向6数据资源需要开发大数据技术最大的魅力，正是在于它可以从看似无关联、无控制、无组织、非结构化的数

4、据资源中，提取有用的、甚至是极有价值的信息。60年前，控制论的创始人维纳曾经指出：信息是与物质和能源同样重要的、构成客观世界的三大要素之一，是人类社会的三大资源之一。这个论断的真谛，只有在大数据时代的今天才不难理解。然而，资源就是资源，需要开发。就像一座铜矿一样，没有开发，铜矿不会自动地变成铜。诺伯特维纳，控制论，科学出版社，1963年。7二、数据资源的形成8信息化：开发信息资源信息化的过程，就是数据资源开发的过程。“数字化”和信息系统的构建，开启了信息时代信息资源开发利用的新模式、新技术、新方法。60余年来信息化的发展进程中，数据资源的开发、管理和利用始终是一个重要的主题。今天人类社会的数据

5、资源，是一步一个脚印地发展和积累起来的。大数据是怎么来的？不是从天上掉下来的，正是60多年来信息化不断发展的结果。9数字化的起步数据资源开发的过程，就是信息化的过程。信息化是从数据的管理和利用开始的。1950年，艾克特和莫克利在美国成功制造的世界上第一台商用计算机UNIVAC，就是被美国普查局买去用作普查数据的处理。1954年，美国第一个联邦公务员工资支付管理系统投入使用。现实生活中的各种形式的数字和文字信息，开始以格式化的“数据”储存在计算机信息系统之中。10信息系统在以后的几十年中，信息系统首先作为单个的系统（System），在一个单位的内部发展。所谓系统，是指一组部件按一定的方式结合在一

6、起，以完成特定功能，而这种功能是任何单个部件所不可能具备的。早期的信息系统，是比较简单的批数据处理系统；而后，数据处理走向实时处理。随后，信息系统开始向管理层发展，为业务活动的管理，提供各种信息系统的支撑。在数据处理系统和管理信息系统发展和积累大量数据的基础上，决策支持系统开始发展。各单位信息系统的发展决策层信息系统发展由底向上管理层管理信息系统(MIS)操作层数据处理系统(DP)上世纪60、70年代，信息系统在各个单位，如政府部门或企业的内部很快得到发展。大量数据开始在信息系统中积累，成为重要的数据资源。11决策支持系统（DSS）12信息系统的发展60余年来，信息系统经历了一个由小到大、由简

7、单到复杂，由有组织到无组织的发展过程。信息系统简单系统大系统系统的系统超巨系统无系统系统信息化的理论模型物理世界同态映射数字世界ITIICIISI逆变换ITI - Info. Technology IndustryICI - Info. Content IndustryISI - Info. Service Industry14“数字信息 vs. 模拟信息”15三、大系统的发展16信息系统向大系统的发展上世纪90年代初期，随着互联网在全球的普及和发展，数据资源的开发和积累大大加速。信息系统的构造，由点（一个地点）向线（一个政府部门、企事业、行业系统），进而向面（内外部一体化、泛在）发展。政府部

8、门和企事业单位都利用互联网将自己的信息系统向部门或企事业的关联单位延伸，信息系统逐渐向大系统（LSS - Large Scale System），即系统的系统（System of Systems）发展。17大系统系统的系统赛奇和卡庞认为，“系统的系统”必须满足下面五个主要特征：成员系统运行上相互独立；管理上相互独立；地理上分布在不同地点，之间仅有信息交互；突现任何成员系统所不具备的新的功能；系统处于不断发展和进化之中。他们认为，“系统的系统”永远不会完全建成，而是随着时间的推移，不断地增加、减少或进化至新的结构、功能和用途。因此，这类系统的成员系统在数目上远远超过一般意义上的系统，其主要特征为

9、系统维数巨大、非线性或不存在系统模型、具有强交互性等等。Sage, A.P. and C.D. Cuppan, Information, Knowledge, Systems Management, Vol. 2, No. 418大系统带来大数据进入新世纪以来，信息系统的集成（一体化）成为“系统的系统”主要的研究领域之一。典型的“大系统”包括基于互联网的系统、智能交通系统以及国防领域的综合防空体系等等。淘宝、天猫、QQ、微信、百度、电信系统、银行系统等等都成为典型的大系统。大系统使得数据的积累以海量的方式增长；信息资源的开发工具，则由数据库（DB）走向业务智能（BI），进而由高端计算走向大数据

10、。在上述这些大系统中，实际上都建成了自己的大数据平台，掌握了丰富的大数据资源，大大的“有宝可淘”。四个无处不在信息化的快速发展，催生了四个无处不在。计算、网络、数据、软件无处不在，成为信息时代的基本特征。计计算算网网络络数数据据软软件件计算、网络、数据、软件无处不在，实际上形成了信息系统的无处不在。1920数据量：新的增长因素主要的刺激因素包括：互联网用户的急遽增加；各种基于互联网的应用系统，特别是电子商务和社交网络的急遽发展；物联网的快速兴起；以及数据终端种类和数量的急遽增加，特别是智能手机和移动互联网的快速发展等等。所有这些看似并无关联的、数以亿计的、大大小小的信息系统中所包含的信息，需要

11、超越政府部门、企事业、行业系统，另辟蹊径，另构系统，开发和利用这类超大型的数据资源。21四、发展超巨系统22超巨系统与无系统系统在这样的情况下，对超大数据的研究、分析和利用技术的需求应运而生。大数据的研究、分析和利用，首先需要构造大数据平台。没有大数据平台，就没有分析利用的数据基础。因此，根据实际的应用需求，构造一类超巨型信息系统（HSIS - Huge Scale Information System），变得非常必要。这种系统往往是没有系统的系统，即无系统系统（SWS - System without System），但又是基于无数信息系统的系统。无系统，是指其成员系统不是为这个超巨系统而特

12、意打造的系统。23超巨系统的主要特征这种系统与大系统的主要区别在于，它们是为完成特定的功能设计的，而实现其功能所基于的各种成员系统，无论在功能、运行、管理和地域上都是无关的，也不具有任何先验的、人为设计的特征。不仅如此，其成员系统可能是随机的、泛在的、动态迁移的。无线互联网、物联网和智能终端的发展，使成员系统的泛在化特征大为增强。这类超巨系统充分利用全球现有的各种信息系统的功能和数据特征而构造，目的就是为了构造目的性极强的超大数据平台，从而获取、分析和利用所获取的大数据，最终获取情报或信息。24超巨系统的实例美国华盛顿邮报2013年12月5日在头版头条位置报道，美国国安局每天收集全球各地近50

13、亿条手机通信记录，并对其位置和活动进行跟踪。这个监听系统就是一个典型的超巨型的信息系统，一个典型的无系统系统。其主要功能就是发现可疑的情报目标人物的活动路线、相关行动及社会关系网络。这个系统的构成，包括相关的光纤电缆、移动电话、蜂窝网络、无线上网信号、全球定位系统、以及窃听装备等等，是无数个不是成员系统的成员系统。25超巨系统的实例这个超巨系统所处理的数据的重要特征，当然是以典型的音频大数据为主。显然，这个超巨系统是需要精心设计的，需要设定系统目标、功能、体系结构、数据源、数据采集方法和分析利用、系统运行维护等等。超巨信息系统的设计和构建理论，完全不同于传统意义上的信息系统的一般理论，需要有新

14、的信息系统方法学做支撑。26大数据：发展超巨系统综上所述，从信息系统的观点来看，至少存在着两种不同形态的大数据：从大系统中获得大数据和从超巨系统/从无系统系统中获得大数据。从大系统中获得大数据，一般可由政府部门、企事业、行业等等，在其信息化的进程中“水到渠成”地解决；而要从无系统系统中获得大数据，则需要根据目标和功能，通过构造特定的超巨型信息系统来解决。前者一般而言结构性可能比较好一点，后者则可能非结构化的特征更明显，甚至完全不具有结构性，大数据分析的难度也可能更大一些。27应对大数据时代的挑战不难看出，对于许多真正的跨企业、跨行业、跨部门、跨地域的大数据分析利用而言，没有超巨型信息系统，就没有大数据平台，也就谈不上这类大数据的分析利用。因此，应对大数据时代的来临，一方面，需要从长远的角度发展数据科学，培养数据科学家和一大批数据科学和技术的人才；另一方面，需要从应用的角度，研究国民经济和社会发展、国家安全和国家信息安全的大数据应用需求。在当前和可预见的未来，必须明确，什么样的信息是现有的各种大系统所无法