大数据的哲学思考

1、大数据的哲学思考一、引言您是否有过这样的一个经历，你想去一个单位办件事情，想要进入这个单位大楼的门，结果门卫拦住你就问：“你是谁？，你从哪里来？，你要到哪里去？”，这个门卫不得了啊，他问了你哲学上的终极问题，生活无时无刻在任何地方都存在着对生活的哲学思考，同样，在日新月异的信息行业也存在哲学的思考。在未来的几年中，各种新的、强大的数据源会持续爆炸式地增长，这种数据源被广泛应用于各行各业，不管是对政府、企业还是我们的日常生活都具有重大的意义，这些数据源涉及到了一个新的术语大数据，这时，我也有一个哲学的终极问题要问：“大数据是谁？，大数据从哪里来？，大数据要到哪里去？”。二、大数据是谁大数据不是一

2、种新技术，也不是一种新产品，而是一种新现象，是近年来研究的一个技术热点。大数据这个术语出现至少有5年以上的历史了，然而却没有一个业界对它统一认可的完美定义，较为权威的一个定义是2011年5月麦肯锡公司的全球数据分析报告中指出：“大数据是指大小超过了典型数据库工具收集、存储管理和分析能力的数据集。”大数据虽然没有一个统一的完美定义，但却有着业界共同认可的4个特征，也叫做4v，即： volume（体量）, velocity（速度）, variety（种类），value（价值）。第一、数据体量巨大。从tb级别跃升到pb级别，甚至zb级别。根据idc的报告预测，到2020年，全球数据量将扩大50倍。比

3、如：一架从广州飞往欧洲的飞机由传感器所收集的数据量都是非常惊人的，可以达到pb级别。第二、数据处理速度很快。在信息化时代，政府和企业不仅要快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。第三、数据的类别繁多。数据来自多种不同渠道的数据源，首当其冲的是政府统计部门的统计数据，还有更多的是来自于网络世界等等。 第四、数据的价值密度低。我们以一段视频为例，在连续不间断的视频过程中，可能对你有价值的视频仅仅是一两秒钟而已。三、大数据从哪里来随着信息化、网络化时代的到来，数据来源和数据量都增长的极快。数据的增长量符合摩尔定律，在每隔一个较短的周期，数据的量将翻一倍。由这些不

4、同来源的数据组成了海量的数据，即是大数据，那么大数据的来源有哪些？这些大数据是怎么采集的？（一）、大数据的数据源有哪些？政府的数据来源大致可以分为三种:一是下级部门和各类社会组织上报的各类业务数据，如：企业通过国家统计局一套表制度上报的各类经济指标数据等等；二是收集单个公民或者组织的社情民意数据，如：浙江省开展的十方面民生实事满意度调查等等；三是通过传感器采集的自然环境变化等数据，如：天气预报、地质灾害预测等等。另一个主要来源是网络世界，这种数据种类和格式冲破了以前所限定的结构化数据格式，囊括了半结构化和非结构化数据，比如说：网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等等。（二）

5、、大数据该如何采集？过去，人类的认知能力跟技术水平都有限制，我们想要收集大范围的数据比较困难，我们只能退而求其次选择一部分具有代表性的个性来测算总体的一个趋势，传统数据采集方式不仅需要科学地确定调查对象，还需要通过标准化的报表进行数据采集、汇总和分析。在过去，我们填写一张报表从阅读说明、填报数据、检查提交的全部时间可能需要1个小时，以月度报表、全国1万家企业需要报为例，每年需要花费120万小时去完成这项工作。而如今，我们需要顺应大数据时代的来临，我们需要打破传统的认知和技术的缺陷，我们就需要样本等于总体这样的一种统计模式，我们需要通过信用卡消费记录、传感器、地理信息技术等获取的海量数据，不仅减

6、轻了被调查者的负担，而且获取的数据量也更多了。今年开展的第三次全国经济普查，也将采取利用统计电子地理信息系统，全面建立普查区电子地图，推广使用手持电子数据采集设备pda采集普查数据，提高了普查数据采集、传送和处理的信息化水平等信息技术手段。这将在数据真实、准确的基础上大大地提高统计效率，能够有效降低统计调查成本，有效减轻被调查者的负担，能够使数据的样本更加接近等于总体这么一个趋势。 四、大数据要到哪里去大数据要到哪里去，大数据也有一个到哪去的最终归宿，这是对大数据的积极思考，每个人都想知道大数据存在的最终意义，我想对大数据的各种运用便是对大数据存在意义的诠释，数据只有应用起来才是有价值的。比如

7、：通过大数据，我们能够看到别人看不见的地方，分析总结出规律，预测未来的发展趋势；通过大数据，我们能够通过各种数据建立一个综合的数据中心来模拟演绎各种社会政策，完善政策的制定；通过大数据，我们能够分析、推算各类数据间关系，知道表面数据外的数据。 在公共卫生领域中发生这么一件事，在甲型h1n1流感爆发的几周前，互联网巨头谷歌公司的工程师们在自然杂志上发表了一篇引人注目的论文。它令公共卫生官员们和计算机科学家们感到震惊。谷歌保存了多年来所有的搜索记录，而且每天都会受到来自全球超过30亿条的搜索指令，如此庞大的数据资源帮他们解释了谷歌为什么能够预测冬季流感的传播：不仅仅是全美范围的传播，而且可以具体到

8、特定的地区和州。这是对大数据在总结规律，预测未来的发展趋势方面最经典的示例，这是大数据的一种新型能力：以一种前所未有的方式，通过对海量数据进行分析，获得大价值的产品和服务，或深刻的洞见。预测性分析是大数据应用领域之一，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型代入新的数据，从而预测未来的数据，例如：我们可以收集大量民生数据，并以此建立一个民生数据库来支持政策建模，一个政策的好坏，不是先试试看，看看效果再调整，如果一个政策的出台，除了深入的调研，再加上一个政策模拟运行的平台，让政策先在模拟的平台上运行，根据对模拟政策的跟踪，我们及时可以调整政策，以便更利于民、惠及于民，提高行政

9、效率。数据和信息是执法工作中制定战略和决策的基础，通过分析比对得到有用的信息，将这些信息转换成一个应用，这便是对大数据的一种应用。1994年，纽约市的警察部门启用了一新的治安系统，随着它的出现，纽约城的治安逐渐好转。这是一个以地图为基础的统计分析系统，在地图上记录所有的劫案发生的时间和地点，通过分析其中的原因和规律，找出什么地方、什么时间、什么环境是发生劫案的高发点，并根据分析出来的规律，派出警力去这些地方伏击，大多数时间能有收获。纽约警察用的治安系统是大数据应用的一个具体体现，大数据的应用对社会的安定、进步有着重要意义。涂子沛先生说：“除了上帝，任何人都必须用数据说话”。的确，数据能够让我们

10、知道更深层次的信息。在美国，个人信息是绝对保密了，然而在数据时代下，这将变了不堪一击，我们可以通过各种各样的表面数据间的整合、分析，我们便能够轻松定位这个人的基本信息。同样，在政府应对腐败也有积极的应用，我们可以通过各种各样的不同单位、不同项目表面账目整合、分析得出账目间的关系，根据账目间的逻辑性和合理性，最终核实资金使用的合法性，揪出背后的腐败。五、政府统计面临的新挑战“大数据”正在成为继“云计算”、“物联网”、“数字城市”、“智慧城市”等之后风靡全球的概念。联合国的数据脉动计划、美国的大数据战略、英国的数据权运动等等，都显示着各国政府对大数据的高度重视，统计部门作为政府的数据中心更应该对大

11、数据的探究走在前列，勇于承担大数据对政府统计的挑战，应积极采用现代信息技术，抓住机遇，应对挑战，建设“面向统计用户、面向调查对象、面向统计基层”的现代化服务型统计。挑战一：传统数据采集方式受到非常大的挑战。国家统计局局长马建堂表示，传统数据采集方式不仅需要科学地确定调查对象，还需要通过标准化的报表进行数据采集、汇总和分析。然而随着信息化、网络化时代的到来，行政管理、生产经营、商务活动等众多领域正在源源不断地产生海量的、即时的电子化数据，国内许多企业和民间调查机构已经在开发、挖掘和利用这些数据资源，为用户提供咨询服务。随着大数据资源的急剧增加和数据挖掘技术的日益成熟，传感器、地理信息技术等现代化

12、的技术将在数据采集中运用越来越广泛。挑战二：传统的统计制度设计受到极大挑战。传统的统计制度遵循自上而下的设计模式，从经济理论或者社会经验出发，根据理论设定统计指标、统计报表以及调查汇总方法等，再去利用统计数据进行实证分析。然而，“大数据”时代下的统计制度采用自下而上的设计方式，以数据为先导，不需要预先设定目的或方式，而是从大量实际产生数据中通过数据挖掘技术找到数据之间的关系并建立模型。挑战三：大数据对政府统计的权威性产生重大挑战。随着大数据时代的到来，以电子商务、即时通讯、搜索引擎和网络游戏为主体的互联网经济发展飞跃，政府统计部门不再是海量数据的唯一拥有者。网络和电商自行编制的指数对政府统计提出了挑战，如：淘宝公司根据用户消费数据编制了淘宝c