从数即万物到万物皆数

从“数即万物”到“万物皆数” 大数据与我们的生活张启良2500年前，古希腊有一位叫毕达哥拉斯的哲学家，曾经提出过“数即万物”的哲学观，认为数字是世界的本质，并支配着人类社会乃至整个自然界。但直到今天，随着基于互联网、移动互联网、物联网等的大数据技术，广泛深入融合到金融、教育、医疗、农业、电信、交通等各个行业后，我们的时代才真正进入了“数即万物，万物皆数”的大数据时代。大数据正在改变我们的生活，颠覆我们的传统思维方式，这种改变在以前是难以想象的，以致我们目不暇接，惊喜连连。一、大数据知识ABC首先，说说什么是大数据。关于什么是大数据，目前还没有一个统一的定义，说法与版本有很多。我们简单地说，就是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。“大数据”是在人类有了计算机、互联网和现代通讯技术条件下，产生的新生事物与新概念。衡量大数据的大小通常以“太字节（TB）”或者“拍字节（PB）”为单位量级。1个太字节数据量为1024G个字节或10.7亿个字节。目前，数据的存储单位从小到大的次序为：KB—MB—GB—TB—PB—EB—ZB—YB（千字节一兆字节一吉字节一太字节一拍字节一艾字节一泽字节一尧字节）,每提高一个量级单位的存储量扩大1024倍。那么，大数据来自于哪里呢？第一个来源，是传感器。如果笼统地说，任何可以监测、数据化、传输的工具都是传感器。如手机、手环、大街上的探头等都是传感器，传感器探测和集成包括温度、湿度、压力、速度、位置等数据。据有关资料反映：2005年，全世界使用的传感器只有1.3亿个，到2010年就发展到了30亿个，目前大概有45亿个。预计到2030年将有100万亿个传感器连接在物联网上。第二个来源，是互联网。目前全世界有网民30多亿，中国有6.49亿，占世界的五分之一；全国有12亿手机用户、5亿微博用户、5亿微信用户，以及200亿条日信息发送量、400万家网站，我国已经成为网络大国。网民每时每刻都在发送信息、图片、聊天、发帖子、购物等，留下了海量的数据。第三个来源，是社交网络。像Facebook（脸谱）每天要处理23TB的数据，Twitter（推特网）每天处理7TB，腾讯每日新增加的数据为200〜300TB，中国电信大概每天也有10TB的话单，30个TB的上网日志和100TB的信令数据。第四个来源，是政府统计部门以及各专业部门、金融部门、科学研究等的数据。目前政府部门的人口普查、户籍登记、社保医保等行政记录，都是海量数据。大数据又有什么作用呢？对于数据的重要性与作用，美国著名的管理学家、统计学家爱德华•戴明（1900—1993）把它提高到与上帝同等的地位，他说“我们信靠上帝。除了上帝，任何人都必须用数据来说话。”“没有调查，就没有发言权”是伟人毛泽东讲过的一句名言，也是高度重视对数据、资料收集与分析的重要性。基于计算机、互联网、移动互联网和物联网背景下的大数据，其重要性和作用已远远超出传统概念的数据。通过分析大数据，寻找相关性，发现规律性，增强预见性，带来“大知识”“大科技”“大利润”和“大发展”，大数据被誉为未来社会的新“石油”和新“金矿”。美国的沃尔玛公司通过数据挖掘，把啤酒与尿布放在一起卖，在飓风来临前把手电筒和蛋挞（一种甜早点）一起卖，显著提高了公司的销售额；谷歌通过大数据预测“非典”的大爆发；美国麻省理工学院的“十亿价格项目”编制的网上商品CPI、阿里巴巴编制的淘宝CPI，提前洞见2008年国际金融危机的爆发，等等，都是在大数据开发利用方面的经典案例。在当今国家发展与竞争中，大数据已成为未来的核心竞争力，谁掌握了大数据，利用大数据实现真正的变革，谁就能赢得未来。第一，对大数据的处理分析已成为新一代信息技术融合应用的结点。第二，大数据是信息产业持续高速增长的新引擎。第三，大数据利用将成为提高核心竞争力的关键因素。第四，大数据将成为降成本、增效益、促转型、稳增长的新途径与新动力。据麦肯锡全球经济研究院发布的报告称：2013年中国互联网经济GGDP）已占到国内生产总值的4.4%以上，预计从2013年至2025年，互联网将帮助中国提升国内生产总值0.3至1个百分点。第五，大数据将促进统计方法、科学研究与实验的方法手段发生重大改变，成为政府统计收集数据的第二轨。二、大数据与小数据的比较既有“大数据”这个概念，是不是还有“小数据”呢？答案是肯定的。但在这里讲的小数据，是指在传统技术和方法条件下收集、存储、处理和分析的数据。包括政府部门组织的统计调查，企业开展的市场调查等。大数据与小数据又有什么不同呢？首先，从数据的规模或量来看，大数据体量巨大，规模已经超出了在常规方法和时间内搜集、利用、管理和处理数据的能力。小数据相对来说小得多，传统社会下生产的统计数据可以看作是小数据。中国是世界是人口最多的国家，人口普查是中国和平时代动员社会力量最多的一项社会活动，2010年的全国人口普查收集的数据量估计不过200G。其次，从数据形态来看，传统的数据通常是结构化数据，结构化数据（行数据）是指存储在数据库里可以用二维表结构来逻辑表达实现的数据，大数据则是混合形态的数据。在大数据中，结构化数据占15%，更多的则是非结构化的数据，如图片、日志、音频、视频、地理位置等数据，这些数据大都是非结构化的。因此，大数据是混杂的。第三，小数据是目标导向数据，价值密度较高。自古以来，管理国家需要的土地、钱粮、人丁、户口、兵源等重要数据，都是由政府组织收集的，这就是我们非常熟悉的统计。这些数据有非常明确的目的，有非常明确的价值。如我国的GDP核算，城乡住户收支抽样调查，CPI、PPI等价格抽样调查，都是围绕着国家发展、民生改善的具体目标进行的。大数据则是记录导向的，价值密度低。仅仅是为记录数据，并不是首先就有为了得到或解释某个特定事件的具体目的。第四，大数据即时产生，随时可用。大数据是痕迹数据，具有并行化、在线化、生活化、社会化的特点，大数据可以同时运行很多个线程，数据本身在线上，不是在你的计算机或移动硬盘中。小数据大多数都是由机构或者个人找“样本”获取数据，大数据时代每个人都是数据的提供者，同时也是数据的使用者；如上网时留下的痕迹COOKIE文件全部予以记录。小数据生产的时间长，从测量到可用，需要相当长的时间。譬如，目前我国开展一项大型普查，从普查准备到数据发布前后需要2〜3年的时间。而大数据是即时产生的。相对小数据的收集，大数据的获取省略了抽样设计环节，主体基本不介入调查对象的行为，也不直接与调查对象发生博弈，始终以观察者的角色直接对整体进行分析。第五，从数据占有情况来看，在传统社会里的小数据拥有的主体是政府（包括政府统计部门和各专业部门）、企业、民间调查机构、科研机构等。而大数据则主要掌握在互联网公司手中，目前我国国内互联网三巨头BAT（百度、阿里、腾讯），基本上覆盖了吃、穿、用、住、行、社交等各个领域的数据入口，正在迅速构建自己的“数据帝国”，越来越多的数据将掌握在公司手中，数据私有化将成为一种趋势。而对大数据的开发利用，也只有具有技术能力的网络公司才能做到，通过网络爬虫在网络上抓取数据，然后经过数据清洗，进行数据挖掘分析。不具备大数据挖掘利用能力的一般个人或者企业、机构，通过向这些公司付费后购买数据和服务，这就是我们日益熟悉的云计算、云平台、云服务；未来的地方政府或许将不得不向私营部门购买数据。三、大数据与我们的生活进入21世纪20年代，人类正式拉开了从小数据时代进入大数据时代的序幕。英国学者维克托•迈尔-舍恩伯格和肯尼思•库克耶在《大数据时代》一书中指出：世界已经进入大数据时代，大数据开启了一次重大的时代转型。（一）大数据如何改变我们的传统生活大数据改变我们生活的第一个领域是网络购物。过去我们购物，主要是在百货大楼和超市。如果是要买一件贵重的物品的话，要跑很多店，比较价格、品牌和质量，花费很多的时间和精力。网络购物彻底改变了传统的购物方式，消费者在网上购物后留下了海量数据，成为电商最重要的竞争优势之一，通过数据挖掘，电商可以知道消费者喜欢什么品牌，也知道消费者会买什么？为什么买？在哪里买？从而通过网络推荐，介绍相关产品。另一方面，消费者也可以通过搜索比较，买到更便宜、更中意的商品。可谓鼠标轻轻一点，“不出自家门，淘尽天下货”，既省钱，又省时间，可谓方便快捷。互联网购物的商业新业态的出现，促进了网上消费的大爆发，使消费为当前我国经济稳增长发挥了重要作用。到2014年底，中国通过互联网购物的人数已达3.6亿人，占全国人口比例近1/4，已连续第二年成为全球最大的网络零售市场，2014年全国网上零售额高达27898亿元，同比增长49.7%，占全国社会消费品零售总额的10.6%；网上零售增长速度明显高于当年全国社会消费品零售总12.0%的增速；消费对当前我国经济的贡献率提高到了60%。大数据改变我们生活的第二个领域是交通出行。滴滴打车方便出行尽在掌握中。“滴滴打车”改变了传统打车方式，颠覆了路边拦车方式。利用移动互联网将线上与线下相融合，从打车初始阶段到下车使用线上支付车费，最大限度优化乘客打车体验，让司机根据乘客目的地按意愿“接单”，节约司机与乘客沟通成本，降低空驶率，最大化节省司乘双方资源与时间。目前，滴滴打车已覆盖全国400多个大中型城市，未来的滴滴打车还能够为用户设计智能出行方案，当你输入出发地和目的地，系统便会给你方案：是打车、拼车、公交还是地铁，哪种搭配组合更经济方便，将为我们老百姓带来很多便利。通过大数据技术系统缓解了城市拥堵难题。公交站点的电子指示牌，告诉大家下一趟公交什么时候能到，非常精准。通过大数据还可以解决停车难问题，监控交通违章情况，使汽车保养维修更便捷。大数据改变我们的生活的第三个领域是医疗健康领域。目前，全国有2亿人次住院，已经诊断出的慢病发病人数有2.6亿，其中高血压1.6亿，糖尿病1.14亿，还有未被发现和诊断的。如果把这些患者的医药数据、患者的用药数据，包括电子监管码的销售、医保数据，汇集到一个综合平台，当输入某一个患者的身份证号，可以知道他得了什么疾病、最近用药情况、健康状况等，就可以把社会医疗资源合理分配，而不是任何一个病都要到大医院去排队。目前，起源于深圳并迅速发展到其他城市的国内知名互联网医疗服务平台——“就医160”，现已接入全国278个城市、2210家大型医院，医生资源超过30万，实名注册用户超过1400万。大数据改变我们生活的第四个领域是教育。互联网在线教育就是在网络上学习，既通过课件、视频等学习，也可以实时互动讨论问题。互联网在线教育是传统教育模式的大变革，这种教育模式突破了时空界限，不需要住校、上教室，学生可以随时随地上课。通过大数据监测学生的学习行为，了解每一封教师发出的邮件带来的学生们的反馈。知识的获取变得以学生为中心，人们不再需要传统意义上的老师，老师的职责从传道授业变成解惑。教育从封闭走向开放。最近几年，慕课（MOOC—大型开放式网络课程）兴起，2012年美国的顶尖大学陆续设立网络学习平台，Coursera、Udacity、edX三大课程提供商在网上提供免费课程。斯坦福大学的Coursera平台汇集了全世界有7000多门优秀课程，全世界最好的老师在互联网上PK,只要讲的不对，立马就有人指出；这就是教育模式的突出特点。受此影响，国内北大、清华等知名大学纷纷加入慕课平台，推出多门免费课程，受到世界各地学生的欢迎。（二）大数据如何推动社会管理方式的变革监控舆情打击犯罪，强化社会综合治理。当前，我国正处于全球风险、社会转型风险混合叠加的高风险时期 由传统社会向现代社会转型，既存在机遇，也面临风险；经济全球化加速了全球信息与物质的流动，将我国裹入全球风险之中。近年来，源自国内外的一系列公共危机，清晰地表明我国业已步入高风险社会；大数据在安全风险管理方面将发挥重要作用。在舆情监控方面，通过网络关键词搜索及语义智能分析，能提高舆情分析的及时性、全面性，了解全社会对某项政策的评价、掌握社情民意，提高公共服务能力，应对突发公共事件，打击违法犯罪等。我们出行坐火车、坐飞机、住宾馆都要有身份登记，遍布城市街道、公路的探头、天眼收集了个人出行与汽车交通的大量数据，这些数据可为公安机关破案侦查提供了重要线索。避免国家福利滥用，促进社会福利公平。我国政府高度重视民生问题，对困难群体通过保障性住房和居民最低生活保障制度等，解决他们的生存问题。保障性住房应该分给谁？“低保”应该给谁“吃”？最近，国土资源部下发通知，提出到2017年要基本建成覆盖全国的不动产登记信息平台，随着房产数据和银行数据的联网联通，可以有助于解决这一问题。杜绝“开着宝马吃低保”情形的出现。推动征信体系建立与诚信社会建设。“人无信不立，业无信不兴”。目前，我国央行征信中心的信息绝大部分来自于金融机构，既有的征信内容已远不足以满足现实需求。而“互联网+”时代让越来越多的信息超出了传统金融框架，社交数据、资产变动、性格爱好、婚姻状况等一系列信息，都可成为全面描述个人生存、生活、工作的信用大数据，为每个人描绘出信用“全画像”。个人信用卡还款、手机、家庭有线电视、水电气欠费、交通违章等情况，都会成为个人征信的数据。阿里小微信贷为何敢对大量一无规模、二无报表、三无信用的小微企业开展贷款业务，就是通过大数据分析了客户的信贷行为，掌握了企业的信誉度。从2010年开始，累计为超过70万家小微企业投放贷款超过1700亿元，而不良率仅有0.87%。社会诚信体系的建立与完善，将使普通老百姓感受到信用的力量和价值，一方面，在今后生活中注意培养信用意识，并在全社会建立起信用文化；另一方面，利用征信系统可以预防欺诈与上当受骗。大数据在全面评价人才方面的作用。目前我国人才晋升有两条基本途径，一是基于公务员制度的职位晋升，二是基于专业技术的职称晋升。大数据可以更全面、客观地评估人才的综合素质与专业素养。从社交、博客、微博、微信、发帖、聊天记录数据，可以挖掘个人政治倾向、价值取向、遵纪守法、道德取向的信息；从冲红灯、醉驾、支付欠费的个人信用数据，可作为公务员招录考察、考核、提拔任用、评先的重要依据。大数据在职称评定、人才发现方面更有用武之地。大数据能全面客观地评价技术人员的专业水平与能力，通过查询学术成果收藏网站譬如“中国知网”，就能知道申报者在那一年、在什么学术刊物上发表过哪些学术文章；通过百度搜索，可以知道申报者在专业领域获得过何种奖励，出版过哪些学术著作。（三）大数据如何探测人的身心世界大数据不仅可以量化身心、监控人的健康情绪，还可以复制一个虚拟的“你”。据报道，美国有一个叫克里斯•丹西的人，在自己身上连接了大约700个传感器，记录自己的日常生活与情绪变化，把自己的身体状况、情绪波动量化成一个个数字，随时随地了解自己的一举一动和情绪起伏，从而让身心达到更佳状态。被英国《每日邮报》戏称是世界上“量化最极致的人”。2015年7月英国的《金融时报杂志》发表了一篇《我们即数据》的文章，文章认为：只要把我们日常生活的行为通过传感器记录下来，并把这些数据跟应用程序绑在一起，很容易就可以预测、取悦你，把这种机器智能跟智能3D绘图绑在一起，就可以复制一个“你”。古人云：“以铜为镜，可以正衣冠；以人为镜，可以知得失”，通过大数据复制的虚拟“你（我）”，实现自我的再认识。以互联网、物联网、能源互联网为依托的大数据技术，将加快促进人类社会发展步伐及其制度演进，人类将迈向智能化时代，人类将步入知识主义社会，人类将迈向协作共享时代。人类将迈向智能化时代。互联网、物联网、能源互联网技术催生智慧城市的建设与发展，物联网、云计算、大数据等新技术得到广泛应用，如：电子政务、智能家居、智慧交通、无人驾驶汽车、智能机器人、3D打印等，人类将进入“智能一切”的社会。有一个作者是这样描述智能时代的生活片段的：智能卫浴为你自动调整洗浴水温，智能厨房会为你自动烹饪早餐；当你吃饭的时候，智能音箱会自动开启优美的音乐；或者你打开电视，它会帮你自动拉上窗帘。无人驾驶汽车送你去上班；当你走进办公室的那一刻，智能桌子会立刻为你打开邮箱和一天的工作日程表。未来的日子如果没有智能机器人你将难以适应，就像现在如果没有互联网和手机的日子一样。同时，机器人、3D打印、无人驾驶汽车在生产领域的大量使用，使大量的传统就业岗位消失，如商店售货员、汽车司机、外语翻译、专家等。美国著名社会批评家杰里米•里夫金在《第三次工业革命》一书预言：未来社会智能技术在服务行业大规模取代人类劳动，劳动力大军将转移到医疗保健业、社会工作、娱乐及旅游业等关爱产业和体验领域，最终有可能导致工作的终结。学习、体验和娱乐是未来人类生活的主题，“活着是为了游乐”。人类将步入知识主义社会。李建德在《社会制度演进大纲》一书中，从“最稀缺的生产要素决定生产力的性质、从而决定经济制度”这一逻辑出发，分析了在人类社会演进过程中，依次决定人类社会制度稀缺资源要素的劳动、劳动保护能力、土地、资本，与之相应，人类社会出现于经历了氏族社会、纳贡社会(包括奴隶社会与封建社会)、土地主义社会与资本主义社会。基于知识的稀缺属性及其对当代发展的作用越来越大，尤其是高科技、计算机、互联网对未来社会产生的革命性影响，知识最终取得决定性地位，预言未来制度演进的方向是“知识主义社会”，并最终将取代资本主义。毋容置疑，知识经济、学习型社会已成为当今和今后一个重要社会形态，大数据无疑将加快这种形态与进程的演进。人类将迈向协作共享社会。当今时代，免费、协作、共享社会已经初现端倪，譬如：免费下载软件音乐电影、免费WiFi使用，互联网共享教育、共享知识、共享音乐、优步(Uber)拼车服务、P2P金融服务、共享住房等，2014年，全球分享经济产生的收益达千亿美元级。美国当代最著名的思想家杰里米•里夫金在《零边际成本社会》一书中预言：随着通讯互