读徐子沛《大数据》有感

读徐子沛《大数据》有感如果要问当今什么技术最为火热，我想毫无疑问大数据必然是热门答案之一。那么什么是大数据呢？大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。（摘自百度百科）大数据之所以产生，是因为今天无处不在的传感器和微处理器。我们正在迈进普适计算的时代。数据正在里指数级增长。之所以增长速度如此之快，背后有许多原因。现在几乎所有数据的产生形式，都是数字化的。各种传感器的剧增，高清晰度的图像和视频，都是数据爆炸的原因。如何处理这样海量的数据，并且从其中挖掘出有价值的内容是摆在科技公司和政府面前的一道难题。任何一个组织，要抓住大数据的机遇，就必须做好几个方面的工作。从技术角度来看，首先要收集并且开发特定的工具，来管理大规模并行服务器产生的结构化和非结构化数据，这些数据，可能是自己专有的，也可能来源于〃云〃。其次，每一个组织都需要选定分析软件，用它来挖掘数据的意义。但可能最重要的是，任何组织都需要人才来管理和分析大数据。这些人被称为〃数据科学家他们集黑客和定量分析员的优势和特长于一身，非常短缺。聪明的领导人，将想方设法留住这类人才。与此同时大量的基础设施建设一样重要，且不提大数据的处理需要大量高性能的计算机，光是储存这些数据就需要极为大量的存储设备，所以基建也是极为重要的一个环节。在徐子沛老师的《大数据》一书中从美国政府的角度作为切入点，通过一系列实例深入分析了大数据的政府运作、实践成果。书中首先提到了奥巴马政府倡导信息公开透明，在上任之初便大力推行信息的公开化和透明化。信息之与民主，就如货币之于经济。受美国国家文化影响，美国人民对于信息的知情权的重视程度几近对于枪支自由的执着。在2010年的＜＜规划数字化的未来:美国总统科学技术顾问委员会给总统和国会的报告》中提到：如何收集、管理和分析数据正在日渐成为我们网络信息技术研究的重中之重。以机器学习，数据挖掘为基础的高级数据分析技术，将促进从数据到知识的转化、从知识到行动的跨越。联邦政府的每一个机构和部门，都需要制定一个应对〃大数据〃（BigData）的战略。对于具体如何处理数据方面而言，必然离不开两个方面，一个是数据本身，另一个则是处理这些纷杂数据的程序。程序和数据的关系，就好像发动机和燃料，所有的程序，都是靠数据驱动的；数据之于程序，又好比血液之于人体，一旦血液停止流动，人就失去了生命，代码也将停止运行。数据的生命力，甚至比程序更持久。程序可以不停地升级、换代甚至退出使用，但保存数据的数据库却会继续存在，其价值很可能与日俱增、历久弥新。书中提到一个非常有意思的例子：劳工统计局在1997年开展的青少年纵向调查。它眼踪调查的对象虽然是青少年本身，但受访人、问卷人却可以是家长、老师、雇主等等和该青少年密切相关的个人和群体，每次问卷都有数十个问题，需要受访人1小时左右才能完成。因为付出了时间，受访人在完成问卷之后，能获得8到20美元不等的报酬。同样的问题，也可能在不同的年份、在相同受访人员的问卷中重复出现，以测试受访人态度的变化。随着数据的积累，一幅以个人成长为中心、越来越大的社会画卷也开始展开。这种以一个国家为单位的大型社会调查，是研究一个社会长期变迁不可或缺的重要资源，也为政策的制定、调整和评价提供了重要的参考和依据。这些原始的数据积累，不但在时间的横向上具有相当高的参考价值，在个人为背景的纵向上也可以一定程度上展示社会的经济，教育等方面的长期变迁。通过不同的数据组合对比可以得出多样化，多层次，多角度的综合结论，这对于政府在政策制定和规划上有着极为重要的促进作用。仅仅在2000年的时候，全世界全部的存储信息中还只有1/4是数字化的，其余的都保存在纸张、胶片和其他模拟介质上。但是由于数字数据数量的增长十分迅速一一几乎每三年就翻一番，这种情形很快发生了逆转。今天，在所有存储信息中只有不到2%是非数字化的。可以用数据爆炸来形容目前的数据增长情况。数据爆炸体现在三个方面：一是同一类型的数据量在快速增大；二是数据增长的速度在加快；三是数据的多样性，即新的数据来源和新的数据种类在不断增加。对于爆炸的数据急需国家层面出台相关政策引导发展已经成为共识。大数据已经成为国家和政府层面的发展战略，通过大数据的交换、整合、分析和使用，人类可以发现新的知识和规律，创造新的价值和内容，带来“大知识”、“大科技”、“大利润”和“大发展”。爱德华•戴明是享有世界声誉的美国统计学家、管理学家，也是质量管理理论的奠基人。曾为日本的经济崛起立下了丰功伟绩。他有一句名言说:〃我们信靠上帝。除了上帝，任何人都必须用数据来说话。〃随着大数据时代的不断深入，各个政府部门都在尝试〃用数据来决策〃、〃用数据来管理〃、〃用数据来创新”。最直接的成果是：通过数据的分析、收集以及发布，美国建立起了一套高效的交通安全系统，最直接的结果就是：从1966年美国仅有1.01亿注册驾驶员、0.94亿机动车辆到2009年，驾驶员上升到2.1亿，机动车量增加到2.46亿，人口和车辆的数量、密度都成倍增长，车辆的使用频率也大幅增加，但交通事故的死亡人数却不升反降，而且幅度显著：由5万多人下降到3万多人。与此同时，大数据的应用，不仅仅是在交通方面大展拳脚，在数据打假，医疗统计，治安管理，商务智能，数据仓库上也颇有效果。以数据仓库为例，数据仓库是商务智能的依托，是对海量数据进行分析的核心物理构架。它可以形象地理解为一种格式一致的多源数据存储中心，数据源可以来自多个不同的系统，如企业内部的财务系统、客户管理系统、人力资源系统，甚至是企业外部的系统；这些系统，即使运行的平台不同、编制的语言不同、所处的物理位置不同，但其数据可以按统一定义的格式被提取出来，再通过清洗、转换、集成，最后百流归海，加载进入数据仓库。使用数据仓库对于企业、政府来说每年节省的经费都是上千万、上亿级别的。然而，虽然大数据的广泛研究与应用有着无可比拟的优势，但是一个硬币必然有两面。相信、使用数据已经成为联邦政府（美国）的共识，在一些法则和制度之下，美国将这些数据行之有效地利用起来。然而所有事情必然有其两面性，数据被广泛利用所带来的负面影响：《数据质量法》被不法分子滥用，被商业公司用作保障利益的工具。同样的问题也体现在个人隐私问题上。911事件发生前，美国民众对政府侵犯隐私极为敏感，一战之后政府曾多次提出制定公民身份识别系统，除一战爆发、珍珠港事件爆发后的短期内，民众予以支持外，其他时间均受到民众极力地反对，仅通过了战时对个别族裔、外国人身份的监管方案。然而在911事件发生后，布什政府于2001年9月24日向国会提交《爱国者法案》，该法案要求限制公众获取政府信息的广度，提高政府控制、检查个人信息的范围。该法案的通过使得警察、情报机关有权在未经法院许可的情况下窃听公民电话、检查公民电子邮件、财务信息甚至图书馆借阅纪录。2002年11月，《2002国土安全法》通过，该法案中重新提出了中央数据银行计划一一万维信息触角计划，为执行该法案，首期拨款2亿美元，并设立了专门的机构负责实施。此后该系统常被滥用于非反恐事项，累计90余名警察因此被捕。2003年2月23日，国会对年度拨款进行投票，一名参议院要求国防部、国家安全局、司法部对该项目进行调查并提交联合调查报告，否则终止对该项目的拨款。期间美国公民自由联盟ACLU公布独立调查报告称：911的发生，并非政府缺乏信息，而是政府部门间信息沟通不畅，对情报的分析能力不强。2003年8月，国会通过新法案，终止该项目的开发，还规定没有国会授权，不得对美国公民的数据进行挖掘，只能使用外国人的数据和信息。在中央数据银行的问题上分为鲜明的两派，一派支持对建立中央数据银行，认为统一管理数据不仅能节省运营成本、提高数据的准确性和查询的效率，还将更好地保障数据安全；二另一派则强烈反对数据银行，正如《纽约时报》著名记者者、隐私权专家帕卡德(VancePackard)的文章《不能告诉计算机))，他写道："当政府把我们每一个人