大数据预测的前景和潜在威胁

前言在你出生的那一刻：男孩、7斤8两，而你的父母不再争论你长得像谁，因为他们早就知道了关于你的一切。计算机通过计算你的基因、出生环境等遗传信息，数据分析的结果你会有43%像母亲、57%像父亲，而你的未来的一切更是清晰可见：你的智力水平决定你只会上当地大学（你就不用太努力读书考清华、北大或者耶鲁、哈佛了）、你不擅长滑雪但擅长跑步（跳远也不太行）、你是个异性恋会喜欢棕色头发的苗条女孩（根据GPS和其他信息的推断，她将会在你隔壁的隔壁的医院出生，只不过比你晚两年）、你喜欢喝可乐（会热爱可口可乐，去超市就不用考虑百事可乐或其他牌子了）⋯⋯如果关于你的一切已经注定，当真实的你来到人世，你是打算努力拼搏一把过个真正属于自己的人生，还是打算按照计算机计算出的？这并不是天方夜谈，一切都会因大数据时代的到来，而变为可能实现的事情。 这是一个信息爆炸的时代，根据IDC《数字宇宙膨胀：到2010年全球信息增长预测》中统计的数据显示，2006年全球产生，复制出的数字信息量共计16.1万PB，当年信息产量达到历史上图书信息总量的3000倍。2020年的数据产出量将比2009年的44倍还要多，超过70%的数据产生于个人，但其中有80%会通过企业存储、保护和管理。 被誉为大数据应用楷模的谷歌、亚马逊等数据型公司在2013年第一季度确实取得了不俗的业绩。其中谷歌营业收入增长了31%，亚马逊增长了22%。大数据的时代即将到来，而最普遍的运用就是，通过数据处理和分析，预测事务走向，这是人类历史发展的机遇，却也是一个不可小视的挑战。大数据预测技术前景无限美国率先抢占“大数据”这块面包回顾近几十年的发展历程，美国在全球经济中一直独占鳌头，其中最重要的因素就是美国政府在“高技术”的直接推动。1920-1930年，美国通过“高速公路计划”踏入超级大国的征程；1960-1970年，通过“星球大战”计划让美国摆脱全球性经济危机，走向高科技成为世界第一强国；1990年，“信息高速公路计划”，让美国继续在人才、技术和资金等方面占据世界制高点，拉大与他国的差距；2012年3月，奥巴马政府发起《大数据研究和发展倡议》，并将此形成国家的发展战略。数据正在呈指数级增长，各种传感器的剧增，高清晰度的图像和视频都是数据爆炸的原因之一。美国国防部利用数据支持决策：每年将投资2.5亿美元左右，开展以创新方式使用海量数据、提高作战人员和分析人员的环境和状况感知能力、大数据领域的技术创新的系列研究。此外，美国国防部、能源部、地质调查局等也推出了相关项目。美国总统科技顾问委员会报告美国总统科技顾问委员会报告.《规划数字化未来》[R].2010年.大数据预测成功案例奥斯卡获奖影片《点球成金》讲述了一个美国棒球大联盟中的真实事件，奥克兰勇士队在刚有起色时，球队主力纷纷被重金挖走，资方投入严重不足，新赛季的前途非常渺茫。此时球队经理另辟蹊径，打破原有球队经营理念。利用数学建模，定量分析不同球员之间的特点，合理搭配，颠覆了传统球界靠明星组队的理念。在新赛季中，奥克兰勇士队创造了20连胜的新历史。这只是一个视频，但现实中也有许多诸如此类的案例。2003年，美国计算机专家奥伦·埃齐奥尼在一次航空旅行中发现，虽然自己早早就预定了机票，但是票价却比同行的比他买票更晚的人还要贵。他决定开发一个预测机票价格走势的系统，供人买票时参考。这个预测系统建立在连续41天内价格波动产生的12000个价格样本基础之上，需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。这个预测系统不知道是哪些因素导致了机票价格的波动，只知道利用其他航班的数据来预测未来机票价格的走势。之后，这个项目被微软公司以1.1亿美元收购。到2012年为止，这个系统用了将近十万亿条价格记录来帮助预测美国国内航班的票价，票价预测的准确度已经高达75%，使用这个预测工具购买机票的旅客，平均每张机票可节省50美元。2相海泉2相海泉《迎接大数据时代》[N].特别报道e大数据时代2013年5月。迎接大数据预测时代“大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革。对国家治理模式、企业决策、组织和业务流程、个人生活方式等都将产生巨大的影响。2012年世界经济论坛发布了“BigData,BigImpact”的报告，从金融服务、健康、教育、农业、医疗等多个领域阐述了大数据为国际发展带来的新机会李志刚《大数据——大价值、大机遇、大变革》[M].电子工业出版社2012年10月.大数据是一笔庞大无比的资产，但如何盘活资产，让大数据证明自己?这才是关键所在，也是市场利益驱动所在。据相关机构统计，2012年中国大数据IT应用市场规模约为10.5亿元，其中，互联网、电信、金融等行业大数据IT应用投资占据较大的市场份额，分别达到16.8%、12.3%和11.2%。在未来三年，大数据市场规模将呈爆发式增长，达到近90%的年复合增长率。在大数据时代，各个行业的用户对数据分析功能的需求更加旺盛，同时对数据分析的深度和速度都有更高的要求，促使IT厂商加快对于数据分析技术的研发创新。一方面，大数据分析不再局限于结构化的历史数据，它更倾向于分析来自社交网络、RFID传感器等的非结构化数据，这可以促进对非结构化数据的分析技术的创新；另一方面，激烈的市场竞争促使大数据解决方案厂商加大了对数据的快速实时分析、智能决策技术的研发投入。郭国奇《把准脉搏，在大数据市场淘金》[N].电脑报2013年9月2日第14版.大数据时代即将到来，数据分析与预测将是其价值最直接的体现。从国内市场来看，智慧城市、电信、金融等行业对大数据的应用需求迫切，今年年初住建部公布了90个首批国家智慧城市试点名单，并配套4400亿元授信额度，标志着我国智慧城市建设已经进入提速发展时期；还有就是移动互联网终端热度居高不下，移动互联网业务的需求呈爆炸式增长，电信业将围绕着面向移动互联网的应用和内容平台转移，以大数据为依托，走向以融合为中心的新时代；同时国内金融业务的载体与社交媒体、电子商务的融合越来越充分，金融业仅对原有15%的结构化数据进行分析已经不能满足发展的需求，急需借助大数据战略打破数据边界，构建更全面的企业运营全景视图。大数据预测的威胁理性对待大数据预测和分析一些大数据技术和解决方案服务的公司并没有取得如此的业绩。比如IBM第一季度营业收入下滑5.1%，净利润下滑1.1%；微软第一季度营业收入下滑8%，净利润下滑22%；英特尔营业收入下滑2%，利润下滑25%。直觉主义让位于数据分析，专家决策让位于群众智慧，只能是大数据倡导者的一厢情愿。一个折中的办法是，数据做分析，专家做判断，数据给答案，专家做选择。但对企业家而言，专家可以找，思想家必须自己做。从数据战略的构建，到群体智慧的萃取；从社会关系网络的解析，到复杂的自组织系统的发现，均依赖于企业家的智慧，而不能完全依赖于机器。即便是有一将难求的数据科学家的协助，大数据决策依然是辅助系统。[5][5]张建设.大数据悖论[N].中国计算机报，2013年05月13日第10版.换言之，大数据将演绎“信息转化为数据，数据集聚成知识，知识涌现出智慧”的进程。按照哈耶克在《自由宪章》一书中对人类知识增长和进步的论述，大数据应该是一个人类知识增长的复杂过程。首先大数据原本并不以具有明确的目标和对象为出发点，而是在不断收集、重组和聚类中，发现社会发展的先行参数和相关关系。其次，大数据在社会难题中的应用不仅没有设定的目标，也没有设定的问题，能发现什么启示是自然形成的结果。再次大数据发现的结果往往超出既有的思维和判断，往往不能为社会所接受，检验其预测的准确与否。满足市场需求的大数据应用模式，有利于技术和数据公司将既有的资源和能力转化为商品，有利于这些企业寻找到以客户需求和盈利模式为支撑的商业模式。而对于大数据应用者而言，数据的聚类和多次利用，也有利于实现跨部门、跨行业等跨界融合，有利于实现企业和产业的开放式创新。而致力于破解社会难题的大数据应用，却很难在短期内找到盈利模式。[6][6]Franks,Bill,Taming,THEBIGDARATiDALWAVE.JohnWiley&Sons,2012科技进步与危险同在牛津大学网络学院互联网研究所治理与监管科研项目负责人维克托·迈尔-舍恩伯格教授，在和肯尼斯·库可耶合著的《大数据时代》一书中在肯定了大数据的核心功能是预测之外，更发人深省地提出：“也许，大数据预测可以为我们打造一个更安全、更有效的社会，但是却否定了我们之所以为人的重要组成部分——自由选择的能力和行为责任自负。大数据成为了集体选择的工具，但也放弃了我们的自由意志”。他指出，大数据的不利影响并不是大数据本身的缺陷，而是人们滥用大数据预测所导致的结果。大数据预测是建立在相关性基础上的。而人们习惯从因管理果关系视角理解世界。一旦大数据预测被滥用，人们要为还未实施的未来行为买单，那么人类社会的道德指标将被预测系统所取代，人会一直受到集体意志的冲击。如果这一切成为可能，大数据将会把人类禁锢在可能性之中。你未来很有可能考不上清华、北大，那么你还要为此进行努力吗？要知道乔布斯可不是因为对于市场调查数据的信任而推出革命性的苹果系列产品，他的秘诀是第六感。而人类对数据的执迷会使得数据以良莠参半的方式统治人类本身。仅仅为了收集数据而收集数据，或者赋予数据根本无权得到的信任。维克托提醒人们——那些尝到大数据益处的人，不要将大数据运用到不适用的领域，不要过分膨胀对大数据分析结果的预测。越来越多想要从大数据中掘金的人会导致对其的盲目崇拜。至少，现在人们已经看到，面对大数据，保护隐私的核心技术已经不再适用了[7][7]郑悦《大数据进阶阅读》[N].IT经理世界.CEOCIO.第355期.如果不加控制，大数据将会成为一头怪兽，吞噬人类社会既有的生活和思考方式。这就要求人类信息管理准则重新进行定位。不过由于这一过程过于迅速，人们也许只有几年时间进行“责任与自由并举的信息管理”变革。《大数据时代》一书认为有四件事情人们必须现在开始行动：首先要从个人许可使用个人信息改为数据使用者承担相应责任，发明并推行新技术进行隐私保护，