“大数据”的认识与思考22

21/21“大数据〞的认识与思考刘姝祎目录1“大数据〞的时代背景 41.1“大数据〞的概念 41.2“大数据〞产生的背景 41.3“大数据〞的特征 51.4“大数据〞的开展阶段 51.5“大数据〞带来的机遇 62“大数据〞的关键技术 92.1“大数据〞的采集和预处理 92.2“大数据〞存储技术 102.3“大数据〞分析技术 102.4“大数据〞与云计算 113大数据产业的应用 123.1大数据产业 123.2“大数据〞在典型领域中的应用 133.3智慧城市：立体的大数据生态系统 143.3.1智慧城市的产生 143.3.2全球智慧城市的实践 153.3.3.中国智慧城市 164问题与挑战 184.1数据质量 184.2数据平安 184.3用户隐私与便利性的冲突 184.4庞大能耗 184.5数据分析与管理人才紧缺 194.6跟风现象较为严重 194.7缺少技术创新水平较高的互联网公司 195对大数据产业开展的建议 205.1政府方面 205.2企业方面 215.3公众方面 221“大数据〞的时代背景1.1“大数据〞的概念纽约时报在2012年宣布“大HYPERLINK数据时代〞已经降临，“HYPERLINK大数据〞成为了时下最炽热的词汇。顾名思义，大数据是“无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合〞。Gartner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产〞。“大数据〞的要义是尽可能地收集众多可以相互叠加补充的信息，据以完成对“未来〞的预测。这些数据可能有些混乱，甚至会出现纰漏，但数据量的“多“和时间的“即刻〞可以弥补数据质量的瑕疵，“大数据〞将以最快的速度“预测〞出最“可靠〞的答案，指引人们迅速采取行动。1.2“大数据〞产生的背景大数据的应用和技术是在互联网快速开展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数到达40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索效劳，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS，Google)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的本钱实现了之前技术无法到达的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。2012年3月，美国政府发布《大数据研究和开展方案》，同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资。根据这一方案，美国希望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土平安等，此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体发动格局。随后，英国、法国、日本等各国都相继将大数据方案作为国家战略型方案提上日程。值得一提的是，由中国各级政府主导的大数据方案也已经全面展开，“大数据〞已成为推动我国经济和科技开展的重要力量。1.3“大数据〞的特征“大数据〞具有4V的特点：一是数据容量巨大（Volume）。国际数据公司（IDC）的研究报告称，2011年全球被创立和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量。二是数据类型众多（Variety）。相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。三是数据价值密度低（Value）。举例而言，在一个连续监控三个小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常快（Velocity）。一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。在此基础上，阿里巴巴延伸至3个维度—可实时性、可解释性、数据准确性稳定性，这三个维度是决定数据是否有价值的关键。1.4“大数据〞的开展阶段每种技术都有自己的生命周期，Gartner曾经指出新技术生命周期的5个阶段，即技术萌芽期（technologytrigger）、期望膨胀期（PeakofInflatedExpectations）、泡沫化的谷底期（ThroughofDisillusionment）、稳步爬升的光明期（SlopeofEnlightement），最后才能进入成熟使用期（PlateauofProductivity）。如下列图1-1所示图1-1大数据生命周期图而大数据正是出于期望膨胀期，预计通过近两年的开展，大数据将会在2016年到达泡沫化的低谷期，之后在5-10年的时间内经历稳步爬上的光明期，到2020年后将会到达实质的成熟使用期。1.5“大数据〞带来的机遇（1）新一代信息技术融合应用新焦点对大数据的处理和分析正成为未来新一代信息技术融合应用的核心支撑结点。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。以大数据为结点，各项新一代信息技术应用产生的信息将不断聚集，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反应或交叉反应到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。（2）信息产业持续高速增长的新引擎大数据因其巨大的商业价值和市场需求正在推动着信息产业持续高速增长。随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新效劳、新业态将会不断涌现，大数据将为信息产业翻开一个高增长的新市场。在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理效劳器、内存计算等市场。在软件与效劳领域，因为大数据中蕴含的巨大价值，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。（3）用户提升竞争能力的新动力对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。企业的决策正在从“业务驱动〞转变为“数据驱动〞。在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距。真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持；在效劳行业，对大数据的分析可以帮助企业为消费者提供更加及时和个性化的效劳；甚至在公共事业领域，大数据也开始发挥促进经济开展、维护社会稳定等不可小觑的重要作用。（4）推动商业模式的创新对于海量数据而言，提供髙附加价值的数据分析效劳，将数据封装为效劳形成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的关键所在。对于政府和企业而言，至少可以实践4种商业模式的创新。第一是客户关系管理的创新，通过大数据分析可以根据客户的属性，从不同角度深层次分析客户、了解客户，推出新的客户关系管理平台，以增加新的客户，提高客户的忠诚度，降低客户流失率。第二是企业经营决策指导的创新。企业可以利用用户数据，有效提升资源利用能力，提高决策的准确性，从而提升整体运营效率。如，沃尔玛通过分析客户购置产品的种类组合，适时推出产品联合促销信息，以提升产品的销量。第三是个性化精准推荐。企业根据用户喜好推荐各类产品和业务，如淘宝根据分析客户的检索数据，适时向客户推送相关产品的广告信息。第四是创新社会管理。政府可以将大数据运用到交通、应对突发灾害、维稳等领域中。如，在大数据的帮助下，什么时间段、哪条路拥堵等问题，都可以通过分析得知，通过同一条路上多个用户的手机位移速度，便可以判断当时的路况，为拥堵做出准确预警。2“大数据〞的关键技术“大数据〞已经不仅是数据大这一事实了，更重要的是要对大数据进行分析以获取更多智能、深入和有价值的信息。而随着“大数据〞在越来越多的领域得到应用，“大数据〞也变得越来越复杂，因此“大数据〞处理技术在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。大数据应用分析结果需要经过数据采集、预处理、存储、分析和挖掘等多多个环节才能最终呈现出来。2.1“大数据〞的采集和预处理在数据分析界有着一个“拇指法则〞，即数据分析工作至少有70%~80%的时间都花在搜集和准备数据上，而仅有20%~30%的时间花在分析本身上。随着新技术采集手段的出现，数据来源和数据类型变得丰富多彩，企业和机构采集数据首先需要明确所需的数据内容，并制定好数据分类存储规则，以便更有效的采集数据。按照数据所有者划分，企业数据采集源可以分成3类：一类是企业和机构的内部数据，如系统日志、生产经营数据等；一类是合作机构的内部数据，可以通过设定好企业与合作机构的系统接口进行采集；还有一类是大量的网络公开数据，可以通过网络爬虫或者网站公开的应用开发接口（API）将所需信息从网页中采集出来。目前一些互联网企业和开源社区开发的海量数据采集工具，如Facebook的日志采集工具Scribe、淘宝的实时数据传输平台TimeTunnel等，均已能够满足每秒数百MB的日志数据采集和传输需求。下面就物联网及社交网络这两个“大数据〞的新型来源进行简单的介绍。（1）“大数据〞与物联网物联网是一个信息技术领域的热词，其本质是传感器技术进步的产物。遍布大街小巷的摄像头，是大家可以直观感受到的一种物联网形态。事实上，传感器几乎无处不在，现在大家常用的智能手机中，就包括重力感应器、加速度感应器、距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。这些不同类型的传感器，无时无刻不在产生大量的数据，这些成为大数据的重要来源之一。妥善的利用这些数据可以监测大气的温度、压强、风力，监测桥梁、矿井的平安，监测飞机、汽车的行驶状态等。（2）“大数据〞与社交网络社交网络是互联网开展史上一个重要的里程碑。它把人类真实的人际关系完美地映射到互联网空间，并借助互联网的特性而大大升华。社交网络使得互联网甚至具备某些人类的特质，譬如“情绪〞：人们分享各自的喜怒哀乐，并相互传染传播。社交网络为“大数据〞带来一类最具活力的数据类型，人们的喜好和偏爱。由于现实采集的数据与大数据分析过程中所需的数据，会存在结构不一致或不完整的情况，大数据预处理过程可以通过数据提取、转换和加载等操作，对采集的数据进行初步的组织和数量，从而提高大数据分析质量和效率。2.2“大数据〞存储技术大数据存储需要满足海量存储、平安存储和快速读取的要求。其中海量存储包含数据容量和数据文件量两个方面，为保障系统存储容量能够以较低本钱存储海量数据并能实现快速平滑扩展，分布式存储和存储虚拟化技术被广泛采用；为更好的对系统中海量文件进行有效管理，将数据传输和数据控制别离开的对象存储架构应用广泛。为了保障数据平安存储不丧失，大数据存储过程中会采用加密等平安技术，同时会对数据进行数次备份。为了支持数据的快速读取和并发访问，分布式存储和对象存储架构将会更有效。目前应用广泛的大数据海量文件存储技术主要有谷歌文件系统（GFS）和基于GFS开展的开源Hadoop分布式文件系统（HDFS）等。一些大型网站将“数据〞视为最核心的资产，他们甚至花费高昂的费用来保管这些数据，以便加快用户的访问速度。谷歌公司购置了单独的水力发电站，为其庞大的数据中心提供充足的电力。2.3“大数据〞分析技术当大数据的采集和存储已经完成，如何分析数据，将这些碎片化的数据系统化，在无序的数据和信息世界里寻找有序的连接，挖掘到可应用的价值，是真正驾驭大数据的重要环节。大数据的分析技术，大致包括5个根本方法理论技术：可视化分析可视化分析能够直观的呈现大数据特点，简单明了易于接受。数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式能更加科学的呈现出数据本身具备的特点，而这些数据挖掘的算法能够快速的处理大数据。预测性分析能力大数据分析最重要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。（4）语义引擎大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。（5）数据质量和数据管理大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理能够保证分析结果的真实和有价值。2.4“大数据〞与云计算对于许多组织来说，“大数据〞对存储容量的需求已经超出目前的存储能力。我们正处于PB级存储时代，而EB及存储时代也即将到来。大容量的存储不但要求系统具备在原有数据存储规格上进行扩展的能力，还要简单快速的进行扩展。云计算就为“大数据〞的诞生提供了集中采集数据和存储数据的基础。云计算的出现改变了数据的存储和访问方式，在云计算出现之前，数据大多分散保存在每个人的个人计算机中、每家企业的效劳器中。云计算，尤其是公用云计算，把所有的数据集中存储到“数据中心〞，也即所谓的“云端〞，用户通过浏览器或者专用应用程序来访问。一些大型的网站，通过提供基于“云〞的效劳，积累大量的数据，成为事实上的“数据中心〞，这为“大数据〞诞生奠定了基础。而云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持“大数据〞存储和处理需求。这样的低本钱硬件+低本钱软件+低本钱运维，更加经济和实用，也使得“大数据〞处理和利用成为可能。可以说云计算为“大数据〞提供了存储空间和访问渠道，“大数据〞则是云计算的灵魂和必然的开展方向。而近年来国内各地也兴起了建设云计算基地的风潮，客观上为“大数据〞在我国的推广和应用准备了必备的储存空间和访问渠道。3大数据产业的应用3.1大数据产业“大数据〞的应用能带来巨大的经济价值和社会价值，对于产业开展而言，“大数据〞可以实现应用创新、降低行业内的生产本钱并创造新的产业价值。咨询机构麦肯锡最早提出“大数据时代已经到来〞，在2012年发布的《大数据：创新、竞争和生产力的下一个领域》文章上说明，在零售业、制造业、医疗卫生和公共部门，“大数据〞可以加快产业规模的增长速度，降低生产运营本钱；对于企业而言，采用“大数据〞可以提升企业的竞争力，改善企业的营销规划，客户定位，产品创新、工作流程优化、人力资源管理、物理管理和风险控制等多方面的能力。目前，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。对于“大数据〞产业，政府与公共事业部门、行业企业、个人消费者是其的最终用户。在政府与公共事业领域，“大数据〞可以应用到城市规划、公共平安、公共交通、舆情管理等社会管理和民生效劳领域，带来效率提升、响应速度加快、效劳水平提高、管理本钱下降等诸多效益。对于行业企业，“大数据〞可以应用到产品研发设计、生产运作管理、供给链管理、客户关系管理、企业品牌营销等各个环节，能够帮助企业准确把握市场需求变动、提高产品设计与生产效率、提高供给链的敏捷性和准确性、实现个性化精准营销，同时也促进IT技术的创新。对于个人消费者，通过“大数据〞的应用效劳将使信息变得更加泛在，从家庭生活、出行、消费、娱乐、旅游、学习等方方面面拓展民众生活空间、提高民众的生活品质。总结以往，“大数据〞的应用价值可以分为感知现在和预知未来两局部。感知现在通过对历史数据和当前数据的融合，以及潜在模式挖掘，力求到达对事物对群体与社会开展当前状态进行更全面、更精确、更理性的认知。这种认知可以是宏观的，也可以是微观的。宏观方面可以对PB级社会媒体数据、百亿级日志数据继续拧分析挖掘，掌握宏观现状，如环境指数，健康指数等。在微观方面可以利用PB级的日志数据和EB级的监控数据，挖掘潜在线索，如犯罪行为轨迹等。预测未来通过对“大数据〞彼此之间的关联分析，演化态势和效应的判定与调控，揭示事物开展的演变规律，进而对是事物开展趋势进行预测。如基于twitter等网上公开数据的实时感知、动态获取与综合分析，结合仿真调控，预测大选结果；联合国“全球脉动〞利用网络大数据预测失业率与疾病爆发等现象，利用数字化的早起预警信号来提前指导援助工程，以免某个脱贫地区重新陷入贫困。这些都说明了正确的大数据应用对于准确预测事件开展趋势具有重大的价值，人们可以给予“大数据〞更好的进行科学决策和事前准备，未来“大数据〞预测技术将会更广泛的运用到人们的日常生活中，变革人们的生活。3.2“大数据〞在典型领域中的应用当前“大数据〞已经在物理学、生物学、环境生态学等领域，以及军事、金融、通讯等行业有所应用并带来了巨大的产业价值。以下本文将举出实际案例以介绍“大数据〞在各个领域的具体应用。在IT领域，一个典型的案例就是eBay通过数据分析技术可以精确计算出广告中的每一个关键字为公司带来的回报，通过对广告投放的优化，自2007年以来eBay产品销售的广告费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。在经济领域，大数据在经济领域的应用可以通过这样一个有趣的案例进行说明，社交媒体检测平台DataSift检测了社交网络Facebook首次公开募股当天Twitter上的情感倾向与Facebook股价波动的关联。在Fcebook开盘前，Twitter上的情感逐渐转向负向，25分钟之后twitter的股价就开始下跌，当twitter上的情感转向正面时，Facebook的股价在8分钟后也开始回弹，最终当股市接近收盘，twitter上的情感转向负面时，10分钟口Facebook的股价又开始下跌，该机构得出结论，Twitter上每一次情感倾向的转向都会Facebook股价的波动高度关联。这证实以大数据预测未来股价走向的典型案例。气象预测方面，一家美国公司把气象数据放在亚马逊的“云平台〞上进行处理，以及时提供气象预报的方式，保证当地的农牧业主在特定的地区以及特定的季节不会遭受天气灾害，由此获得了丰厚的利润。智能交通方面，根据路网监控，火车票及飞机票的预定，以及网上地图查询记录，能够提前预测某个城市的出行人数的大致规模，再结合交通部门的其他信息，便可以预测出群体出行的态势，对其可能的出行时间、出行路线、出行方式等进行预测，从而为城市交通调度提供决策帮助。军事领域，美国“2049工程研究所〞于2008年在华盛顿成立，2010年它利用网络上公开的数据和资料，分析和预测我国在军事和经济领域的平安问题，发布了一份名为《中国核弹头存放和使用系统》的报告，称在陕西、江西、四川等地发现了中国的核武器基地，甚至还精确到了核基地所在的市县名称。2013年3月，他们还发布了一份关于中国无人机工程的研究报告，较全面的分析了中国无人机的研制、开展、装备以及作战部署情况。以上都是“大数据〞在一些实际领域的应用，未来“大数据〞将会在更多的领域得到应用，决策行为将会基于数据分析做出，通过对数据的整理和分析，政府和企业能够预测个体下一步的需求，进而提供更加智能与高效率的管理和效劳。3.3智慧城市：立体的大数据生态系统智慧城市是城镇化开展的高级阶段，是城市信息化的新形式，是现代城市开展的愿景。智慧城市在产生大数据的同时，“大数据〞也支撑着智慧城市的建设和开展，而智慧城市的衡量指标是由“大数据〞表达的。“大数据〞挖掘对智慧城市的经济开展和社会管理是无形的生产资料，“大数据〞合理利用将创造巨大财富。在未来，大数据将成为维护城市运行的根本要素，智慧城市在“大数据〞的支撑下，成为立体的大数据生态系统，促进城市的开展。3.3.1智慧城市的产生随着城市规模的增大、城市人口的增多，人们对住房、教育、交通、医疗保险等的需求的也在不断膨胀。诸如高房价、堵车、雾霾等“城市病〞也越来越多，传统的管理手段已变得捉襟见肘，而信息化可以说是抗击“城市病〞的有效手段。伴随着网络帝国的崛起、移动技术的融合开展以及创新的民主化进程，知识社会环境中的智慧城市是继智能城市之后信息化城市开展的高级形态。利用城市管理中产生的大量信息与数据，积极促进城市机构之间的实时沟通和协助，分析原因，制定对策，有效平衡社会、商业和环境开展需要，优化现有的可用资源，以最优化的方式为城市公民提供全面又超前的效劳，积极提高公民的生活幸福感—这种高效、智能且可持续的城市管理被称为智慧城市。可以说大数据是智慧城市实现智慧化的关键支撑，成为驱动智慧城市开展的动力。智慧城市采用以物联网、云计算、大数据等为核心的新一代信息技术，集成城市的组织（人）、业务（政务）、交通、通信、能源等城市运行中的各个核心系统，使整个城市成为以一种更有智慧的方式运行的宏大的智慧城市系统，对保障城市正常运行的每个系统进行全面的监测、管理、预警和处置，快速、智能地响应城市管理者和市民的各种需求，提高城市运行效率，提高政府决策力。建设智慧城市是城市开展的新范式和新战略，是当今世界城市开展的趋势和特征。建设智慧城市对抗击“城市病〞具有强烈的现实意义。首先智慧化运营通过运用来自城市多个部门的信息，进行数据聚集和标准化后，识别出相关的重要事件，以提升效劳质量。其次，智慧化运营能够预测城市开展的问题与危机，最大限度降低对城市居民的影响。如通过可视化重要事件和警报、地理信息等数据，识别出模式和趋势，保证行动有依据，主动触发预设的预案以加快响应，减少效劳中断概率，防止城市内大型事故扩大升级，减少灾害的影响。最后，智慧城市可实现通过协调不同部门的资源，以提高更快、更有效的影响。“大数据〞的智慧化帮助管理者跨部门决策、协调，提高公共效劳交付效率，减少应对突发灾害的响应时间。3.3.2全球智慧城市的实践全球在智慧城市的实践中展现了各自不同的设计理念：美国在智慧城市建设方面选择智能电网进行突破，注重于商业机构的合作，利用UrbanSim等智能化的城市仿真系统对城市空间开展进行优化。在美国2009年的经济复苏方案中，有项高达110亿美元的投资，用于建设可安装各种控制设备的新一代智能电网。日本在2009年7月推出“智慧日本战略2015〞，旨在将数字信息技术融入生活的方方面面，聚焦于电子化政府治理、医疗健康信息效劳、教育与人才培养3大公共事业。韩国政府于2004年提出了“U-韩国〞开展战略，经过多年的实践，首尔、釜山等一些城市已进入“泛在城市〞时代。“泛在城市〞以“建设尖端信息城市，提高市民生活质量和城市竞争力〞为目标，利用无线传感器网络，实现对城市设施、平安、交通、环境等方面的智能化管理和控制。根据国际数据公司预计，2011年，全球新型智慧城市信息技术的市场规模到达340亿美元，并将以每年超过18%的速度增长，到2014年将到达570亿美元。3.3.3.中国智慧城市2012年11月，住房和城乡建设部办公厅发布《关于开展国家智慧城市试点工作的通知》，将建设智慧城市作为贯彻党中央、国务院关于创新驱动开展、推动新型城镇化、全面建成小康社会的重要举措，要求各地高度重视，抓住机遇，通过积极开展智慧城市建设，提升城市管理能力和效劳水平，促进产业转型开展。截至2012年7月，中国共有150多个城市提出建设或正在建设智慧城市，其中，北京、上海、广州等城市是智慧城市创立进程的领跑者。总体上说，中国东部地区智慧城市建设重点在于以信息技术促进转变经济开展方式，提高社会管理水平，提升城市竞争力，塑造城市品牌。中西部地区智慧城市的建设更加注重对城市的宣传推广作用，力争通过智慧城市建设促进投资软硬件环境的改善，加强招商引资。中国智慧城市建设分为前期基础设施建设、中期数据处理设施建设和后期的效劳平台建设。就智慧城市的建设内容来看，一方面是加强城市基础通信网络建设，提高通信网络带宽及覆盖率；另一方面是在一个云计算平台之上提供智慧应用效劳，如智慧交通、智慧医疗等。相关的建设涉及通信设备制造企业、系统集成企业、数据采集分析企业、通信运营商和数据效劳企业，对整个产业链将起到巨大的拉动作用。中国智慧城市建设有三种模式：一种是以物联网产业开展为驱动的建设模式，如天津、广州等；一种是以信息基础设施建设为先导的建设模式，如上海、南京等；一种是以社会效劳与管理应用为突破口的建设模式，如北京、武汉等。在中国智慧城市建设中，应当注意以下几点：（1）要因城而异，不能照搬西方的模式。智慧城市建设目标确实立要符合城市当前的开展阶段，解决居民最迫切需要解决的问题，走出中国智慧城市建设的差异化道路。（2）注重政府统筹，打破行业、地域壁垒，建立智慧城市大数据的共建共享机制。（3）大力推动智慧城市的创新应用，实现创新示范工程应用的落地。（4）完善智慧城市建设中大数据信息平安的基础建设及管理体制，从技术、管理和法律等多方面保证智慧城市建设的正常运行。4问题与挑战“大数据〞对社会的好处是无穷无尽的，它在一定程度上解决可迫在眉睫的全球问题，如处理气候变化、铲除疾病等，然而“大数据〞在带来大知识、大开展、大价值的同时，也潜藏着巨大的风险。4.1数据质量真实准确是数据的生命，组织如果没有能力获得真实数据，数据规模再大、数据分析技术再先进也是徒劳。另外由于受到城乡差异、地域差异等的影响，社会上弱势群体的信息占有和表达处于弱势，这就造成了数据鸿沟的存在。而数据造假、数据鸿沟等问题在大数据时代依然存在，偏见和盲区存在于大数据中，大数据得出的结论并不是完全客观、准确的，它并不能提供价值判断，也不能完全取代人的经验和直觉。认清这个事实，能够帮助我们在运用大数据的过程中，更科学的解读数据。4.2数据平安数据平安在大数据时代也同样面临挑战。大数据开展的趋势往往与加大信息开放、设计新的信息收集设备以及为海量数据的庞大存续和分析需求提供支持的云计算等如影随形。带来的副作用是IT基础架构将变得越来越一体化和外向型，对数据平安和知识产权构成更大风险。4.3用户隐私与便利性的冲突“大数据〞对个人信息获取渠道的拓宽的需求引发了另一个重要问题：隐私和便利性之间的冲突。研究说明，消费者受惠于海量数据：更低的价格、更符合消费者需要的商品，以及从改善健康状况到提高社会互动顺畅度等生活质量的提高。但同时，随着个人购置偏好、健康和财务情况的海量数据被收集，人们对隐私的担忧也在增大。这需要政府和企业从政策、技术和法律等多个方向进行思考和应对。4.4庞大能耗向来被人们认为是绿色环保的信息产业其实是污染和耗能大户，调查结果发现，数据中心浪费的电力高达总能耗的90%以上。业内专家估计，全球范围内所有数据中心的总功率高达3000万千瓦，几乎等于30座核电站的发电量。尽管现在已经有许多方法帮助数据中心降低能耗，但出于对风险的恐惧，多数公司不愿作出任何改变。目前，中国多个地区已经开始或方案兴建大型数据中心，在建设过程中应提前考虑能耗问题，以免重蹈覆辙。4.5数据分析与管理人才紧缺人才是大数据带来的挑战之一。研究说明，单单在美国，对拥有深厚的海量数据分析（包括机器学习和高级统计分析）技能人才的需求，可能超出目前预测供给量的50-60%。到2018年，需要新增多达14-19万名专家。此外，还需要150万名熟悉如何应用海量数据的管理者和分析员。企业和政府必须加大招聘和人才挽留力度，同时大力投入关键数据人员的教育和培训。4.6跟风现象较为严重目前大数据应用市场还没有很大，要等到数据、技术和系统的准备有了一定的突破之后才会出现飞速的开展，但是从现在工业界开展的情境看来，很多企业出现了跟风上工程、跟风卖产品的现象。在现今“大数据〞的开展情境看来，政府和企业要做到结合行业和产业的特点进行整体的规划，之后逐步实施，做到不慌张、不跟风也不要坐失良机。4.7缺少技术创新水平较高的互联网公司从全球来看，大数据技术创新水平分布极不均衡，如谷歌、Facebook、IBM公司的技术遥遥领先于我国企业，总体来说，国际形成了“原创技术-开源软件-商用产品〞的技术创新链条，并以此为基础初步衍生了从存储和计算平台、数据分析软件到大数据云效劳的产业生态。我国未来大数据的开展必然会受到技术水平的影响，如何加大创新投入力度，提高我国大数据技术水平成为未来我国大数据产业开展的一大问题。5对大数据产业开展的建议展望未来，大数据开展的序幕刚刚拉起，冷静的思考是十分必要的，大数据在更多领域落地实施还是要经历一个较长期的过程，而在这个过程中离不开政府、企业和公民的共同努力。5.1政府方面“大数据〞是立足全局、面向未来的重大战略，将为中国创造社会经济创新开展的重要机遇，将引领公共管理与效劳的变革。实施大数据战略，对于政府部门来说，不仅意味着要上马多少高新科技工程，更意味着要调整自身运作的机制，进行一次政府理念的创新，政府职能的转变、政府流程的再造。（1）政府要成为“大数据〞的实践者，积极推动大数据的全面落地，在领导意识、组织文化、组织结构和工作流程等各方面的整体优化，鼓励率先在政府部门和公共事务中推动“大数据〞的应用，更好的增强效劳能力，树立更加开放、透明、负责、高效的政府形象。（2）政府部门作为“大数据〞的实践者应该建构一套数据系统，这个数据系统需要包括3个必备因素：天上有云（云平台）、地上有网（物联网、泛在网）、中间有数（数据）。所谓天上有云就是建立政府云平台，把离散在指挥中心、公安、交通等单位的信息资源，聚合成集预案库、知识库、专家库、案例库队伍库、地理信息库为一体的应急信息资源云，通过统一指挥调度，在各类突发事件的处理过程中为各级指挥人员提供决策支持。应用云平台不仅能有效协调政府资源和行动，还能在政府部门之间共享数据效劳，防止重复投资，提高计算资源利用率。共享和联动是云平台的关键词，也是让大数据真正落地实施的突破口。而做到地上有网的关键是