“大数据”的认识与思考22

“大数据”的认识与思考22

“大数据”的认识与思考

刘姝祎

目录

1“大数据”的时代背景.................................................3

1.1“大数据”的概念..............................................3

1.2“大数据”产生的背景..........................................3

1.3“大数据”的特征..............................................3

1.4“大数据”的进展阶段.........................................4

1.5“大数据”带来的机遇..........................................5

2“大数据”的关键技术.................................................7

2.1“大数据”的采集与预处理.....................................7

2.2“大数据”存储技术..........................................8

2.3“大数据”分析技术...........................................8

2.4“大数据”与云计算............................................9

3大数据产业的应用.................................................10

3.1大数据产业.................................................10

3.2“大数据”在典型领域中的应用................................11

3.3智慧城市：立体的大数据生态系统.............................12

3.3.1智慧城市的产生........................................12

3.3.2全球智慧城市的实践...................................13

3.3.3.中国智慧城市.........................................14

4问题与挑战.......................................................16

4.1数据质量...................................................16

4.2数据安全...................................................16

4.3用户隐私与便利性的冲突.....................................16

4.4庞大能耗...................................................16

4.5数据分析与管理人才紧缺.....................................17

4.6跟风现象较为严重...........................................17

4.7缺少技术创新水平较高的互联网公司...........................17

5对大数据产业进展的建议...........................................18

5.1政府方面...................................................18

5.2企业方面...................................................19

5.3公众方面...................................................20

1“大数据”的时代背景

1.1“大数据”的概念

1.2“大数据”产生的背景

大数据的应用与技术是在互联网快速进展中诞生的，起点可追溯到2000年

前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底

全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆

盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互

联网的效率，这是大数据应用的起点。当时搜索引擎要存储与处理的数据，不仅

数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌

提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统

(GFS,GoogleFileSystem)、分布式并行计算(MapReduce)与分布式数据库

(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠

定了当前大数据技术的基础，能够认为是大数据技术的源头。

伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向

广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社

会开始重新审视数据的巨大价值，因此金融、电信等拥有大量数据的行业开始尝

试这种新的理念与技术，取得初步成效。与此同时，业界也在不断对谷歌提出的

技术体系进行扩展，使之能在更多的场景下使用。2011年，麦肯锡、世界经济

论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一

股大数据热潮。

2012年3月，美国政府公布《大数据研究与进展计划》，同时组建大数据高

级指导小组，以协调政府在数据领域的两亿多美元投资。根据这一计划，美国希

望利用大数据技术再多个领域实现突破，包含科研教学、环境保护、国土安全等,

此举标志着，美国把应对大数据技术革命带来的机遇与挑战，提高到国家战略层

面，形成了全体动员格局。随后，英国、法国、日本等各国都相继将大数据计划

作为国家战略型计划提上日程。值得一提的是，由中国各级政府主导的大数据计

划也已经全面展开，“大数据”已成为推动我国经济与科技进展的重要力量。

1.3“大数据”的特征

“大数据”具有4V的特点：一是数据容量巨大(Volume)。国际数据公司

（IDC）的研究报告称，2011年全球被创建与被复制的数据总量为1.8ZB（2的

70次方），并预测到2020年，全球将拥有35ZB的数据量。二是数据类型众多

（Variety）»相关于过往以文本形式为主的结构化数据，大数据时代的数据类型

涵盖了图片、音频、视频、网络日志与地理位置信息等种类繁多的半结构化与非

结构化数据。三是数据价值密度低（Value）。举例而言，在一个连续监控三个

小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四

是处理数据的速度要求非常快（Velocity）。一方面，面对如此巨大的数据量，处

理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反

应。在此基础上，阿里巴巴延伸至3个维度一可实时性、可解释性、数据准确性

稳固性，这三个维度是决定数据是否有价值的关键。

1.4“大数据”的进展阶段

每种技术都有自己的生命周期，Gartner曾经指出新技术生命周期的5个阶

段，即技术萌芽期（technologytrigger）、期望膨胀期（PeakofInflated

Expectations泡沫化的谷底期（ThroughofDisillusionment）、稳步爬升的光明

期（SlopeofEnlightement）,最后才能进入成熟使用期（PlateauofProductivity）。

如下图1-1所示

expectations3DPrinting

BYOD

AWirelessPower

/HybridCloudComputingComptex-EventProcessing

SocialAnalytics

HTML5

PrivateCloudComputing

GamificationApplicationStores

BigDataAugmentedReality

CrowdsourcingIn-MemoryDatabaseManagementSystems

Speech-to-SpeechTranslationActivityStreams

SiliconAnodeBatteriesInternet

TVNFCPayment

Natural-LanguageQuestionAnsweringAudioMinmg/SpeechAnalytics

IInternetofThings

IMobileRobotsCloudComputing

Machine-to-MachineCommunicationServices

AutonomousVehiclesMeshNetworks:Sensor

3DScanners

GestureControlPredictiveAnalytics

AutomaticContentRecognition

SpeechRecognition

ConsumerTelematics

IdeaManagement

VolumetricandHoloaraphicDisplays

BiometricAuthenticationMethods

13DBioprintingIn-MemoryAnalytics

Consumerization

QuantumComputing

TextAnalytics

HumanAugmentationMediaTablets

HomeHealthMonitoringMobileOTAPayment

HostedVirtualDesktops」

VirtualWorlds一

AsofJuly2012

TechnologyTroughofPlateauof

亡鬻方SlopeofEnlightenment

港8ExpectsDisillusionmentProductivity

time

Plateauwillbereachedin:,ohsolet^."

Olessthan2yearsO2to5years•5to10years△more由以？屿^二£。出仆6伙算圆庇4。U0

图1-1大数据生命周期图

而大数据正是出于期望膨胀期，估计通过近两年的进展，大数据将会在2016

年达到泡沫化的低谷期,之后在5-10年的时间内经历稳步爬上的光明期，到2020

年后将会到达实质的成熟使用期。

1.5“大数据”带来的机遇

（1）新一代信息技术融合应用新焦点

对大数据的处理与分析正成为未来新一代信息技术融合应用的核心支撑结

点。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的

应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大

数据提供存储与运算的支撑平台。以大数据为结点，各项新一代信息技术应用产

生的信息将不断汇合，并通过对不一致来源数据的统一性、综合性的处理、分析

与优化，将结果反馈或者交叉反馈到物联网、移动互联网、数字家庭、社会化网

络等应用中，又进一步改善使用体验，并制造出巨大的商业价值、经济价值与社

会价值。

（2）信息产业持续高速增长的新引擎

大数据因其巨大的商业价值与市场需求正在推动着信息产业持续高速增长。

随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据

市场的新技术、新产品、新服务、新业态将会不断涌现，大数据将为信息产业打

开一个高增长的新市场。

在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑

战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、

内存计算等市场。在软件与服务领域，由于大数据中蕴含的巨大价值，带来对数

据快速处理与分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。

（3）用户提升竞争能力的新动力

对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。企业

的决策正在从“业务驱动”转变为“数据驱动”。在未来3到5年，我们将会看

到那些真正懂得大数据并能利用大数据进行价值挖掘的企业与不懂得大数据价

值挖掘企业之间的差距。真正能够利用好大数据、并将其价值转化成生产力的企

业必将具备强劲有力的竞争优势，从而成为行业的领导者。在零售行业，对大数

据的分析能够使零售商实时掌握市场动态并迅速做出应对；在互联网行业，对大

数据的分析能够为商家制定更加精准有效的营销策略提供决策支持；在服务行

业，对大数据的分析能够帮助企业为消费者提供更加及时与个性化的服务；甚至

在公共事业领域，大数据也开始发挥促进经济进展、保护社会稳固等不可小觑的

重要作用。

（4）推动商业模式的创新

关于海量数据而言，提供高附加价值的数据分析服务，将数据封装为服务形

成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的

关键所在。关于政府与企业而言，至少能够实践4种商业模式的创新。第一是客

户关系管理的创新，通过大数据分析能够根据客户的属性，从不一致角度深层次

分析客户、熟悉客户，推出新的客户关系管理平台，以增加新的客户，提高客户

的忠诚度，降低客户流失率。第二是企业经营决策指导的创新。企业能够利用用

户数据，有效提升资源利用能力，提高决策的准确性，从而提升整体运营效率。

如，沃尔玛通过分析客户购买产品的种类组合，适时推出产品联合促销信息，以

提升产品的销量。第三是个性化精准推荐。企业根据用户喜好推荐各类产品与业

务，如淘宝根据分析客户的检索数据，适时向客户推送有关产品的广告信息。第

四是创新社会管理。政府能够将大数据运用到交通、应对突发灾害、维稳等领域

中。如，在大数据的帮助下，什么时间段、哪条路拥堵等问题，都能够通过分析

得知，通过同一条路上多个用户的手机位移速度，便能够推断当时的路况，为拥

堵做出准确预警。

2“大数据”的关键技术

“大数据”已经不仅是数据大这一事实了，更重要的是要对大数据进行分析

以获取更多智能、深入与有价值的信息。而随着“大数据”在越来越多的领域得

到应用，“大数据”也变得越来越复杂，因此“大数据”处理技术在大数据领域

就显得尤为重要，能够说是决定最终信息是否有价值的决定性因素。大数据应用

分析结果需要通过数据采集、预处理、存储、分析与挖掘等多多个环节才能最终

呈现出来。

2.1“大数据”的采集与预处理

在数据分析界有着一个“拇指法则”，即数据分析工作至少有70%~80%的时

间都花在搜集与准备数据上，而仅有20%~30%的时间花在分析本身上。随着新

技术采集手段的出现，数据来源与数据类型变得丰富多彩，企业与机构采集数据

首先需要明确所需的数据内容，并制定好数据分类存储规则，以便更有效的采集

数据。按照数据所有者划分，企业数据采集源能够分成3类：一类是企业与机构

的内部数据，如系统日志、生产经营数据等；一类是合作机构的内部数据，能够

通过设定好企业与合作机构的系统接口进行采集；还有一类是大量的网络公开数

据，能够通过网络爬虫或者者网站公开的应用开发接口(API)将所需信息从网

页中采集出来。目前一些互联网企业与开源社区开发的海量数据采集工具，如

Facebook的日志采集工具Scribe、淘宝的实时数据传输平台TimeTunnel等，均

己能够满足每秒数百MB的日志数据采集与传输需求。

下面就物联网及社交网络这两个“大数据”的新型来源进行简单的介绍。

(1)“大数据”与物联网

物联网是一个信息技术领域的热词，其本质是传感器技术进步的产物。遍布

大街小巷的摄像头，是大家能够直观感受到的一种物联网形态。事实上，传感器

几乎无处不在，现在大家常用的智能手机中，就包含重力感应器、加速度感应器、

距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。这些不一

致类型的传感器，无时无刻不在产生大量的数据，这些成为大数据的重要来源之

一。妥善的利用这些数据能够监测大气的温度、压强、风力，监测桥梁、矿井的

安全，监测飞机、汽车的行驶状态等。

(2)“大数据”与社交网络

社交网络是互联网进展史上一个重要的里程碑。它把人类真实的人际关系完

美地映射到互联网空间，并借助互联网的特性而大大升华。社交网络使得互联网

甚至具备某些人类的特质，譬如“情绪”：人们分享各自的喜怒哀乐，并相互传

染传播。社交网络为“大数据”带来一类最具活力的数据类型，人们的喜好与偏

爱。

由于现实采集的数据与大数据分析过程中所需的数据，会存在结构不一致或

者不完整的情况，大数据预处理过程能够通过数据提取、转换与加载等操作，对

采集的数据进行初步的组织与数量，从而提高大数据分析质量与效率。

2.2“大数据”存储技术

大数据存储需要满足海量存储、安全存储与快速读取的要求。其中海量存储

包含数据容量与数据文件量两个方面，为保障系统存储容量能够以较低成本存储

海量数据并能实现快速平滑扩展，分布式存储与存储虚拟化技术被广泛使用；为

更好的对系统中海量文件进行有效管理，将数据传输与数据操纵分离开的对象存

储架构应用广泛。为了保障数据安全存储不丢失，大数据存储过程中会使用加密

等安全技术，同时会对数据进行数次备份。为了支持数据的快速读取与并发访问，

分布式存储与对象存储架构将会更有效。目前应用广泛的大数据海量文件存储技

术要紧有谷歌文件系统（GFS）与基于GFS进展的开源Hadoop分布式文件系统

（HDFS）等。

一些大型网站将“数据”视为最核心的资产，他们甚至花费高昂的费用来

保管这些数据，以便加快用户的访问速度。谷歌公司购买了单独的水力发电站，

为其庞大的数据中心提供充足的电力。

2.3“大数据”分析技术

当大数据的采集与存储已经完成，如何分析数据，将这些碎片化的数据系统

化，在无序的数据与信息世界里寻找有序的连接，挖掘到可应用的价值，是真正

驾驭大数据的重要环节。大数据的分析技术，大致包含5个基本方法理论技术：

（1）可视化分析

可视化分析能够直观的呈现大数据特点，简单明了易于同意。

（2）数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各类数据挖掘的算法基于不一致

的数据类型与格式能更加科学的呈现出数据本身具备的特点，而这些数据挖掘的

算法能够快速的处理大数据。

（3）预测性分析能力

大数据分析最重要的应用领域之一就是预测性分析，从大数据中挖掘出特

点，通过科学的建立模型，之后便能够通过模型带入新的数据，从而预测未来的

数据。

（4）语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、

或者其他输入语义，分析，推断用户需求，从而实现更好的用户体验与广告匹配。

（5）数据质量与数据管理

大数据分析离不开数据质量与数据管理，高质量的数据与有效的数据管理能

够保证分析结果的真实与有价值。

2.4“大数据”与云计算

关于许多组织来说，“大数据”对存储容量的需求已经超出目前的存储能力。

我们正处于PB级存储时代，而EB及存储时代也马上到来。大容量的存储不但

要求系统具备在原有数据存储规格上进行扩展的能力，还要简单快速的进行扩

展。

云计算就为“大数据”的诞生提供了集中采集数据与存储数据的基础。云计

算的出现改变了数据的存储与访问方式，在云计算出现之前，数据大多分散储存

在每个人的个人计算机中、每家企业的服务器中。云计算，特别是公用云计算，

把所有的数据集中存储到“数据中心”，也即所谓的“云端”，用户通过浏览器或

者者专用应用程序来访问。一些大型的网站，通过提供基于“云”的服务，积存

大量的数据，成为事实上的“数据中心”，这为“大数据”诞生奠定了基础。而

云计算及其技术给了人们廉价获取巨量计算与存储的能力，云计算分布式架构能

够很好地支持“大数据”存储与处理需求。这样的低成本硬件+低成本软件+低

成本运维，更加经济与有用，也使得“大数据”处理与利用成为可能。能够说云

计算为“大数据”提供了存储空间与访问渠道，“大数据”则是云计算的灵魂与

必定的进展方向。而近年来国内各地也兴起了建设云计算基地的风潮，客观上为

“大数据”在我国的推广与应用准备了必备的储存空间与访问渠道。

3大数据产业的应用

3.1大数据产业

“大数据”的应用能带来巨大的经济价值与社会价值，关于产业进展而言，

“大数据”能够实现应用创新、降低行业内的生产成本并制造新的产业价值。咨

询机构麦肯锡最早提出“大数据时代已经到来”，在2012年公布的《大数据：创

新、竞争与生产力的下一个领域》文章上说明，在零售业、制造业、医疗卫生与

公共部门，“大数据”能够加快产业规模的增长速度，降低生产运营成本；关于

企业而言，使用“大数据”能够提升企业的竞争力，改善企业的营销规划，客户

定位，产品创新、工作流程优化、人力资源管理、物理管理与风险操纵等多方面

的能力。目前，数据已经渗透到当今每一个行业与业务职能领域，成为重要的生

产因素，人们关于海量数据的挖掘与运用，预示着新一波生产率增长与消费者盈

余浪潮的到来。

关于“大数据”产业，政府与公共事业部门、行业企业、个人消费者是其的

最终用户。在政府与公共事业领域，“大数据”能够应用到城市规划、公共安全、

公共交通、舆情管理等社会管理与民生服务领域，带来效率提升、响应速度加快、

服务水平提高、管理成本下降等诸多效益。关于行业企业，“大数据”能够应用

到产品研发设计、生产运作管理、供应链管理、客户关系管理、企业品牌营销等

各个环节，能够帮助企业准确把握市场需求变动、提高产品设计与生产效率、提

高供应链的敏捷性与准确性、实现个性化精准营销，同时也促进IT技术的创新。

关于个人消费者，通过“大数据”的应用服务将使信息变得更加泛在，从家庭生

活、出行、消费、娱乐、旅游、学习等方方面面拓展民众生活空间、提高民众的

生活品质。

总结以往，“大数据”的应用价值能够分为感知现在与预知未来两部分。

(1)感知现在

通过对历史数据与当前数据的融合，与潜在模式挖掘，力求达到对事物对群

体与社会进展当前状态进行更全面、更精确、更理性的认知。这种认知能够是宏

观的，也能够是微观的。宏观方面能够对PB级社会媒体数据、百亿级日志数据

继续拧分析挖掘，掌握宏观现状，如环境指数，健康指数等。在微观方面能够利

用PB级的日志数据与EB级的监控数据，挖掘潜在线索，如犯罪行为轨迹等。

(2)预测未来

通过对“大数据”彼此之间的关联分析，演化态势与效应的判定与调控，揭

示事物进展的演变规律，继而对是事物进展趋势进行预测。如基于twitter等网

上公开数据的实时感知、动态获取与综合分析，结合仿真调控，预测大选结果；

联合国“全球脉动”利用网络大数据预测失业率与疾病暴发等现象，利用数字化

的早起预警信号来提早指导援助项目，以免某个脱贫地区重新陷入贫困。这些都

说明了正确的大数据应用关于准确预测事件进展趋势具有重大的价值，人们能够

给予“大数据”更好的进行科学决策与事前准备，未来“大数据”预测技术将会

更广泛的运用到人们的日常生活中，变革人们的生活。

3.2“大数据”在典型领域中的应用

当前“大数据”已经在物理学、生物学、环境生态学等领域，与军事、金融、

通讯等行业有所应用并带来了巨大的产业价值。下列本文将举出实际案例以介绍

“大数据”在各个领域的具体应用。

在IT领域，一个典型的案例就是eBay通过数据分析技术能够精确计算出广

告中的每一个关键字为公司带来的回报，通过对广告投放的优化，自2007年以

来eBay产品销售的广告费降低了99%,而顶级卖家占总销售额的百分比却上升

至32%。

在经济领域，大数据在经济领域的应用能够通过这样一个有趣的案例进行说

明，社交媒体检测平台DataSift检测了社交网络Facebook首次公开募股当天

Twitter上的情感倾向与Facebook股价波动的关联。在Feebook开盘前，Twitter

上的情感逐步转向负向，25分钟之后twitter的股价就开始下跌，当twitter上的

情感转向正面时，Facebook的股价在8分钟后也开始回弹，最终当股市接近收

盘，twitter上的情感转向负面时，10分钟口Facebook的股价又开始下跌，该机

构得出结论，Twitter上每一次情感倾向的转向都会Facebook股价的波动高度关

联。这证实以大数据预测未来股价走向的典型案例。

气象预测方面，一家美国公司把气象数据放在亚马逊的“云平台”上进行处

理，与时提供气象预报的方式，保证当地的农牧业主在特定的地区与特定的季节

不可能遭受天气灾害，由此获得了丰厚的利润。

智能交通方面，根据路网监控，火车票及飞机票的预定，与网上地图查询记

录，能够提早预测某个城市的出行人数的大致规模，再结合交通部门的其他信息,

便能够预测出群体出行的态势，对其可能的出行时间、出行路线、出行方式等进

行预测，从而为城市交通调度提供决策帮助。

军事领域，美国“2049项目研究所”于2008年在华盛顿成立，2010年它利

用网络上公开的数据与资料，分析与预测我国在军事与经济领域的安全问题，公

布了一份名为《中国核弹头存放与使用系统》的报告，称在陕西、江西、四川等

地发现了中国的核武器基地，甚至还精确到了核基地所在的市县名称。2013年3

月，他们还公布了一份关于中国无人机项目的研究报告，较全面的分析了中国无

人机的研制、进展、装备与作战部署情况。

以上都是“大数据”在一些实际领域的应用，未来“大数据”将会在更多的

领域得到应用，决策行为将会基于数据分析做出，通过对数据的整理与分析，政

府与企业能够预测个体下一步的需求，继而提供更加智能与高效率的管理与服

务。

3.3智慧城市：立体的大数据生态系统

智慧城市是城镇化进展的高级阶段，是城市信息化的新形式，是现代城市进

展的愿景。智慧城市在产生大数据的同时，“大数据”也支撑着智慧城市的建设

与进展，而智慧城市的衡量指标是由“大数据”表达的。“大数据”挖掘对智慧

城市的经济进展与社会管理是无形的生产资料，“大数据”合理利用将制造巨大

财富。在未来，大数据将成为保护城市运行的基本要素，智慧城市在“大数据”

的支撑下，成为立体的大数据生态系统，促进城市的进展。

3.3.1智慧城市的产生

随着城市规模的增大、城市人口的增多，人们对住房、教育、交通、医疗保

险等的需求的也在不断膨胀。诸如高房价、堵车、雾霾等“城市病”也越来越多，

传统的管理手段已变得捉襟见肘，而信息化能够说是抗击“城市病”的有效手段。

伴随着网络帝国的崛起、移动技术的融合进展与创新的民主化进程，知识社

会环境中的智慧城市是继智能城市之后信息化城市进展的高级形态。利用城市管

理中产生的大量信息与数据，积极促进城市机构之间的实时沟通与协助，分析原

因，制定计策，有效平衡社会、商业与环境进展需要，优化现有的可用资源，以

最优化的方式为城市公民提供全面又超前的服务，积极提高公民的生活幸福感一

这种高效、智能且可持续的城市管理被称之智慧城市。能够说大数据是智慧城市

实现智慧化的关键支撑，成为驱动智慧城市进展的动力。

智慧城市使用以物联网、云计算、大数据等为核心的新一代信息技术，集成

城市的组织（人）、业务（政务）、交通、通信、能源等城市运行中的各个核心系

统，使整个城市成为以一种更有智慧的方式运行的宏大的智慧城市系统，对保障

城市正常运行的每个系统进行全面的监测、管理、预警与处置，快速、智能地响

应城市管理者与市民的各类需求，提高城市运行效率，提高政府决策力。

建设智慧城市是城市进展的新范式与新战略，是当今世界城市进展的趋势与

特征。建设智慧城市对抗击“城市病”具有强烈的现实意义。首先智慧化运营通

过运用来自城市多个部门的信息，进行数据聚集与规范化后，识别出有关的重要

事件，以提升服务质量。其次，智慧化运营能够预测城市进展的问题与危机，最

大限度降低对城市居民的影响。如通过可视化重要事件与警报、地理信息等数据,

识别出模式与趋势，保证行动有根据，主动触发预设的预案以加快响应，减少服

务中断概率，避免城市内大型事故扩大升级，减少灾害的影响。最后，智慧城市

可实现通过协调不一致部门的资源，以提高更快、更有效的影响。“大数据”的

智慧化帮助管理者跨部门决策、协调，提高公共服务交付效率，减少应对突发灾

害的响应时间。

3.3.2全球智慧城市的实践

全球在智慧城市的实践中展现了各自不一致的设计理念：

美国在智慧城市建设方面选择智能电网进行突破，注重于商业机构的合作，

利用UrbanSim等智能化的城市仿真系统对城市空间进展进行优化。在美国2009

年的经济复苏计划中，有项高达110亿美元的投资，用于建设可安装各类操纵设

备的新一代智能电网。

日本在2009年7月推出“智慧日本战略2015”，旨在将数字信息技术融入

生活的方方面面，聚焦于电子化政府治理、医疗健康信息服务、教育与人才培养

3大公共事业。

韩国政府于2004年提出了“U-韩国”进展战略，通过多年的实践，首尔、

釜山等一些城市已进入“泛在城市”时代。“泛在城市”以“建设尖端信息城市,

提高市民生活质量与城市竞争力”为目标，利用无线传感器网络，实现对城市设

施、安全、交通、环境等方面的智能化管理与操纵。

根据国际数据公司估计，2011年，全球新型智慧城市信息技术的市场规模

达到340亿美元，并将以每年超过18%的速度增长，到2014年将达到570亿美

7Lio

3.3.3.中国智慧城市

2012年11月，住房与城乡建设部办公厅公布《关于开展国家智慧城市试点

工作的通知》，将建设智慧城市作为贯彻党中央、国务院关于创新驱动进展、推

动新型城镇化、全面建成小康社会的重要举措，要求各地高度重视，抓住机遇，

通过积极开展智慧城市建设,提升城市管理能力与服务水平,促进产业转型进展。

截至2012年7月，中国共有150多个城市提出建设或者正在建设智慧城市,

其中，北京、上海、广州等城市是智慧城市创建进程的领跑者。总体上说，中国

东部地区智慧城市建设重点在于以信息技术促进转变经济进展方式，提高社会管

理水平，提升城市竞争力，塑造城市品牌。中西部地区智慧城市的建设更加注重

对城市的宣传推广作用，力争通过智慧城市建设促进投资软硬件环境的改善，加

强招商引资。

中国智慧城市建设分为前期基础设施建设、中期数据处理设施建设与后期的

服务平台建设。就智慧城市的建设内容来看，一方面是加强城市基础通信网络建

设，提高通信网络带宽及覆盖率；另一方面是在一个云计算平台之上提供智慧应

用服务，如智慧交通、智慧医疗等。有关的建设涉及通信设备制造企业、系统集

成企业、数据采集分析企业、通信运营商与数据服务企业，对整个产业链将起到

巨大的拉动作用。

中国智慧城市建设有三种模式：一种是以物联网产业进展为驱动的建设模

式，如天津、广州等；一种是以信息基础设施建设为先导的建设模式，如上海、

南京等；一种是以社会服务与管理应用为突破口的建设模式，如北京、武汉等。

在中国智慧城市建设中，应当注意下列几点：

(1)要因城而异，不能照搬西方的模式。智慧城市建设目标的确立要符合

城市当前的进展阶段，解决居民最迫切需要解决的问题，走出中国智慧城市建设

的差异化道路。

(2)注重政府统筹，打破行业、地域壁垒，建立智慧城市大数据的共建共

享机制。

(3)大力推动智慧城市的创新应用，实现创新示范项目应用的落地。

(4)完善智慧城市建设中大数据信息安全的基础建设及管理体制，从技术、

管理与法律等多方面保证智慧城市建设的正常运行。

4问题与挑战

“大数据”对社会的好处是无穷无尽的，它在一定程度上解决可迫在眉睫的

全球问题，如处理气候变化、根除疾病等，然而“大数据”在带来大知识、大进

展、大价值的同时，也潜藏着巨大的风险。

4.1数据质量

真实准确是数据的生命，组织假如没有能力获得真实数据，数据规模再大、

数据分析技术再先进也是徒劳。另外由于受到城乡差异、地域差异等的影响，社

会上弱势群体的信息占有与表达处于弱势，这就造成了数据鸿沟的存在。而数据

造假、数据鸿沟等问题在大数据时代依然存在，偏见与盲区存在于大数据中，大

数据得出的结论并不是完全客观、准确的，它并不能提供价值推断，也不能完全

取代人的经验与直觉。认清这个事实，能够帮助我们在运用大数据的过程中，更

科学的解读数据。

4.2数据安全

数据安全在大数据时代也同样面临挑战。大数据进展的趋势往往与加大信息

开放、设计新的信息收集设备与为海量数据的庞大存续与分析需求提供支持的云

计算等如影随形。带来的副作用是IT基础架构将变得越来越一体化与外向型，

对数据安全与知识产权构成更大风险。

4.3用户隐私与便利性的冲突

“大数据”对个人信息获取渠道的拓宽的需求引发了另一个重要问题：隐私

与便利性之间的冲突。研究说明，消费者受惠于海量数据：更低的价格、更符合

消费者需要的商品，与从改善健康状况到提高社会互动顺畅度等生活质量的提

高。但同时，随着个人购买偏好、健康与财务情况的海量数据被收集，人们对隐

私的担忧也在增大。这需要政府与企业从政策、技术与法律等多个方向进行思考

与应对。

4.4庞大能耗

向来被人们认为是绿色环保的信息产业事实上是污染与耗能大户，调查结果

发现，数据中心浪费的电力高达总能耗的90%以上。业内专家估计，全球范围内

所有数据中心的总功率高达3000万千瓦，几乎等于30座核电站的发电量。尽管

现在已经有许多办法帮助数据中心降低能耗，但出于对风险的恐惧，多数公司不

愿作出任何改变。目前，中国多个地区已经开始或者计划兴建大型数据中心，在

建设过程中应提早考虑能耗问题，以免重蹈覆辙。

4.5数据分析与管理人才紧缺

人才是大数据带来的挑战之一。研究说明，单单在美国，对拥有深厚的海量

数据分析（包含机器学习与高级统计分析）技能人才的需求，可能超出目前预测

供应量的50-60%o到2018年，需要新增多达14-19万名专家。止匕外，还需要150

万名熟悉如何应用海量数据的管理者与分析员。企业与政府务必加大招聘与人才

挽留力度，同时大力投入关键数据人员的教育与培训。

4.6跟风现象较为严重

目前大数据应用市场还没有很大，要等到数据、技术与系统的准备有了一定

的突破之后才会出现飞速的进展，但是从现在工业界进展的情境看来，很多企业

出现了跟风上项目、跟风卖产品的现象。在现今“大数据”的进展情境看来，政

府与企业要做到结合行业与产业的特点进行整体的规划，之后逐步实施，做到不

慌张、不跟风也不要坐失良机。

4.7缺少技术创新水平较高的互联网公司

从全球来看，大数据技术创新水平分布极不均衡，如谷歌、Facebook、IBM

公司的技术遥遥领先于我国企业，总体来说，国际形成了“原创技术-开源软件-

商用产品”的技术创新链条，并以此为基础初步衍生了从存储与计算平台、数据

分析软件到大数据云服务的产业生态。我国未来大数据的进展必定会受到技术水

平的影响，如何加大创新投入力度，提高我国大数据技术水平成为未来我国大数

据产业进展的一大问题。

5对大数据产业进展的建议

展望未来，大数据进展的序幕刚刚拉起，冷静的思考是十分必要的，大数据

在更多领域落地实施还是要经历一个较长期的过程，而在这个过程中离不开政

府、企业与公