现代通信系统新技术 (第三版) 课件 第8章 大数据和云计算技术简介

第8章

大数据和云计算技术简介8.1大数据的概念8.2云计算的基本概念8.3大数据和云计算融合的必然趋势小结

大数据(BigData)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策的资讯。大数据需要特殊的技术来有效地处理大量的规定时间内的数据。适用于大数据的技术包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

8.1大数据的概念

大数据是所涉及的资料量规模巨大，无法在规定时间内通过常规软件工具对其内容进行撷取、管理和处理的数据集合。大数据需要满足“4V”特征，即数据量大(Volume)、数据的种类多(Variety)、数据的增长及处理速度快(Velocity)、数据蕴藏价值大(Value)，而能满足这4个根本特征的才能称为大数据。

数据量大(Volume)指的是数据的采集、存储和计算的量都非常大，大数据通常指10TB以上规模的数据量。造成数据量增大的原因很多，例如，监控和传感设备的使用，使我们感知到更多的事务，这些事务的数据将被部分或者完全存储；(移动)通信设备的使用，使得交流的数据量成倍增长；基于互联网和社会化网络的应用的发展，数以亿计的用户每天都会产生大量的数据。

数据种类多(Variety)是指数据的种类和来源较多，例如多种传感器、智能设备、社交网络等，包括结构化、半结构化和非结构化，以及图片、音频、视频、地理位置等多类型的数据，实际上就是具有多个时段(历史的、现在的)、多种媒体、多个来源、异构(结构化、半结构化、非结构化)的数据。

数据的增长及处理速度快(Velocity)是指数据每分每秒都在爆炸性地增长，而对数据的处理速度要求也很高，数据的快速动态的变化使得流式数据成为大数据的重要特征，对大数据的处理要求具有较强的时效性，能够实时地查询、分析、推荐等。

数据蕴藏价值大(Value)是指在海量的数据中，存在着巨大的被挖掘的商业价值，然而由于数据总量的不断增加，数据的单位价值密度却相对较低，如何通过强大的数据挖掘算法，结合企业的业务逻辑来从海量数据中获取有用的价值，是大数据要解决的重要问题。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

除了上述的4个根本特征外，大数据与传统的数据处理技术最明显的一个区别是，大数据要求在线处理。

大数据的总体架构包括三层：

(1)数据存储层。数据有很多种分类方法，有结构化、半结构化、非结构化，也有元数据、主数据、业务数据，还可以分为GIS、视频、文件、语音、业务交易类各种数据。

(2)数据处理层。数据处理层解决的核心问题在于出现分布式存储后，存储方式的改变所带来的数据处理上的复杂度，海量数据存储则带来了数据处理上的时效性要求。

(3)数据分析层。数据分析层的重点是挖掘大数据的真正价值所在，而价值的挖掘核心又在于数据分析和挖掘。

数据分析只关注两个内容：

一个是传统数据仓库下的数据建模，在该数据模型下需要支持上面各种分析方法和分析策略；

另一个是根据业务目标和业务需求建立的KPI指标体系，对应指标体系的分析模型和分析方法。解决了这两个问题，就基本解决了数据分析的问题。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据最核心的价值在于对海量数据的存储和分析。相比现有的其他技术，大数据具有廉价、迅速、优化三大特点。

8.1.1大数据处理的六大工具

1. Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架，它是以一种可靠、高效、可伸缩的方式进行处理的。

它主要有以下几个优点：

(1)高可靠性。

(2)高扩展性。

(3)高效性。

(4)容错性。

2. HPCC

高性能计算与通信(HighPerformanceComputingandCommunications，HPCC)是1993年由美国科学、工程、技术联邦协调理事会向国会提交的“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。

该项目主要由五部分组成：

(1)高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等。

(2)先进软件技术与算法(ASTA)，内容包括巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算及高性能计算研究中心等。

(3)国家科研与教育网络(NREN)，内容包括中接站及10亿位级传输的研究与开发。

(4)基本研究与人类资源(BRHR)，内容包括基础研究、培训和课程教材，通过长期的调查，在可升级的高性能计算中来增加被调查人员的创新意识流；通过高性能的计算训练和通信，增加人员之间的联络，以此来支持调查和研究活动。

(5)信息基础结构技术和应用(IITA)，目的在于保证美国在先进信息技术开发方面的领先地位。

3. Storm

Storm是自由的开源软件，是一个分布式的、容错的实时计算系统，用于处理Hadoop的批量数据且非常可靠。Storm支持许多种编程语言，且易于配置及使用。Storm由Twitter开源而来，其他知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

4. ApacheDrill

为了帮助企业用户寻找更为有效以及加快Hadoop数据查询的方法，Apache软件基金会发起了一项名为Drill的开源项目。ApacheDrill实现了Google’sDremel。

该项目将会创建出开源版本的谷歌DremelHadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而Drill将有助于Hadoop用户更快地查询海量数据集。

Drill项目其实也是从谷歌的Dremel项目中获得的灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在AndroidMarket上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发DrillApache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而有助于支持广泛的数据源、数据格式和查询语言。

5. RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，其特点包括：

(1)拖拽建模，自带1500多个函数，无须编程，简单易用；同时也支持各种常见语言代码的编写，以符合程序员个人习惯和实现更多功能。

(2) RapidMinerStudio社区版和基础版免费开源，能连接开源数据库，商业版能连接几乎所有数据源，功能更强大。

(3)丰富的扩展程序，如文本处理、网络挖掘、Weka扩展、R语言等。

(4)数据提取、转换和加载(ETL)功能。

(5)生成和导出数据、报告和可视化。

(6)为技术性和非技术性用户设计的交互式界面。

(7)通过WebServices应用将分析流程整合到现有工作流程中。

6. PentahoBI

PentahoBI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列面向商务智能的独立产品(如Jfree、Quartz等等)能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

PentahoSDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务器。其中Pentaho平台是Pentaho最主要的部分，囊括了Pentaho平台源代码的主体；Pentaho数据库为Pentaho平台的正常运行提供数据服务，包括配置信息、Solution相关的信息等，对于Pentaho平台来说，它不是必需的，通过配置是可以用其他数据库取代的；可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行；Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

8.1.2大数据在我国的未来之路

1.大数据的基本特点

大数据的基本特点如下：

(1)数据体量巨大。从TB级别，跃升到PB级别。

(2)数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息等等。

(3)价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

(4)处理速度快，遵循1秒定律。这一点也和传统的数据挖掘技术有着本质的不同。

2.我国大数据的变革之路

国务院发布的《促进大数据发展行动纲要》(以下简称“纲要”)将大数据发展确立为国家战略。党的十八届五中全会明确提出，实施“互联网+”行动计划，发展分享经济，实施国家大数据战略。大力发展工业大数据和新兴产业大数据，利用大数据推动信息化和工业化深度融合，从而推动制造业网络化和智能化，正成为工业领域的发展热点。明确工业是大数据的主体，工业大数据的价值正是在于它为产业链提供了有价值的服务，提升了工业生产的附加值。工业大数据的最终作用是为工业的发展、工业企业的转型升级提供有价值的服务。

8.2云计算的基本概念

云计算(CloudComputing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。

狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；

广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务，这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。可以概括地说：云计算是通过网络提供可伸缩的廉价的分布式计算能力。

8.2.1广义的云计算和狭义的云计算

狭义的云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取、按需使用、随时扩展、按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务

易拓云指出云计算是技术驱动的核心，是商业模式变革的基础。云计算的IT架构变革使得“互联网+”、大数据战略蓬勃发展，庞大的计算能力使得深度学习、人工智能商业化进程加速。云计算是板块技术驱动的核心，其基础设施建设在未来3～5年内将维持高景气度；同时云计算所实现的应用线上化、数据资产化、服务生态化，也将成为商业模式变革的基础。

云计算的好处是：

(1)安全。云计算提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦。

(2)方便。它对用户端的设备要求低，使用起来很方便。

(3)数据共享。它可以轻松实现不同设备间的数据与应用共享。

(4)无限可能。它为人们使用网络提供了无限多的可能。

8.2.2云计算的工具与服务

1.云计算的十大工具

(1) Cloudability。工具类型为云成本分析。

(2) S3生命周期追踪器、EC2预留探测器、RDS预留探测器。工具类型为云优化。

(3) AtomSphere。工具类型为云集成。

(4) Enstratius。工具类型为云基础设施管理。

(5) InformaticaCloud2013春季版。工具类型为云数据集成。

(6) CloudHub。工具类型为云集成服务。

(7) Chef。工具类型为云配置管理。

(8) Puppet。工具类型为云配置管理。

(9) RightScaleCloudManagement。工具类型为云管理。

(10) AgilityPlatform。工具类型为企业云管理。

2.云计算的几种服务

1) IaaS

IaaS(InfrastructureasaService)：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施中获得服务。

2) PaaS

PaaS(PlatformasaService)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。

3) SaaS

SaaS(SoftwareasaService)：软件即服务。它是一种通过Internet提供软件的模式，用户无须购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。

8.2.3云计算的发展前景

1．云建站

云建站是随着云计算技术成熟而兴起的一种新型整合式技术平台，面向有初级建站经验基础的人员或美工，通常采用知名的IaaS提供商服务作为基础设施提供网络设备；同时提供云端开发平台，开发者在平台中编写网站模板代码，运行在浏览器中的开发器提供代码高亮、代码智能感知、数据接口等本地开发中也经常用到的辅助开发功能。

云建站平台是集开发环境、分布式文件存取、服务器部署等于一体的云端Web开发平台。平台通过非常简单易学的模板语言允许开发者对网站进行100%的前端样式定制设计，底层架构和基础设施提供防火墙、缓存、负载均衡、故障转移、CDN文件I/O等来保障网站安全性、高性能和高可用性。

开发者可以通过开发平台对网站的所有页面，模板源代码，图片添加、编辑和删除等开发定制操作。开发平台中提供完善的代码高亮支持，常用前端类库等大大降低了开发者对平台和模板语言的学习成本。随着语法智能提示、可拖拽设计的控件库、在线图片处理等辅助开发工具的推出，Web的快速开发得到实现，进一步降低了Web的开发成本。

2．云物联

“物联网就是物物相连的互联网”。这有两层意思：

第一，物联网的核心和基础仍然是互联网，是在互联网基础上延伸和扩展的网络；

第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。

物联网的两种业务模式：

(1) MAI(M2MApplicationIntegration)，内部MaaS；

(2) MaaS(M2MasaService)，MMO，Multi-Tenants(多租户模型)。

随着物联网业务量的增加，对数据存储和计算量的需求将带来对“云计算”能力的要求：

(1)云计算：仍处在从计算中心到数据中心的物联网初级阶段，PoP即可满足需求；

(2)在物联网高级阶段，可能出现MVNO/MMO营运商(国外已存在多年)，需要虚拟化云计算技术、SOA等技术的结合实现互联网的泛在服务：TaaS(everyThingasaService)。

3．云安全

云安全(CloudSecurity)是一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群足以覆盖互联网的每个角落，只要某个网站被挂或某个新木马病毒出现，就会立刻被截获。

4．云存储

云存储是在云计算(CloudComputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量的各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。目前提供云存储业务的国内企业有联想网盘和燕麦企业云盘(OATOS企业网盘)。

5．云通信

云通信(CloudCommunication)是云计算技术在通信领域的一种受到推广应用的解决方案。云通信技术主要是在对IaaS、PaaS、SaaS等云计算技术应用层进行分析提取的基础上，将智能云、云存储、云交互、云数据、弹性云计算、云分享等云计算技术应用到传统的通信行业，实现对传统通信技术的革命性改造，让通信技术进入云应用及大数据管理时代。

6．云游戏

云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。

7．云教育

视频云计算应用于教育行业，流媒体平台采用分布式架构部署，分为Web服务器、数据库服务器、直播服务器和流服务器，如有必要，可在信息中心架设采集工作站，搭建网络电视或实况直播应用。在各学校已经部署录播系统或直播系统的教室配置流媒体功能组件，这样录播实况可以实时传送到流媒体平台管理中心的全局直播服务器上，与此同时录播的学校特色课件也可以上传存储到教育局信息中心的流存储服务器上，方便今后的检索、点播、评估等各种应用。

8．云会议

云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单的操作，便可快速、高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。

8.3大数据和云计算融合的必然趋势

8.3.1大数据发展现状大数据行业是以数据及数据所蕴含的信息价值为核心生产要素，通过数据技术、数据产品、数据服务等形式，使数据与信息价值在各行业经济活动中得到充分释放的赋能型产业。近年来，伴随各国家和地区大数据产业政策鼓励以及数字经济的深入发展，全球范围内大数据市场呈快速发展态势。

大数据的特征体现在多个方面：在容量上，数据的大小决定了所考虑的数据的价值和潜在的信息；在种类上，体现为数据类型的多样性；在速度上，主要是指获得数据的速度高；在可变性上，体现为数据的变化导致质量的广泛变化；在真实性上，体现为可获得真实可靠的数据质量；在复杂性上，体现为数据量巨大、来源渠道多；在价值上，体现为合理运用大数据，以低成本获得高价值。

1.行业概述

(1)大数据硬件：主要包括支撑大数据软件和大数据服务运行的相关网络、存储和计算等IT硬件，大数据专属硬件包括超融合一体机、智能终端、高性能计算机、高性能服务器、超大存储设备等。

(2)大数据软件：主要包括数据采集、数据处理、数据存储、数据分析挖掘、数据应用、数据治理、数据交易和数据安全等大数据生命周期业务流程中的相关工具、中间件、平台、应用等软件产品。

(3)大数据服务：主要包括为金融、政府、电信、互联网等行业客户提供的基于其具体业务场景而开发的各类大数据解决方案，涉及业务咨询、设计开发、软硬件产品部署、系统运维等一系列服务；服务类型主要包括数据采集和预处理服务、数据分析挖掘服务、数据治理服务、数据交易服务等。

2.全球现状

1)数据量

据统计，2021年全球大数据储量达到53.7 ZB，同比增长22%。

从区域分布来看，我国国内的数据产生量约占全球数据产生量的23%，美国的数据产生量占比约为21%，EMEA(欧洲、中东、非洲)的数据产生量占比约为30%，APJxC(日本和亚太)数据产生量占比约为18%。

2)市场规模

当前，数据正在成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。随着互联网、移动互联网、物联网、5G等信息通信技术及产业的不断发展，全球数据量呈爆发式增长态势。受益于数据量及数据应用的快速增加，全球大数据市场规模快速增长。据资料显示，2021年全球大数据行业市场规模为649亿美元，同比增长13.5%。

3.中国现状

1)市场规模

我国是数据资源大国，大力发展大数据技术，有利于将我国数据资源优势转化为国家竞争优势，实现数据规模、质量和应用水平的同步提升。

2)企业情况

随着近年来我国大数据产业的快速发展，行业相关企业数量也随之迅速增长。

3)投融资情况

随着我国大数据产业的快速发展以及价值的逐渐显现，吸引了大批投资者的目光，行业投资市场十分火热。

4.发展背景

1)政策

近年来随着互联网、移动互联网、物联网、5G等信息通信技术及产业的不断发展，全球数据量呈爆发式增长态势。数据作为和土地、资本、劳动力、技术同等重要的生产要素，在数字经济不断深入发展的过程中，地位愈发凸显。

2)经济

伴随着新一轮科技革命和产业变革的持续推进，数字经济已成为当前最具活力、最具创新力、辐射最广泛的经济形态，是国民经济的核心增长极之一。

5.发展趋势

1)分析方法创新

数据分析方法受算法、理论的限制和影响，随着相关技术和领域的发展，数据分析方法也将面临革命性的改变。

2)数据共享程度提高

数据收集是大数据技术应用的基础环节，随着社会信息的爆发式增长，数据收集工作压力剧增。

3)大数据产业化应用

大数据与商业价值开发相挂钩，其自身也表现出资源化发展的趋势，即大数据已成为一种新的社会生产力。

8.3.2大数据形成条件与运作模式

1.大数据形成的条件

大数据需要庞大的数据积累，以及深度的数据挖掘和分析。大数据的形成有两个条件：

一是丰富的数据源；

二是强大的数据挖掘分析能力。

从大数据中挖掘更多的价值，需要运用灵活的、多学科的方法。

2.大数据运作模式

云计算技术是目前解决大数据问题最重要且有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上得以运行。大数据是未来的行业发展趋势，其发展已势不可挡，而Hadoop作为更大规模分布式计算和存储离线处理集群的代表。广大开发者应抓住大数据机遇，选择更适合的平台技术，借助最优的解决方案，利用大数据开发出更智能、更个性化的新一代应用，最终实现应用经济的转型升级。

8.3.3大数据安全

1.大数据遭遇“安全门”

大数据像一枚硬币，有其两面性：

一方面它将催生新型科技公司，吸纳科技人才就业，并为企业发展转型提供新机遇；

另一方面它为个人、企业甚至国家带来个人隐私危机，以及重构信息安全、竞争力差距拉大、数据产权争端等诸多挑战。

2.大数据安全靠管理

关于大数据的安全，坦率地讲，任何一种安全，其关键的保障因素还是管理手段，特别是对密钥的管理，这将影响整个加密过程。大数据的应用诉求将促使商业模式变革，并对技术架构形成冲击，营运模式也将产生变化。

所以，为适应大数据时代的到来，要尽快制定信息公开法以加强网络信息的保护，界定数据挖掘、利用的权限和范围，使得大数据的挖掘和利用依法推进。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。

8.3.4大数据时代的机遇与挑战

1.大数据带来大变革

“大数据”正给很多不同的行业带来深刻的变革，这些变革表现在创造透明度，通过一些可控的实验发现新的需求，对用户进行细分，以及为客户定制服务等。更重要的是，大数据孕育了新的商业模式。数据会成为企业资产负债表上非常重要的一项。

大数据分析技术不仅是促进基础科学发展的强大杠杆，也是许多行业技术进步和企业发展的推动力。大数据的真正意义并不在于大带宽和大存储，而在于对容量大且种类繁多的数据进行分析并从中获取信息和价值。

2.大数据时代的国家战略

在大数据中心建设上，应将大数据管理上升到国家战略层面，从国家战略层面予以重视，因此特别要强调以下几点：

(1)政府要由责任部门牵头进行专项研究，从国家层面通盘考虑国家大数据发展的战略。

(2)大数据从数据生成、信息收集到数据的发布、分析和应用，涉及各个层面。

(3)重视人才培养在大数据处理环节中的重要性，数据人才是点燃大数据价值的关键。

3.大数据时代的挑战

鉴于数据的复杂性，大数据处理面临着一系列的挑战：

(1)在类似文本或视频的非结构化数据上，如何理解及使用数据？

(2)该如何在数据产生时捕获最重要的部分，并实时地将它交付给正确的人？

(3)鉴于当下的数据体积和计算能力，该如何储存、分析及理解这些数据？

(4)人才匮乏。

(5)其他一些固有的挑战，如隐私、访问安全以及部署。

以下是Intel发布的大数据处理在中国的短板：

(1)数据的海量性。

(2)数据处理技术。

(3)信息公开。

(4)数据的真实性。

(5)非结构数据的不足。

4.云计算在大数据中的作用

大数据的爆发是产业和经济信息化发展中遇到的棘手问题。由于数据流量和体量增长迅速，数据格式存在多源异构的特点，而我们对数据处理又要求准确、实时，以帮助我们发掘出大数据中潜在的价值，促进经济发展和社会进步。物联网、互联网、移动通信网络技术在近些年来的迅猛发展，致使数据产生和传输的频度和速度都大大加快，催生了大数据问题，而数据的二次开发、深度循环利用则让大数据问题日益突出。

大数据问题的解决，首先要从大数据的源头开始梳理。既然大数据源于云计算等新兴IT技术，就必然有新兴IT技术的基因继承下来。按需分配、弹性扩展、安全、开源、泛在化等特点是云计算的基因，这些基因也需要体现在大数据上。“云”的理念、原则和手段，也是理解大数据、克服大数据、应用大数据的制胜法宝和核心关键。大数据在系统及网络结构、资源调度管理、数据存储、计算框架等领域都是源自于云计算也依托于云计算的。云计算为大数据提供了坚实的基础设施支撑及保障。

5.云计算与大数据的融合发展

从技术角度来说，云计算和大数据在很大程度上已经形成融合发展的态势。当前的很多云计算服务，由于其规模的扩展，后台都集成了大数据的存储和处理。

从产业角度来看，云计算及大数据都已上升为中国的国家战略，相关的技术和应用已经渗透到各个传统行业及新兴产业，国家的政策、资金引导力度不断加大。

大数据上云其实有多种含义和选择。由于大数据的特征，企业要自己搭建大数据的存储及处理平台，其投入和挑战都是巨大的。

6.云计算与大数据的应用场景

1)在互联网金融证券业的应用

大数据带来的变化，首先是风险管理的理念和工具的调整。风险定价和客户评价理念将会以真实、高效、自动、准确为基础，形成客户的精准画像。基于数据挖掘的客户识别和分类将成为风险管理的主要手段，动态、实时的监测而非事后的回顾式评价将成为风险管理的主要手段。

其次，大数据能大大降低金融产品和服务的消费者与提供者之间的信息不对称现象。消费者可实时获知对某项金融产品或服务的支持和评价。基于此，可以逐步实现业务流程的自主信息化，结合时间、人、产品路径精准推送给精准人群；数据挖掘能力可将金融业务做到高效率、低成本。

第三，大数据使得产品更加安全可控和令人满意。精准数据定位模式，对消费者而言，是安全可控、可受的。可控，是指双方的风险可控；可受，是指双方的收益(或成本)和流动性是可接受的。同时，高效贴心的服务还能提升用户的满意度。

最后，大数据将促进行业的泛在化。金融供给将不再是传统金融业者的专属领地，许多具备大数据技术应用能力的企业都会涉足、介入金融行业。有趋势表明，银行与非银行间、证券公司与非证券公司间、保险公司与非保险公司间的界限将会非常模糊，金融企业与非金融企业间的跨界