云计算、大数据与智慧城市建设

云计算、大数据与智慧城市建设2021/6/271中国联通青海省分公司2012.08——引领城市信息化新发展2021/6/2721.

云计算概述2.

什么是大数据3.智慧城市建设思路讲解大纲2021/6/273云计算(cloudcomputing)定义维基百科“云计算，是这样一种计算方式，计算资源是动态易扩展而且虚拟化的，往往通过互联网提供。用户不需要了解‘云’中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制”。Baidu百科

云计算是网格计算（GridComputing

）、分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）等传统计算机技术和网络技术发展融合的产物。

云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算本质上是计算池2021/6/274云计算的概念模型2021/6/275云计算的类别2021/6/276云计算服务模式

速响应能力

提供的是“服务”市场成功案例

应用、流程和信息作为服务

(SaaS)

(行业应用,

CRM,

ERP,

OA等)

平台作为服务

(PaaS)

(优化的中间件

–

应用服务器、数据库服务器等

)

基础架构作为服务

(IaaS)

(虚拟的服务器、存储、网络

)

面向企业内部应用

私有云

提升资源利用率，降低运行成本

提升管理效率，提高运维管理质量

提高基础资源部署速度，提高对业务的快混合云

公共云

面向社会公众；

提供面向客户的多种商业服务模式；

进一步理解PaaSPaaS(Platformasaservice):平台即服务。所谓PaaS实际上是指将软件研发的平台（业务基础平台）作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。PaaS之所以能够推进SaaS的发展，主要在于它能够提供企业进行定制化研发的中间件平台，同时涵盖数据库和应用服务器等。PaaS能将现有各种业务能力进行整合，具体可以归类为应用服务器、业务能力接入、业务引擎、业务开放平台，向下根据业务能力需要测算基础服务能力，通过IaaS提供的API调用硬件资源，向上提供业务调度中心服务，实时监控平台的各种资源，并将这些资源通过API开放给SaaS用户。2021/6/278云计算发展现状Amazon研发了弹性计算云EC2（ElasticComputingCloud）和简单存储服务S3（SimpleStorageService）为企业提供计算和存储服务。诞生两年时间，Amazon上的注册开发人员就多达44万人，其中包括为数众多的企业级用户。Google搜索引擎建立在分布在30多个站点、超过200万台服务器构成的云计算设施的支撑之上，这些设施的数量正在迅猛增长。Google的一系列成功应用，包括Google地球、地图、Gmail、Docs等也同样使用了这些基础设施。目前，Google已经允许第三方在Google的云计算中通过GoogleAppEngine运行大型并行应用程序。Hadoop模仿了Google的实现机制。2021/6/279云计算发展现状IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目，以“无障碍的资源和服务虚拟化”为口号。欧盟提供了1.7亿欧元作为部分资金。2008年8月，IBM宣布将投资约4亿美元用于其设在北卡罗来纳州和日本东京的云计算数据中心改造。IBM在2009年在10个国家投资3亿美元建13个云计算中心。2021/6/2710云计算实现机制2021/6/2711

云计算技术体系结构

2021/6/2712云计算（CloudComputing）是能够提供动态资源池、虚拟化和高可用性的下一代计算模式。如果把一个计算的资源，比如一台服务器，看成一个小水滴，当很多资源汇聚在一起的时候，它就形成了计算的云，正如我们不关心水滴是怎么产生的，用户也不需要关心计算资源位于哪台物理的服务器上。用户关心的是需要什么样的计算能力，需要什么时刻拥有这些计算能力。云计算管理平台可以为用户提供“按需计算”服务。云计算的主要特点是分布式、虚拟化、动态的可扩展性、灵活性。云计算平台使用的物理节点是分布的。每一个应用部署的环境和物理平台是没有关系的。通过虚拟平台进行管理达到对应用进行扩展、进行迁移、进行备份，种种操作通过虚拟化层次完成。通过动态的扩展虚拟化的层次达到对以上应用进行扩展的目的。可以把各种IT资源虚拟化，放在云计算平台中统一管理。云计算主要是针对现有的以及即将出现的大规模数据密集型工作负载，它将能够动态地分配资源、调整负载。与传统以PC为中心的计算不同，云计算把计算资源和数据资源分布在大量的分布式计算机上，这使计算和存储获得很强的可扩展能力，并方便用户通过多种接入方式，例如电脑、手机等方便地接入网络获得应用和服务。

理解云计算

2021/6/27131.

云计算概述2.

什么是大数据3.智慧城市建设思路讲解大纲2021/6/2714不知道BIGDATA?你out了!2021/6/2715前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。这是正向的循环，谷歌通过好用的、免费的软件产品，换取对用户的理解；然后通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。互联网越来越智能Google精确掌握用户行为、获取需求2021/6/2716微博为新浪带来巨大价值马云的判断来自于数据分析“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”马云对未来的预测，是建立在对用户行为分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。2021/6/2717大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取XIEQU、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。采用SOA的体系架构。大数据当前的主流实现平台———并行数据库(分布式数据库)、MapReduce及基于两者的混合架构.MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（化简）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。我们可以把MapReduce理解为，把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。什么是大数据2021/6/2718什么是大数据何为大？—数据度量1Byte

=

8

Bit1KB

=

1,024

Bytes1MB

=

1,024

KB

=

1,048,576

Bytes1GB

=

1,024

MB

=

1,048,576

KB

=

1,073,741,824

Bytes1TB

=

1,024

GB

=

1,048,576

MB

=

1,099,511,627,776

Bytes1PB

=

1,024

TB

=

1,048,576

GB

=1,125,899,906,842,624

Bytes1EB

=

1,024

PB

=

1,048,576

TB

=

1,152,921,504,606,846,976

Bytes1ZB

=

1,024

EB

=

1,180,591,620,717,411,303,424

Bytes1YB

=

1,024

ZB

=

1,208,925,819,614,629,174,706,176

Bytes2021/6/2719大数据的4V特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效2021/6/2720大数据与云计算2021/6/2721

大数据与云计算

云计算的模式是业务模式，本质是数据处理技术。（肉体+灵魂）数据是资产，云为数据资产提供存储、访问和计算。盘活资产，使其为国家治理、企业决策、个人生活服务，是大数据核心议题，也是云计算的最终方向。2021/6/2722大数据不仅仅是“大”多大？PB级比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值2021/6/2723软件是大数据的引擎和数据中心（DataCenter）

一样，软件是大数据的驱动力.软件改变世界!2021/6/2724大数据生态:软件是引擎2021/6/2725大数据的应用不仅仅是精准营销通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象2021/6/2726管理大数据“易”,理解大数据“难”目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心.非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等.2021/6/2727

大数据相关技术

数据处理：自然语言处理技术统计和分析：A/B

test;

top

N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真分析技术大数据技术数据采集：ETL工具(数据提取、转换和加载)数据存取：关系数据库；NoSQL(非关系型数据库)；SQL等基础架构支持：云存储；分布式文件系统（DistributedFileSystem）等计算结果展现：云计算；标签云；关系图等2021/6/2728大数据相关技术存储结构化数据：

•

海量数据的查询、统计、更新等操作效率低非结构化数据

•

图片、视频、word、pdf、ppt等文件存储

•

不利于检索、查询和存储半结构化数据

•

转换为结构化存储

•

按照非结构化存储存储问题解决方案在CAP理论指导下数据库技术适当“退化”

•

NoSQL技术：

HDFS,

HBASE,

OceanBase,

MongoDB等2021/6/2729

大数据相关技术

计算解决方案因结构变化为导致计算模式变更需求模式变化带来的计算碰到瓶颈Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）2021/6/2730•麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、大数据带来的影响3/13/201222

制造业、以及涉及个人位置服务等领域都将带来可观的价值

40%

GDP来源于麦肯锡全球研究院•政府等公共职能管理大数据带来的影响ooooo重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程改造成智慧工程在安防领域，应用大数据技术，提高应急处置能力和安全防范能力在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析政府投入将形成示范效应，大大推动大数据的发展3/13/201224•大数据赋予我们洞察未来的能力大数据带来的机遇ooo马云成功预测

2008

年经济危机“2008

年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国

采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间

从询盘上推断出世界贸易发生变化了。”通常而言,

买家在采购商品前,会比较多家供应商的产品,反映到阿里巴巴网站统计数据中,就是查询点击的数量和购买点击的数量会保持一个相对的数值,综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中,询盘数据的下降,自然导致买盘的下降

。3/13/201225大数据带来的影响——刀刃的另一面•更多的隐私、安全性问题oooo多少密码和账号是因为“社交网络”流出去的？2011年4月索尼的系统漏洞导致7700万用户资料失窃2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息2011年CSDN密码泄露事件3/13/2012261.

云计算概述2.

什么是大数据3.智慧城市建设思路讲解大纲2021/6/2735智慧城市、信息消费如何利用运营商的资源优势，整合分散的智慧应用？根据政府推进信息消费的政策指引，如何建立由运营商投资建设，由政府指导各类社会单元购买服务的运营模式？？投资哪里来？投资渐进式？面对机遇如何应对和准备？2021/6/2736城市公共信息、市民服务信息、个人社会信息转化为数字化计算资源

智慧城市是基于泛在化的信息网络、智能的感知技术和信息安全基础设施，透明、充分的获取城市管理、行业、公众用户海量数据，为公众提供共享信息，打造智能生活、智能产业、智能管理的城市信息化应用。

网络化-信息共享

智能化-智慧应用数字化-数字信息通过网络实现城市信息共享,在区域内将分散的信息互联为集成数据通过云计算、物联网、大数据等技术整理、加工、分析资源，协同工作，智慧互动城市发展更科学城市管理更高效城市生活更美好概念目标什么是智慧城市？2021/6/2737构建“智慧城市”领域应用智慧城市

利用移动互联网、物联网、云计算、大数据等现代通信信息技术，充分开发和利用企业内部或外部可能得到和利用的的各种信息，及时把握机会，做出决策，增进运行效率。智慧政府智慧企业智慧生活利用物联网、云计算、移动互联网、人工智能、数据挖掘、知识管理等技术，提高政府办公、监管、服务、决策的智能化水平，形成高效、敏捷、便民的新型政府。以宽带互联网、物联网、移动互联网等信息化应用为核心，为城市居民提供的涵盖餐饮购物、医疗健康、旅游出行、消费娱乐、智能家居等各方面的网络化、智能化、便捷高效的生活体验。三大领域应用包括：智慧政府、智慧企业、智慧生活2021/6/2738电信运营商推动“智慧城市”的落地建设应用提供商运营商政府内容

提供商设备

制造商政府主导：统一规划，统筹实施，积极扶持、引导和协调产业各方参与力量，形成智慧城市建设合力运营商优势：网络基础资源、运营保障能力、专业技术人才、产业链整合能力运营商责任：承担智慧城市建设运营工作

作为信息通信网络（有线、无线）的提供者聚合产业资源，研发丰富的信息应用承担信息化项目的统一建设及统一运营

智慧城市建设是一个复杂的系统工程，“政府+运营商+通信/IT企业+行业应用及内容提供者”的产业链模式逐渐被认同。不同的角色承担不同的责任，已经形成了“政府主导+企业推进