智慧城中的大数据分析

智慧城市中的大数据分析摘要：以物联网、云计算等新一代大数据技术为核心的智慧城市建设理念,是未来城市开展的全新模式.智慧城市一个重要职能就是采集、存储、分析、挖掘城市运行中所承载的大数据,具备全面感知和全面分析的水平,同时能够展示和扩展.智慧城市的建设,有利于解决城市开展问题,有利于提升城市信息治理水平.在智慧城市开展过程中必然产生大数据,因此需要通过处理大数据来表达智慧,其核心是智慧城市信息系统的大数据处理平台,其关键技术对于智慧城市的建设和运转起决定性作用,对提升城市效劳、提升治理水平和城市的可持续开展具有重大的应用价值.关键词：智慧城市；云计算；物联网；大数据；Hadoop1.智慧城市简介智慧城市就是运用互联网+、物联网、计算机网络、云计算等新一代信息技术手段,对城市运行系统海量数据的关键信息进行的采集、存A(18)悄芫理和分析,对社会治理、政府治理及社会公共效劳的各种需求做由智能化响应和智能化决策支持,从而实现城市的智慧式治理和运行.智慧城市将改变人们传统的生产、生活方式和思想观念,将原有的粗放式模式改变为科学可持续开展的创新驱动和市场开展模式,以满足城市的可持续开展,从而构建城市开展的全新城市形态.智慧城的关键特征有以下几点.全面感知智慧城市中分布大量的感知终端,通过传感器网络,捕捉到人们的生活、生产及城市环境的多种数据.信息感知网络应覆盖城市的个个角落,能够大量采集不同形态、不同属性的各种数据.随着物联网技术的开展和应用,将为智慧城市提供更多的信息资源.深度互联智慧城市的信息感知是以多种信息网络为根底的,城市中拥有快捷的互联通道,数据通过互联网、移动互联网和有线电视网等网络实现陕速互联,各个部门专用网络的参加,实现信息资源的一体化.智慧城市将大大增加信息的交互程度,将多个分散独立的小网连接成互联互通的大网络,使网络的价值大大提升,形成更强的驱动力.智能处理智慧城市拥有海量级PB单位的信息数据,这些大数据是智慧城市得以正常运转、决策、限制、展示的根底,智慧城市要具有对所拥有的海量信息进行智能处理的水平,这要求通过大数据处理平台将收集到的数据进行效的集中存储和处理,并对数据进行分析,产生具有价值的信息,为自主进行判断和预测提供支持,从而实现智能决策.这一过程中还需要表达由自我学习的水平,主要是通过数据挖掘和机器学习,从历史信息中提炼相关的知识,指导未来的分析和处理.在技术上,以云计算为代表的分布式处理框架和线性扩展水平,为智慧城市的智能处理提供了有力支撑.开放应用开放性是智慧城市的信息应用特征,信息的应用不能局限在政府或城市治理部门对信息的掌控和分配.智慧城市应具有信息开放式应用的水平,最终目标是要能够将处理后的各类信息送给信息的需求者,从而完成信息的完整增值利用,其中搭建开放式的信息应用平台是关键,通过该平台使个体间进行信息交互,充分利用系统现有水平,大大提升智慧城市的信息资源并产生新应用..智慧城市中的大数据特征在智慧城市中,城市的治理与效劳涉及各个领域,智慧城市中产生的大数据由于体量巨大,处理要求高,传统的信息技术和IT架构已不能解决问题.这些大数据具有的特征如下.数据量巨大智慧城市中诸多领域都产生大量的数据,通常是在PB级以上,如中国1个1000万人口的城市50年积累的医疗数据量就到达了50PB.智慧城市的智慧化治理需要多方协同治理,共享数据,这就需要把多领域的数据进行综合的分析和聚集,如流行病的预防,需要综合分析人口数据、社保数据、医保数据、医院数据等,进行这样的综合分析需要将这些数据集中存储于大数据平台上,这是传统的数据库平台不能完成的.种类繁多,增长迅速智慧城市中的大数据聚集众多领域、众多行业的数据,数据类型多样化且结构复杂,有结构化的,半结构化或非结构化数据点大多数.靠传统的关系数据库系统己不解决其存储问题,更谈不上进行分析.例如,银行、学校更多是结构化的数据；交通治理包含大量的视频和图像是非结构化数据；气向、医疗数据是半结构化的.随着社会经济的开展伴随数据量的高速增长,如一个1000万人口的中等城市,每天采集交通卡口过车数量数据约占几个TBo价值巨大维克多迈尔舍伯恩认为“大数据的重要价值在于建立数据驱动的关于大数据相关分析,而建立在相关分析根底上的预测是大数据的核心！大数据让人们知道‘是什么’从价值层面上看,智慧城市中的大数据经过加工分析后,蕴含了无穷无尽的价值,对城市的运行和治理起到了极大的辅助作用.一是实现巨大经济效益,如大数据使美国零售业净利润增长到达60%,使制造生产本钱下降50%;二是能够增强社会治理水平,在政府和公共效劳领域的大数据应用,能够提升政府部门的决策水平,增加效劳效率和提升社会治理水平,有效推动政务工作的开展,将会产生巨大社会价值；三是能够提升平安保证水平,通过对大数据整理、分析,可以有效地预测金融、国防、平安等领域的风险,提升国家平安保证水平..大数据处理平台构成智慧城市建设的关键构建大数据处理平台,该平台的主要功能是为智慧城市提供支撑环境,来实现智慧应用治理、数据关联分析和数据深度挖掘、展示和扩展等功能.大数据平台的组成如下：云计算公共平台智慧城市集成海量级的数据,数据多数是非结构化的数据,传统的关系型数据库无法进行处理,只有借助云计算的分布式处理框架和线性扩展水平,才能满足智慧城市根底平台的需要,目前应用比拟广泛的是基于Hadoop的分布式处理框架云平台.在海量数据存储方面,Hadoop中的HDFS是一个典型的海量存储系统,它采用主从结构体系,存储效劳器集群由一个主节点和众多数据结点构成,从而实现分布式数据存储和集群冗余机制,能够把PB级的数据存放到分布式效劳器上,并提供数据平安可靠性.在对海量数据进行综合分析和挖掘处理,具计算量非常大,分为在线计处和离线计算.对于实时性不高的信息处理,采用离线计算平台,Hadoop的云计算框架MapReduce是离线计算的典范,具有较高的稳定性和扩展性.阿里巴巴的数据平台就是依托Hadoop来实现的.在线计算方面,目前比拟成熟的是基于Hbase的准实时数据库及MysQLCluster基于流式处理实时响应平台,这两种技术能够对海量数据进行综合分析,响应时间短,实时性强,有利于实现数据交互,解决了离线平台处理耗时长,反响慢的问题.为应急指挥、现场响应及动态限制等各种应用场景提供技术支持.3.2统一的数据存储平台智慧城市采集数据类型复杂众多、数据量海量,统一的数据平台进行存储治理是必须的,同时还要提供大规模分布式存储与数据备份的支持.Hadoop〜HDFS是一个典型的分布式海量存储系统,能够把PB级的海量数据存储在大规模的分布式集群效劳器上,同时能够保证数据的读写效率和平安.HDFS的设目标是为存储超大数据文件,它具有“一次写入,屡次读取〞的功能,具有降低并发限制、简化数据聚合、支持高吞吐量的访问的特点,在平安性方面,具有硬件错误检测并自动恢复功能,使莫些结点发生故障时,整个集群的工作不受影响.数据共享交换平台为了满足各种数据交换需求,必须提供并制定数据标准,该平台将提供智慧路由、实时效劳、异步效劳、平安控制等功能.是集数据交换开发、部署、治理、监控为一体的数据交换全生命周期治理的数据交换平台.智能数据统计分析平台智慧城市平台的核心是智能数据综合统计分析功能,该平台支持大数据的检索查询、统计分析、数据挖掘、预测和展示功能,通过对数据的分析挖掘,提供相应的辅助决策功能..大数据在智慧城市中的应用城市公共信息治理对城市的公共信息如人口、交通、经济、医疗、社保等信息进行治理,建立统一的公共信息治理平台,实现海量、多尺度、多时态的信息治理.智慧医疗医院里有大量的病例数据,传统的数据处理技术对其进行数据的挖掘非常困难,在大数据云平台的环境下能够得以实现,这在疾病治疗和亚健康治理上将发挥巨大的作用,进一步促进医疗水平的提升.智能交通运用大数据于整个交通运输治理体系,建立交通智慧信息发布平台,来实现车辆识别、跟踪、交通流量分析限制等应用,来解决城市交通堵塞和环境污染,保证交通平安,提升运输效率.智慧教育现代教育信息化效劳体系系统构成智慧教育的核心.该系统由数字教学资源库、公共效劳平台和云端设备组成.任何时间和地点学习者都可借助云端设备进行高质量个性化的学习.智慧社区智慧社区是通过社区效劳平台来实现的,采用的是O2O模式,将实体经营和网上经营相结合,拓展了效劳方式,为市民日常家居生活提供便捷效劳.居民可以通过