大数据云时代的公安信息化应用与实践

大数据云时代的公安信息化应用与实践目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes何为大？——数据度量《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）1EB=4000倍美国国会图书馆存储的信息量何为大？——数据示例facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景大数据时代的背景硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理；每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的总量；每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高；每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年；每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放；谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模；百度每天的关键词搜索量50亿，谷歌33.3亿；淘宝天猫双11那一天营业额达191亿人民币。中国小商品城全年成交额才580.03亿元人民币；累积起来，互联网一天之内产生的信息总量，可以装满1.68亿张DVD光盘。……未来：物联网每天产生的数据将会是海量的。一天之间，互联网上要发生多少事迎接大数据时代的到来一天之间，互联网要发生多少事GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB=2^50字节1EB=2^60字节1ZB=2^70字节数据时代的爆炸增长大数据=海量数据+复杂类型的数据大数据包括：交易数据和交互数据集在内的所有数据集海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。大数据的构成1.Volume2.Variety3.value4.Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，对处理能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合数据量巨大全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量什么是大数据“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety迎接大数据的4V特性目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录什么是云计算？

云计算是一种新型的IT计算、服务方式，通过网络提供可伸缩、廉价的分布式计算能力。云计算将共享的软硬件资源和信息按需提供给计算机和其他设备，有利于计算资源的合理配置，提高其利用率，促进节能减排，实现绿色计算。什么是云计算23

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算特点24(1)超大规模“云”具有相当的规模，Google云计算已经拥有100多万台服务器，Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。(2)虚拟化云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。(3)高可靠性“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。(4)通用性云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行七大特点25七大特点(5)高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。(6)按需服务“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。(7)极其廉价由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。七大特点26云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次是电厂模式、效用计算、网格计算和云计算。电厂模式阶段：电厂模式就好比是利用电厂的规模效应，来降低电力的价格，并让用户使用起来更方便，且无需维护和购买任何发电设备。效用计算阶段：1961年，人工智能之父麦肯锡在一次会议上提出了“效用计算”这个概念，其核心借鉴了电厂模式，具体目标是整合分散在各地的服务器、存储系统以及应用程序来共享给多个用户，让用户能够像把灯泡插入灯座一样来使用计算机资源，并且根据其所使用的量来付费。但由于当时整个IT产业还处于发展初期，很多强大的技术还未诞生，比如互联网等，所以虽然这个想法一直为人称道，但是总体而言“叫好不叫座”。云计算的演化27网格计算阶段：网格计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多低性能的计算机来处理，最后把这些计算结果综合起来攻克大问题。但是由于网格计算在商业模式、技术和安全性方面的不足，使得其并没有在工程界和商业界取得预期的成功。云计算阶段：云计算的核心与效用计算和网格计算非常类似，也是希望IT技术能像使用电力那样方便，并且成本低廉。但与效用计算和网格计算不同的是，2014年在需求方面已经有了一定的规模，同时在技术方面也已经基本成熟了。云计算的演化28IaaS(Infrastructure-as-a-Service)：基础设施即服务

消费者通过Internet可以从完善的计算机基础设施获得服务。例如：硬件服务器租用。PaaS：平台即服务

PaaS(Platform-as-a-Service)：平台即服务PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。例如：软件的个性化定制开发。

SaaS(Software-as-a-Service)：软件即服务

它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。例如：阳光云服务器。云计算的服务形式目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录30

美国的云计算应用起步早，其产品与技术成熟度相对较高，市场发展极为迅速，至今为止，美国联邦、州、地方各级政府已经全面采用云计算。

如：

美国农业部应用云计算方案对21个独立的电子邮件系统进行整合，以寻求其IT基础设施的精简和提升信息化水平，整合后的电子邮件系统能够确保邮件系统与其各项应用的服务界面相互集成，700余个依赖邮件服务的应用程序中只有4个程序需要重新开发，原本需要耗时几年的工程仅仅用了几个月便迁移完成，并可以根据需要不断升级，该方案能够容纳30万用户，为员工提供诸如SharePoint、OfficeCommunications、视频会议等最新的通信协同工具美国国防部美国农业部美国安全局航天局美国空军美国陆军国外政府云计算应用31

欧盟的数据保护权力机构、网络安全机构等对云计算的安全性和隐私安全性怀有疑虑，加之欧盟各国的数据保护和保存政策不统一，云计算在欧洲各国的应用进展相对缓慢。然而鉴于云计算特有的优势，欧洲各国政府机构还是已经开始采取措施发展云计算。2010年7月，欧盟第七框架计划(FP7)发布了《2011—2012年工作计划》，为云计算的研究方向制定了框架。2009年10月发布了《数字英国报告》，提出政府要在英国境内建立统一的“政府云(G-Cloud)”。

目前，云计算服务已经开始被欧洲越来越多的中央和地方政府所采用。并借助云计算实现2012—2013年节省开支2000万英镑，2013—2014年节省6000万英镑，2014—2015年节省8000万英镑，到2015年，至少有50%的信息技术资源通过公共云服务网络来购买。国外政府云计算应用国外政府云计算应用32

亚太地区云计算应用广泛，且正在持续加速。根据2011年3月SpringboardResearch发布的《云计算及IT的角色转变白皮书》中对亚太地区6953家企业和公共部门云计算应用情况的调查结果，在澳大利亚、新加坡、泰国、马来西亚、印度、日本6个国家中，认为所在企业或公共部门与云计算有所关联的比例均超过80%。

日本于2010年设立了云计算特区，吸引国内外企业构建日本最大规模的数据库；韩国政府于2009年年底提出了《政府发展云计算综合规划》。如：日本政府信息系统正使用云计算等创新型技术建设霞关云，并建设云计算特区以支持大规模的市场应用，该系统将集成和整合硬件，建立和完善支持系统的在线应用，建立共享平台，开发和运营信息系统，力求在降低电子政务的开发和运营成本的同时，通过整合共享功能提高处理速度，提高运营效率，增强各个政府机构之间的协作，提供安全先进的政府服务。国外政府云计算应用331政府部门应用云计算能够提高工作效率，更好地服务社会。2其廉价性、可扩展性等特点在政府部门云计算应用中得以体现。3云计算能够满足政府部门对于高安全性和兼容性的需要。4云计算应用易管理、大大提高管理效率。云计算国外政府的影响34

“大数据的研究和发展计划。”通过提高我们从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究。国防部高级研究计划局(DARPA)：多尺度异常检测(ADAMS)项目解决大规模数据集的异常检测和特征化。国土安全部(DHS)：通过对大量的异构数据进行研究，使得急救员可以发现人为或自然灾害、恐怖事件，需要执法的边境安全问题，网络威胁的爆炸物。基础能源科学办公室(BES)：支持旨在协助用户数据管理和分析大数据，可每天从一个单一的实验数据大容量化(1012字节)努力。退伍军人管理部(VA)：医疗保健信息研究所(CHIR)开发自然语言处理(NPL)工具，能够对在VA以文本形式存储的大量数据进行信息解锁。国家航空和航天局(NASA)：降低美国宇航局信息系统的风险和成本，以支持未来的地球观测任务，并转化成美国航空航天局气候中心的地理信息。美国国家安全局(NSA)：竞争网络防御规模的情境意识的培养和测试将探索数据可视化的网上竞赛，从开始与识别此类事件设计与最佳执行方法上，进行庞大计算机网络防御上的数据可视化开发国外政府大数据应用35（1）

资源的管理与利用。研究主要涉及到数字处理、数据分析以及数据挖掘，尤其是从海量、复杂、实时的大数据中挖掘知识。同时为了更好地建设数据资源，对数据的组织和存储显得尤为重点，如元数据、数据仓库和数据存储等。

（2）

信息服务。数据组织和建设的主要目的便是开展服务。相关研究主要涉及到地理信息系统、互联网、物联网、遥感、数字城市、商业智能等方面。此外，统计还发现，中国移动、中国电信以及金融领域更注重从数据分析挖掘中获得智慧价值的利用。

（3）行业调整。大数据将由网络数据处理走向企业级应用，行业对大数据处理的需求也会增加，包括数据流检测和分析。大数据将创造出新的细分市场

。（4）关键技术。数据的管理和利用离不开技术的支撑，服务质量的提高更离不开技术的保障。近几年的研究主要涉