云计算与大情报

云计算与大情报一、云计算的基本涵义二、云计算与大数据三、大数据与大情报四、警务云实践目录PC时代大型机时代1945198019952010互联网时代云计算时代信息技术发展历史面对成千上万的网络用户，如何提高同时访问的速度？面对搜索、数字地图、网上图片等海量数据，如何提高数据的处理速度和关联性？面对花巨资购置的IT资产，如何提高资产的利用率？Google全球Web数据邮件数据地图数据卫星照片……互联网时代面临的问题面对互联网发展出现的问题，人类进行了大量的探索和实践，不仅解决了互联网发展出现的问题，而且催生了一个新的云计算时代。（1）多种技术创新

网格计算

集群计算

分布式计算

虚拟化计算

数据集中存储

开源软件社区（Linux、Apache等）云计算的萌芽（2）多种商业模式创新

企业将剩余IT硬件资产出租给客户。例如：亚马逊公司的EC2企业将自己的开发平台提供给中小企业和个人开发者使用例如：谷歌的GAE开发平台企业建设网上“软件商城”，提供软件的在线使用或下载。

例如：SalesForece的在线CRM，苹果的AppStore等云计算的萌芽（3）传统IT制造的工艺极限——摩尔定律失效？单芯片容纳晶体管的增加，对制造工艺提出越来越高的要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，散热、功耗问题VS云计算的萌芽之所以叫“云”计算，而不是“雨”计算、“风”计算，是因为在计算机流程图中，互联网常以一个云状图案来表示，是对复杂基础设施的一种抽象，因此选择用“云”来比喻互联网。“云计算”名称的来源云计算的基本涵义传统模式：计算资源相互隔离，不能共享不能按需要动态伸缩和流转设备出现故障，应用无法使用云计算模式：虚拟化和分布式技术，可将众多的计算机组成计算资源池，用户可根据需要向云中心申请计算能力，无需关心这些计算能力来自何处，就像用水和用电。即使设备出现故障，应用也不受影响。财务人事办公网站虚拟机虚拟机虚拟机虚拟机云计算技术原理虚拟化软件物理计算机虚拟计算机操作系统应用软件操作系统应用软件虚拟化技术将一台物理机分拆为多台虚拟机，提高IT资源的使用效率。虚拟计算机与物理机类似，也有自己的CPU、内存、硬盘、网卡及MAC地址等。云计算的核心技术之一：虚拟化技术云计算的核心技术。。。。。。F(n)=f(x1)+f(x2)+….f(xm)f(x1)+f(x2)+……f(xm)传统模式分布式计算模式F(n）=f(x1)f(x2)f(x3)f(x4)f(xm)++++…分布式计算是将众多性能一般的计算机聚合为一台性能出众的计算机，适合大数据量计算。云计算的核心技术之二：分布式计算云计算的核心技术分布式文件优点：

多台机器并发操作，适合海量数据；

适合大并发访问；

每个数据块有三个备份，设备冗余，可靠性好。……传统模式传统方式，文件（块）放到一台机器中，串行顺序读取，大数据和大并发条件下性能差。块1块1块2块2块3块3块1块2块3块1块2块3块1块2块3块1块2块3……块1块1块2块2块3块3块3块2块1每个文件有3个副本，可靠性高。云计算的核心技术之二：分布式计算（续）云计算的目标是让用户像用电、用水一样使用信息化各自配备小发电机独立建设信息系统互联网云计算中心发电厂电力基础设施集中供电云计算基础设施集中提供服务云计算的目标公有云提供商-互联网行业云公有和私有私有云数据中心－内部网公有云是为公众或大型组织所使用，一般为云服务提供商所拥有。其数据来源于外部用户，服务也往往以公开的形式面向外部用户。私有云是指仅供一个组织单独使用的云平台。其数据来源于内部，服务也主要面向内部。私有云是客户内部构建云平台时，最为常见的部署模式。行业云是指由行业内或某个区域内起主导作用或者掌握关键资源的组织建立和维护，以公开或者半公开的方式，向行业内部或相关组织和公众提供有偿或无偿服务。云计算的类型“行业云”：面向公众部分，业务信息是公开透明的，其内部信息处理方式是不公开的，公有云和私有云无法满足这类客户的业务需求。云计算的类型（续）政府和企业等行业客户的业务，完全公开或完全不公开的情况是不多的，大多数是面向公众部分公开，内部处理过程不公开，行业云正是在这种背景下产生的。SEQUEL调查报告私有云26%公有云31%行业云42%其它1%“行业云”---当前最被看好的云计算模式公有云提供商-互联网行业云公有和私有私有云数据中心－内部网云计算的类型（续）移动互联网大数据智慧城市物联网电子商务云计算云计算与几大主流新技术的关系目录一、云计算的基本涵义二、云计算与大数据三、大数据与大情报四、警务云实践目录云计算移动互联网下一代互联网大数据物联网社交网络信息化的新二、云计算与大数据ZB(1021)EB(1018)PB(1015)TB(1012)GB(109)MB(106)互联网流量的变化一年一月1Eb可刻满1.68亿张DVD全球新产生的信息年增40%，全球信息总量每两年就可以翻番!而对新增信息的处理能力以及其利用率的增长则不足5%参考：TheZettabyteEra，CiscoVNI,May30,2012

二、云计算与大数据10110010001000011010010001000019982000200320082014人均流量（MB/月）1011001000一天20012004200720132016半天一周全球IP流达到1EB所需时间（天）骨干网IP流量增长10年超过1000倍30000

PB/月全球骨干网IP流量200001000090'91'92'93'94'95'96'97'98'99'00'01'02'03'04'05'06'07'08'09'10'11'美国Telegeography的国际互联网流量数据监测显示：2010年比2009年全球增长了62%，按此推算10年超过1000倍！02500015000美国互联网流量（TB/月）：90’96’99’11’1100010000150000005000二、云计算与大数据

大约10年1000倍2011年和2020年的全球信息量20111.8ZB202040ZB32GB32GB32GB32GB424艘尼姆兹号航母重量(101,600吨)二、云计算与大数据光盘重量=43078400吨迭起两座长城iPod数量=575亿个大数据的例子单日信息产生量超过50TB,存储量40PB。淘宝国家电网到2012年10月资讯系统累计产生大资料2PB。第一医院所存资讯2008年130TB,预计2015年1PB。高峰期每秒100万次回应请求。联通用户上网记录83万条/秒，对应信息量3.6PB/年。每天产生信息超过10TB，现已存20PB，预计该基因库最终将达1EB。每天1千亿次服务调用、55万亿次计算、300G存储量。公交一卡通每天刷卡4000万次，地铁1000万次。每秒产生2千元的交易额，累计各种信息达到PB。二、云计算与大数据中山大学新浪微博华大基因每天约处理60亿次搜索请求，几十PB数据。百度腾讯交通银行北京公交每日约处理600G数据。存量信息超过70TB。京东商城农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB。云计算中心的容量据Gartner的估计，2012年全球云计算市场规模已经达到到1072亿美元，增长率为25.3%，远高于ICT产业整体增长率（6%-7%），公共云服务已经成为全球ICT产业增长最快的领域之一。美国互联网初创公司90%以上使用了云计算服务。公共云服务竞争加剧，价格持续下降，7年间价格下降了20倍。全球云计算中心的容量（ZB) 02011201220132014201520162468Source：CISCOcloudindex1.82.63.34.15.26.6CAGR31%已安装的容量（百万）57%43%云计算中心传统数据中心020102011201220132014201540602080100120140160二、云计算与大数据目录一、云计算的基本涵义二、云计算与大数据三、大数据与大情报四、警务云实践目录情报定义人们思考与行动所需要的知识就是情报，它通过信息来负载与传递，并准备发挥其效用。计算机技术飞跃总是促进情报飞跃单机时代情报电子化存储检索速度大大增强1互联网时代情报电子化存储进一步增强使用互联网传递开始对户联网信息挖掘2云计算时代3质的飞跃三、大数据与大情报最终用户通信层报警集成化视图整合、分析公安大数据源三、大数据与大情报大情报系统架构犯罪活动交通事故可疑行为黑名单车辆银行交易社会信息资源公安信息资源互联网信息通信信息视频信息人口信息指纹上网住宿邮件信息聊天信息照片信息搜索记录通话记录网络社交民航信息人像卡口数据火车信息工商信息民政信息无线电对讲电子邮件平板电脑短信符号电话警务单位交警执法人员访客居民联动单位“棱镜”靠什么“偷窥”我们的隐私主要是个人智能手机使用和互联网活动反观棱镜计划“棱镜”计划是美国国安局通过监控九大互联网公司的中心服务器，获取客户的电子邮件、即时消息、视频、照片、存储数据、语音通信、文件传输、搜索记录、登录时间和社交网络资料等。美国“棱镜”计划的背后是美国云计算技术和大数据处理技术走在了世界前列。三、大数据与大情报棱镜项目谁是“棱镜”计划的帮凶社交类信息交易类信息搜索类信息位置信息日志类信息邮件类信息即时通讯类信息新闻类信息论坛类信息论坛：板块，关键字、热点、活跃度等。微博：圈子，关键字、热点、活跃度等。QQ群：业主群，关键字、热点、活跃度等。微信：圈子，关键字、热点、活跃度等。电话（短信）：业主电话、关键字、发散联系状态等。社交网络种类1、社交类信息三、大数据与大情报预警情报：参与人：某小区居民时间：xx年xx月xx日地点：省政府门前事件：静坐信息表象：小区业主频繁联系，相关QQ群、微信、微博、短信等出现“静坐”，“上访”等热点词；小区业主电话沟通频繁，呈现星状联络。事件本像：某小区业主与开发商纠纷，个别过激业主煽动组织到省政府静坐1、社交类信息–群体事件预警三、大数据与大情报2、交易类信息–淘宝信贷分析阿里巴巴介入金融服务领域，核心优势是其拥有的庞大的客户资源和数据，并能基于云计算平台通过对客户信息的充分分析、挖掘，实现对客户信用水平和还款能力的准确、实时把控。商品供应商（企业和个人）商品购买者（企业和个人）

资金流云计算平台信息流交易信息信息流网络数据模型在线视频调查模式交叉检验技术(辅以第三方验证)客户信用水平和还款能力评估报告和结果交易信息发放贷款信息流监控客户现金流，如出现违约，可截断客户的现金流各渠道信息和调研获得的客户信用记录、交易状况、投诉情况海量的客户和交易数据赋予阿里巴巴掌握客户信息及其交易行为的强大的优势三、大数据与大情报资金流阿里小贷公司建立了多层次微贷风险预警和管理体系，实现了贷款前、中、后三个环节的紧密结合，有效规避和防范了贷款风险。贷前贷中贷后根据企业电子商务经营数据和第三方认证数据，辨析企业经营状况，反应企业偿债能力通过支付宝及阿里云平台实时监控商户的交易状况和现金流，为风险预警提供信息输入通过互联网监控企业经营动态和行为，可能影响正常履约的行为将被预警贷后监控和网络店铺（账号）关停机制，提高客户违约成本，有效控制贷款风险贷前、贷中、贷后的一体化数据采集和分析线上行为：社区活动、在线交易、增值服务、产品发布、企业基本资料线下行为：银行流水、经营模式、财务状况、家庭情况等2、交易类信息–淘宝信贷分析三、大数据与大情报2、交易类信息–淘宝信贷分析阿里巴巴金融凭借强大的数据支持，充分发挥成本和效率的优势，使得微贷工厂化的运营模式日趋成熟，极具发展潜力商户阿里小贷提出贷款申请审核客户数据视频远程沟通客户资信评估发放贷款收到贷款视频远程沟通数据支持网络/线上操作2012年上半年累积投放贷款170万笔9000笔每笔贷款7000元日贷款累计提供贷款的企业数13万260亿单日利息收入累计贷款总额全年利息收入100万3.65亿阿里巴巴集团2011年净利润约89%的企业客户需要融资，融资需求在50万以下的企业约占55.3%，200万以下的约占87.3%，200万以下的融资需求是传统金融的短板小额贷款经营利润率在30-50%之间21亿三、大数据与大情报从提出申请，到商户收到贷款，整个过程全流程系统化、无纸化，最快只需三分钟2.88应用前6.24应用后申报收入：单位亿元

经过约谈，申报收入由2.88亿上升到6.24亿，增加税收约700万元。

增税700万公有云平台私有云平台❷信息交换综合征管系统❶匹配成功后❸信息交换实体店虚拟店信息处理过程（采集、转换、匹配、关联）信息来源互联网2、交易类信息–某市国税电商税源管理三、大数据与大情报3、搜索类信息-案件侦破某地发生抢劫杀人案件原因不详无相关线索抢劫、杀人案发地点案发时间有人在某地使用百度搜索杀人、自首、判刑相关信息互联网信息上网人员信息案发后有人在附近某网吧上网确定嫌疑人关键字匹配时间匹配地点匹配案件告破美国加利福尼亚圣克鲁斯市使用大数据辅助警务，盗窃案下降11%，警方破案率提高56%。三、大数据与大情报100’sor1000’sofFactors…然后从统计学上鉴别未来事件发生可能性最高的相似的地点过去的事件基础设施人口统计运输经济社会文化卫星图像空间地理预测分析从统计学上描述过去事件发生的环境…人们会被所做事情的意识因素和无意识因素所影响三、大数据与大情报4、位置类信息-过去事件发生的地理位置…将来会发生在何处？枪击案在预测区域发生可以凭借预测制定策略避免事件发生，而不是仅在事后响应“所有的犯罪，所有的危险，所有的威胁，所有的时间”三、大数据与大情报三、大数据与大情报社区参与（警务2.0）FUSION信息延伸到Facebook社交网络通过多多让居民通过Facebook参与与互动，加强以社区为单位的警务工作报警或调查利用社会媒体作为一个附加的传感器，以利于实时的警报及主动式/被动式的调查查询信息延伸到Twitter利用Twitter的种子向社区的居民提供数据Aware：时间线分析三、大数据与大情报AWARE根据事件/案件发生的时间过滤和展现信息三、大数据与大情报以云计算解决大数据下大情报面临的挑战

海量存储能力超强计算能力高性价比便于扩展面向服务架构分布式存储技术大规模并行计算计算机虚拟化技术大情报国家安全情报社会维稳情报打击犯罪情报…短期存储，简单查询，无法深度挖掘某电子商务平台日处理数据量达500TB；某互联网平台存储100-10000PB数据，每日处理10-100PB，存储1千-1万亿网页，索引100-1000亿网页。云计算大数据某市临住信息存储6000万条，每日新增5万，上网记录存储1.7亿条，每日新增10万。火车售票信息每日30万。某市视频探头达2.4万个，每日产生视频350T。某省每天产生1亿车辆通行记录，每日产生数据量达50TB；三、大数据与大情报公安信息资源–信息比对碰撞酒店住宿信息2亿上网信息

每天10万关系型数据SQL联合查询5天内多地住宿无法完成1、一人多处住宿冲突名单2、一人多地住宿上网冲突名单3、一人出行、住宿冲突名单……公安信息资源蕴含有人员的活动轨迹，这些轨迹中的冲突信息，通过对这些冲突信息的提出，能够提升警务情报工作的预警能力。但是随着社会活动的日益活跃，这些数据已经形成大数据，传统的计算模式无法进行分析。航空信息100亿……火车信息

每天30万使用时间、地点、人员比对碰撞云计算分布式计算5天内多地住宿5秒三、大数据与大情报监控卡口1监控卡口2监控卡口3监控卡口41亿/天车行轨迹2300万车辆信息9000千万人口3000万驾驶员卡口信息：牌号：鲁F123****车型：解放j6p颜色：蓝色位置：济南经十山大路口方向：自西向东时间：2013.2.58:45:30交通卡口每天采集行车记录数将近