泰安市大数据警务云平台采购项目(1)

1、泰安市大数据警务云平台采购项目政府采购需求报告编制单位： 泰安市公安局 编制时间： 二一五年一月四日 目 录第一章 项目概况及资格要求21.项目概况22.供应商资格要求2第二章 商务要求31.付款方式32.安装期限33.售后服务要求3第三章 评审方法3第四章 技术标准及要求5泰安市大数据警务云平台采购需求泰安市同信工程招标代理有限公司受采购人委托拟就泰安市大数据警务云平台实施政府采购，现提出以下采购需求：第一章 项目概况及资格要求1.项目概况1.1项目名称：泰安市大数据警务云平台政府采购项目1.2采购人：泰安市公安局 项目负责人：申大武 联系电话：185053805381.3项目概述：本项目采

2、购内容为泰安市大数据警务云平台项目，主要包括分布式全文数据库集群基础系统、大数据分析计算集群基础系统、大数据弹性部署系统、数据集成系统集群、警务云资源池扩容、数据预处理及警综数据向大数据平台迁移。1.4项目准备：1.4.1资金落实情况本项目资金来源为财政性资金，出资比例为100%，资金情况已落实。1.4.2投资评审情况本项目概算为532.4万元。1.5拟采用的采购组织形式：部门集中采购 1.6拟采用的政府采购方式：公开招标2.供应商资格要求供应商除具有中华人民共和国政府采购法第22条规定的相关条件外，还应具备以下条件：1、供应商须为在中国境内注册，具有法人资格；2、具备本次采购设备的供货能力及

3、安装能力；3、本项目不接受联合体投标。第二章 商务要求1.付款方式本项目无预付款，安装调试完毕验收合格后付至合同总金额的95%，剩余5%为质保金，质保期满后一个月内一次性付清，不计利息。以上款项由甲方按照国库集中支付方式支付。2.工期60天 3.质量要求符合国家相关标准4. 售后服务要求一年质保第三章 评审方法评分因素价格部分技术部分业绩部分商务部分总分值分值60201010100价格部分评审项目分值评分标准投标报价60满足招标文件要求且投标价格最低的投标报价为评标基准价，其价格分为满分。其他报价得分=评标基准价/报价投标×60%×100，超出招标控制价的投标报价为无效报价

4、。技术部分评审项目分值评分标准响应情况 5基础分为3分；优于招标文件实质性要求的，每有1项加1分，最高加2分；对非实质性要求，每出现1条正偏离，加1分，最高加1分；每出现1项负偏离，扣除基础分1分。（本项得分最低为0分）质量性能 10对产品的市场占有率、品牌信誉度、产品的性能、技术成熟度，产品的备品备件情况等进行综合评价。技术措施 5根据供货组织方案、运输、产品安装和调试等主要技术保障措施、人员培训计划和应用技术支持等进行综合评价。业绩部分评审项目分值评分标准企业业绩 10自2012年1月1日至代表开标截至时间已完成的同类项目（项目合同金额 500 万元以及以上的），每份得 2 分。须同时提供

5、同一项目的中标通知书原件、合同原件和验收报告原件，三项原件缺一项不得分。 商务部分评审项目分值评分标准项目实施方案 5专家根据项目设计方案科学性、合理性、完整性；投标文件的人员安排；施工组织设计和系统衔接情况，分三个评分等级：a.施工方案合理、安全、高效，各施工工序衔接紧密，无漏项、无漏点，最大限度满足采购人要求的得4-5分；b.整体方案合理，满足采购人要求的得2-3分；c.设备和方案存在一定瑕疵，但仍能基本满足需要01分售后服务规范化和及时有效保障5a.投标单位为泰安本地公司或在泰安有分支机构的，得5分，以营业执照注册地为准；b.在泰安有协议合作售后服务团队的，得2分，以合作协议原件及合作单

6、位在泰安工商部门登记的营业执照原件为准。c.其他情况的公司得1分。第四章 技术标准及要求随着泰安市公安局信息化建设应用工作的深入发展，快速积累并不断增长的数据资源已成为事关全局公安工作生命线的核心资源，如何快速挖掘其内在价值，转化为现实战斗力，在更高更深层次服务保障公安工作的开展，已成为公安信息化迫切需要解决的关键问题。在省厅“警务云”建设部署及全省数据资源共享的任务规划下，建立泰安市公安数据中心已成为有效提升公安数据资源应用效能，支撑泰安公安信息化可持续发展的关键环节。一、建设概述（一）警务云建设背景随着全球信息化飞速发展，“云计算”和“大数据”时代的到来,传统的网络和计算架构已经不能适应“

7、大数据”高速响应的要求。开启警务云计算建设对于解决公安信息化的瓶颈问题，推动公安信息化向深度和广度迈进，进一步提升公安机关核心战斗力，提升公安机关维护国家安全和社会稳定的能力和水平有着极其重要的意义。2012年11月，山东省公安厅正式启动警务云计算战略工程建设，推动山东公安信息化水平向广度、深度、实时和高端应用发展。2014年2月，山东省公安厅下发了山东省公安云计算平台总体规划和全省公安机关警务云计算建设指导意见等文件，要求各地市公安机关稳步推进地市警务云建设，在更高层次、更高起点上推动全省警务云计算建设。泰安市公安局根据省公安厅总体规划和指导意见确定的目标任务，秉承“上云是上策、用云要用心”

8、的工作理念，把握“全省一片云”的总体布局，按照市局党委的决策部署，大力推进警务云计算的建设。打造支撑、服务、保障功能强大的警务云计算“泰安品牌”，全面提升警务工作效能，推动警务机制新变革。（三）信息化建设现状泰安市公安局在以“金盾工程”为载体的公安信息化建设中取得了丰硕成果，有力支撑了公安各项业务工作开展。根据服务实战、急用先上的原则，在金盾工程信息化建设过程中建设了六大平台及刑侦、交管、网安、技侦等业务系统，已经成为集情报搜集、指挥调度、资源管理、信息查询、侦察控制、打击犯罪和管理防范于一体的综合警务综合防控体系。以警综平台、业务应用系统、公安部下发、社会单位共享等为数据来源，按照“人、案(

9、事)件、物品、机构、地点”等要素模型，积累了丰富的数据资源，全市分布式存储数据越120PB，一个成规模的数据库群已基本形成。随着“3.20”工程、图像监控信息、各类社会面信息等资源汇聚整合工作的全面启动，全市公安机关所掌握的数据资源更将呈现爆发式增长。（四）信息化建设问题随着应用的不断深入，数据总量越来越大，数据种类越来越多，应用需求越来越复杂，传统的技术架构和数据存储、处理方式已经成为制约海量数据集成整合和关联应用的瓶颈，无法适应现代警务工作要求，也渐渐暴露出数据资源、手段建设、业务功能没有充分整合等问题，具体问题如下：数据基础支撑能力问题。各地、各警种部门使用的传统业务系统数据量不断积累，

10、新的系统建设需求不断呈现，全息化升级引入了大量图片、人像、指纹、录音录像数据，随着交通卡口、治安监控音视频数据的、以及互联网数据、社会资源数据的不断引入，全省数据分析与挖掘的需求，带来前所未有的存储、计算、管理要求。传统的基础平台架构已经无法适应和高速响应现阶段公安信息化的发展，迫切需要研究引进集约化程度更高、更加节能环保、更易于扩展升级、性能更高的系统平台。数据质量与整合问题。泰安市局通过多年的业务系统的建设，已经获取了一定数量的信息资源，但数据标准不统一、信息录入不规范、数据关联性不足、业务操作不便等问题由来已久，严重制约了公安情报分析战果的共享。很多互联网、社会等资源还未能有效获得和接入

11、，资源范围还不全面，信息还不够丰富，给公安业务的深入分析和落地定位带来了一定的影响。泰安市数据整合工作目前主要围绕警综、情报平台进行建设，对多警种的业务支撑有限，也无法满足山东警务云对数据整合与共享的要求。数据管理与共享问题。目前数据获取和数据存储方面由于存储分散、数据库格式各异，未能对数据进行有效的前期提取，各数据存储之间无法进行资源互通共享，难以实现关联串并，影响数据的关联查询、分析研判。各警种业务系统应用繁多，以垂直方式指导为主，呈现“纵强横弱”的状态，且系统间彼此孤立。各级各系统之间交互规范不一致，缺乏统一的数据存储、交换与共享标准，对资源的资源管理能力，无法进行现有资源的有效管理和开

12、发利用。数据深度应用问题。各个业务应用系统的规划和设计基本上是基于业务和职能部门的需求进行的，业务系统经过多年积累产生大量有效数据，但对数据的综合利用较少，且受限于业务内数据，缺乏面向全局的数据综合分析和挖掘，无法为实战应用、综合管理和顶层决策带来进一步的价值。二、建设目标开展泰安公安警务云数据中心建设，是在省厅“警务云”建设指导与泰安市局民警需求推动下，对泰安公安掌握的各类数据资源进行汇聚、整合、关联和管理，以服务形式开展数据共享，实现数据资源的综合应用和深度应用，为基层民警、业务警种和领导决策提供全方位的资源服务支撑。三、建设任务（一）构建数据中心基础环境泰安市警务云数据中心以泰安警务云基

13、础设施平台服务为依托，通过申请与部署数据中心所需的业务处理、数据分析、资源存储的基础环境，保障数据中心全天候不间断的运行和提供服务，满足公安业务对数据的高安全、高效、高可用、高扩展能力需求。（二）建立警务云数据中心将公安、社会、互联网数据集中到云数据中心，进行统一的转换、清洗、存储和管理维护，实现公安数据的统一存储、集中管理，并此基础上逐步对数据进行归类整理和建模，形成基于主题的数据资源，提供公安基础信息、主题信息资源服务。同时面向全局提供统一的数据存储服务，逐步推进公安信息化向警务云平台的过渡，实现公安数据的统一化、标准化、资源化、弹性化。（三）建立数据资源服务平台建立科学、公开、规范的信息

14、资源共享机制，依托资源服务总线对各地市、各警种提供服务接口，实现跨警种、跨地域的数据资源共享应用。通过统一的平台门户，实现各类应用功能的导航，提供数据服务、接口服务、应用服务和基础服务功能的入口，以及管理功能和信息发布及展现功能的入口。（四）开展数据处理与深度应用在实现公安数据统一、集中管理的基础上，利用大数据和云计算技术，构建统计分析和数据挖掘平台，实现面向不同数据的高效、深度应用，实现全局全警共享应用，服务于实战需求与科学管理决策。四、总体设计（一）建设目标泰安警务云数据中心建设，即警务云数据服务层（DaaS）建设，是大数据警务云计算体系的核心。根据省厅指导意见，泰安市公安局根据本市数据量

15、和业务需求，自行开展本地化云数据服务层建设。通过云数据服务层建设，把各类海量数据进行深度挖掘，重新进行组织和加工，形成标准数据并集中存储，变为有价值的信息资产，并以服务的方式提供上层的SaaS应用和各警种。将核心结构化数据、经处理的半结构化和非结构化数据推送省厅云数据服务中心，实现全省数据共享。（二）建设思路按照横向物理整合、纵向逻辑集成的总体思路，通过对公安业务应用系统产生的人、物、案事件、组织单位、地址、线索等的管理数据；各政府职能部门社会管理数据；互联网应用产生的各类数据进行汇集整合，围绕综合应用、分析和挖掘的目的，形成有价值的信息，以服务的形式提供给各警种、各区县警务实战。（三）总体架

16、构泰安警务云数据中心系统总体建设框架分为：基础设施、数据资源、共享交换、数据服务总线、应用数据处理、数据应用、运维监控、安全保障和标准规范体系几部分内容：警务云数据中心系统总体建设框架（1）基础设施：包括机房、主机、网络、存储、安全、基础软件系统等在内的所有相关信息化基础设施，本项目建设主要采用现有基础设施资源进行建设。（2）数据资源：包括各警种业务系统产生结构化数据和非结构化数据，以及基于基础资源库建立的各种主题库和数据集市。（3）共享交换：数据交换和共享平台负责数据中心与市局内部各业务系统之间的数据的交换，以及与民政等外部单位和之间的数据交换。（4）数据服务总线：系统架构采用面向服务体系架

17、构，实现各功能间松散耦合，同时与各外部业务应用系统之间、应用系统与支撑平台之间通过SOA的方式进行集成和整合，数据服务总线作为服务提供和消费的互通桥梁，实现服务的统一管理和监控，确保应用集成和部署的顺利进行。（6）数据应用：基于应用支撑层构建业务应用，包括云查询、云统计、云搜索、云比对、云服务等内容，以及市局和区县局访问门户、各警种的访问门户等。（7）数据处理：支撑平台以公共软件产品为基础，通过对公共软件的接口进行封装，面向应用层提供统一的公共软件服务层，并在此基础上开发公共业务组件，与数据服务总线一起共同构成应用集成与运行环境。（8）运维监控：通过运行监控平台直接监控各地的平台运行情况，集中

18、展现在市局的监控界面中。监控数据以日志形式予以保留，并可随时查阅历史监控数据。提供监控数据的统计分析功能，并可以生成运行监控数据报表。（9）安全保障：依托公安部下发的CA证书，重点设计身份鉴别、访问控制、安全审计等方面内容，以满足国家信息安全等级保护相关要求，应用系统的安全体系建设将严格按照公安行业安全保障体系的建设中要求的相应标准和规范来进行。（10）标准规范：遵循国家电子政务的信息化建设标准、公安部和省厅信息化建设标准，形成市局信息化建设标准并严格执行。（四）数据组织架构数据中心数据组织架构数据中心的数据组织架构由原始数据资源库、标准数据资源库和各类专题、档案数据库组成。原始数据资源库是采

19、用数据交换工具由数据源抽取得来的数据，这部分数据与数据源中的数据格式保持一致。标准数据资源库由原始数据资源库抽取，并进行数据清洗、转换与标准化，形成面向要素的标准数据资源。各类专题、档案数据基于数据总线对标准数据库的数据分发，形成面向各类专题应用的数据资源。（五）数据存储架构数据中心数据存储架构数据中心的数据采用关系型数据库、非关系型数据库、分布式文件等方式进行存储。关系型数据库用于存储原始数据库、标准数据库的结构化数据、资源信息数据（主数据、元数据、配置数据、资源目录）、关系型专题数据等内容。非关系型数据库用于存储标准数据库海量的结构化数据、半结构化数据、专题类数据（档案数据、分析型数据）等

20、。分布式文件系统用于非结构化的音视频数据、图片数据、文档数据，以及索引信息等。（六）硬件部署架构数据中心硬件部署架构数据中心主要硬件包括数据存储服务器、数据整合交换服务器、数据处理与服务服务器、数据应用服务器、数据管理服务器等。数据存储服务器集群包括原始数据库服务器、标准数据库服务器、大数据集群管理与数据节点服务器等。数据整合交换服务器包括数据整合服务器、数据清洗服务器、接入前置服务器等。数据处理与服务服务器包括数据总线服务器、服务总线服务器、各类数据处理服务器等。数据应用服务器包括门户应用服务器、搜索应用服务器、比对应用服务器等。数据管理服务器集群包括质量管理服务器、元数据管理服务器、主数据

21、管理服务器等。所有这些服务器，在公安云中心管理范围之内。除大数据集群使用物理集群之外，其它服务器即可使用物理服务器，也可依托警务云基础设施服务采用虚拟化构建的统一资源平台。五、建设内容（一）数据组织数据组织是借助于分布式计算、流式计算、内存计算、搜索引擎等多种技术，对非结构化的音视频数据、图片，以及从互联网上提取的网页内容和业务系统产生的结构化数据，通过数据抽取、清洗、转换、关联、比对、标识等过程，建立一个安全、可靠、稳定、高效的数据服务平台，使之成为标准规范的、面向业务的、有价值的、鲜活的数据，为上层应用服务，为民警日常工作服务，真正发挥其应有的价值，最大限度提升数据共享和服务能力的过程。主

22、要包括以下几个环节：1大数据来源警务云计算平台DaaS层“大数据”主要来自四个方面：一是互联网资源，主要包括：互联网访问记录、热点信息、论坛信息、邮件记录、聊天记录等数据，这类数据属于外部数据，需要专业的抓取工具，获取目标信息；二是音视频、图片，在平安城市建设过程中，随着大量物联网技术应用，产生的图像、视频“大数据”；三是物证信息，在案件侦查、审讯等过程中使用和采集的大量的物证信息，包括：指纹、DNA、足迹，以及各类现场物证，如：文档、图片、视频、音频等“大数据”，与卡口、治安监控等获取的“大数据”不同的是，物证采集过程中产生的“大数据”，有明确的特征信息，可直接与人、案事件、车辆等其他信息关

23、联。通过物证采集，可以防止嫌疑人翻供、串供，也可进行案件分析、并案等；四是大量的结构化“大数据”，比如公安的户籍数据、旅业数据、卡口的车辆信息等，另外也包括从交通、铁路、民航、电信等部门获取的结构化数据；这四类“大数据”存在以下几个特点：数据量大：已经有上百TB的结构化数据和PB级的非结构化数据。而且随着网络技术的升级，传感设备、视频以及移动终端设备的接入，每年新增的数据按倍速递增。数据格式多样：警务云计算平台中的大数据既包括关系型数据，又包括：音频、视频、图片、网页、文档等不同格式的文件，不同格式的大数据处理的方式和应用场景又不一致。共享程度低：由于建设出发点、设计理念、建设时间、平台选择、

24、架构设计、数据标准等因素的不一致性而导致系统间相互独立、信息分散等特点，从而形成信息孤岛。在“大数据”时代，传统的网络、计算架构、数据架构，已经解决不了用户计算、分析、管理、运维的要求。本方案通过利用云计算技术，更好地解决大流量、高并发、高响应、高实时需求所带来的计算、存储、扩容、负载均衡等问题，同时满足高安全、高可靠和高依赖的行业应用架构。2数据加工数据加工是借助于流式计算、分布式计算、搜索引擎等先进技术，对非结构化的音视频数据、图片，以及从互联网上提取的网页内容、各种文档进行清洗、转换、关联、标识、集成的过程。提取并存储特征信息，构建信息索引，建立信息之间的关联关系，用结构化信息描述非结构

25、化信息。信息使用者可利用预处理后的信息进行查询、检索、分析，从中挖掘大数据的价值，并与实际工作相结合，服务于民警的日常工作，以及满足政务和民众需求。结构化和非结构化的“大数据”在加工过程，是通过数据预处理、数据抽取、清洗、转换、关联、比对、标识等过程，对数据的标准化、规范化的过程，同时也是提升数据共享和服务能力的过程。“大数据”的加工主要包括以下几个过程：数据加工过程警务云计算平台中 “大数据”的数据加工过程包括数据预处理、清洗、转换、关联、比对、标识等环节。（1）数据预处理1）互联网“大数据”预处理。近年来，随着互联网应用的普及，利用互联网从事犯罪活动、舆情传播、各种炒作、敏感和热点信息传播

26、等日趋增多，并呈现出智能化、专业化、隐蔽化等特点，这给互联网监管和犯罪侦察工作带来新要求、新挑战，同时，随着互联网用户的增多和普及，产生了海量的互联网信息，传统的监管手段逐渐难以适应。利用信息技术，加强网上信息的收集、分析、研究和利用，可以及时了解和掌握网络舆情动向，掌握网络“虚拟身份”，做到“以实控虚、以虚强实、虚实对接、虚实一体”，加强网络社会“打、防、管、控、查、建”工作，及时掌握犯罪动向、特点及规律，通过对犯罪分子的行为、动机等进行分析，可有效提升侦查能力，有的放矢地开展侦查工作，创新侦查工作的新模式。在处理互联网信息时，首先利用“网络爬虫”从目标资源中获取信息，然后根据资源的类别，利

27、用不同的解析器进行解析，将各种文档转换成统一的结构。在分析之后，根据索引算法和规则，建立索引及排名，能够保证用户在搜索时，最快、最准确的获取想得到的内容。另外，在资源分析过程中，可利用流式计算等技术，对获取的敏感信息、黑名单、热点信息等，进行告警处理或监控。2）音视频 “大数据”预处理目前，视频图像平台产生了PB级的海量数据，但传统的技术架构只能做到数据的存储、管理、共享，而没有利用视频图像数据，对视频图像中的内容进行深层次的检索、分析、挖掘处理，不能在案情研判、情报分析时做到快速响应、快速定位、深度挖掘。警务云DaaS平台建设，需要利用分布式计算、流式计算、内存计算、搜索引擎等技术，建立一个

28、安全、可靠、稳定、高效的数据服务平台，为上层应用服务，为民警日常工作服务，让图像视频“大数据”更“鲜活”、更具有“生命力”，真正发挥其应有的价值。警务云计算平台卡口、电子警察、治安监控图像视频数据加工的过程如下：卡口数据组织3）物证 “大数据”预处理在案件侦查、审讯等过程中使用和采集的大量物证信息，包括：指纹、DNA、足迹，以及各类现场物证，如：文档、图片、视频、音频等“大数据”，此类数据与卡口、治安监控等获取的“大数据”不同的是，物证采集过程中产生的“大数据”，有明确的特征信息，可直接与人、案事件、车辆等其他信息关联。通过物证采集，可以防止嫌疑人串供、翻供，也可服务于案情研判和挖掘分析。此类

29、数据可直接采集特征信息，包括：嫌疑人信息、案事件信息、车辆信息等。4）结构化“大数据”预处理警务云DaaS平台中的结构化数据，既包括来自各业务系统的数据，又包括通过请求服务等从部、其他省市获取的逻辑数据，同时也包括：互联网、图像视频的摘要和元数据等。目前，省厅已经拥有PB级的结构化数据。在预处理时，需要根据业务系统的实际情况，分别处理。（2）数据抽取警务云在建设过程中，需要考虑与现有系统的衔接。对于功能完善、运行良好的现有系统，警务云提供更好的运行环境，并利用数据抽取工具，建立抽取模型，将现有系统数据整合、汇总。（3）数据清洗警务云计算平台中，由于数据来自多个业务系统，而且包含历史数据，因此，

30、数据中可能存在错误数据、不完整的数据、重复的数据等，这些数据被称为“脏数据”。数据清洗过程就是要按照一定的规则把“脏数据”“洗掉”，过滤那些不符合要求的数据。同时，还需要将被清洗掉的数据交给业务部门，由业务部门进行完善、修正之后，再次抽取。（4）数据转换警务云DaaS平台的数据，来自多个业务系统，有些数据没有按照统一的标准规范设计，因此造成数据难以与其他数据共享。比如：道路编号、门牌号数据在公安业务中非常重要，但是不同的系统在数据采集时，表述的方式是不一样的，造成数据可用性差。通过数据转换，按照统一标准，实现同一数据的口径和表述的一致性。（5）数据关联对DaaS平台中不同的事件、人、物品、车辆

31、、身份、关键属性、特征属性等信息进行关联，每一条记录与其相关信息联系起来。通过关联设计可以建立不同数据种类之间、不同要素之间的关系 ，实现全局范围内的关联查询、综合查询、快速检索。通过分析挖掘各资源间的深层次关联关系，为业务提供更全面、更有价值的信息，更好的服务于应用。（6）数据比对数据比对是数据深加工的过程，通过业务模型、信息或事件之间逻辑关系，对不同来源的信息进行比对，对真实与虚拟数据进行比对，进一步确定人、车、案事件之间的关系，通过不同类型数据之间的比对、碰撞等，有利于情报研判、案情分析、合成指挥。（7）数据标识数据库中的信息一般按照业务存储，特定业务查询的方式和要求不一样。数据标识主要

32、是对每一项查询的业务以及数据，用时间、人、组织、地点、案事件，以及基础属性、特征属性、关联属性等关键要素进行标识，同时标识数据的重要级别、关键程度、敏感信息，也可按照数据所属区域、位置、办案人员、涉案人员等进行标识。通过数据标识，可提升查询、检索的准确性和时效性。3数据存储对“大数据”进行清洗、转换、关联、标识、集成的之后，根据数据的使用方式等进行存储，主要存储方式有四种：数据存储（1）关系型数据库主要用于支撑并存储需要频繁进行事务处理的业务系统或已经按照传统技术架构建设完毕的业务系统产生的数据，以及公安部统一建设的应用系统产生的数据。（2）NoSQL数据库NoSQL数据库具有高扩展性、高可用

33、，能支持海量数据存储和高并发访问。（3）内存数据库在公安业务中，有些业务需要快速响应，比如：布控、可疑信息（电话、物品、人物、车辆、QQ号码）、热点信息（微博、论坛）等，但面对海量信息，传统的关系型数据库在实现这些业务时，性能和效率不尽人如意。关系型数据库由于需要从磁盘存取、内外存的数据传递、缓冲区管理、排队等待及锁的延迟等，使得事务实际平均执行时间与估算的最坏情况执行时间相差很大。而内存数据库，将整个数据库或其主要的“工作”部分放入内存，使每个事务在执行过程中没有I/O，则为系统较准确估算和安排事务的运行时间，使之具有较好的动态可预报性， 数据处理速度比传统数据库的数据处理速度要快很多，一般

34、都在10倍-1000倍以上。内存数据库主要存储：需要快速得到结果的即席查询、分析、挖掘。需要快速响应的事务处理。（4）分布式文件系统警务云计算项目中，涉及海量的结构化数据和非结构化数据，传统的集群模式已经不能管理和存储这么大的海量数据，而分布式文件系统，可以管理PB级的数据，可以存储、管理上百万文件，而且存储容量可以线性扩展。分布式文件系统将一个文件分为多个数据块，分别存储在多个节点上，通过任务调度模块，将一个大的任务分解到多个节点上执行，这样可以大大提升系统的计算、传输等性能。4数据组织警务云计算平台DaaS层建设时，需要整合内外部各类信息资源，并用各种关键要素、属性进行标识，建立不同粒度、

35、不同主题、不同维度的资源库、主题库、专题库，真正实现横向集成、纵向贯通、共享的、一体化的DaaS平台信息资源库。根据数据共享程度、存储粒度对DaaS层数据从逻辑上划分为以下几类：（1）资源信息资源信息库中主要包括三类数据：1）主数据。主数据是业务系统中的核心数据，大多数业务环节和功能模块都在使用，其特点是持续增长但单条记录变动较少。在公安业务中，组织单位、地址、警员、案事件、人口等数据都属于主数据。2）公用字典。公用字典是DaaS平台建设标准的核心要素，也是每个业务系统都在使用的数据，是在全局公用、共享的数据，其特点是数据量基本保持不变且变动较少。3）元数据。元数据是对各种信息资源、业务数据库

36、、非结构化数据、业务模型、业务规则，以及信息资源的各种属性特征元素进行统一管理，帮助用户从技术和业务角度掌握全部信息资源的生产、存储、转换和同步等所有相关活动，提升信息共享程度。（2）业务信息警务云计算平台业务信息库由多个主题库组成，设计数据模型一般采用第三范式、星型模型、雪花状模型等，包括最细粒度数据，同时可以根据数据统计、分析需要建立一定粒度的汇总数据。主题库的作用主要体现在以下几个方面： 面向主题。省厅各业务数据库中的数据是以业务系统为单元组织，而业务库中的数据是按照情报、治安、交通、人、车辆、案事件等主题域进行组织。主题是一个抽象的概念，是指用户进行决策时所关心的重点方面，一个主题通常

37、与多个操作型信息系统相关。集成的。省厅各业务数据库中的数据之间相互独立，有时候存在异构、不同形态的数据。而业务信息库中的数据是在对原有分散的数据抽取、清理的基础上经过系统加工、汇总和整理得到的，消除了源数据中的不一致性，以保证所有的信息是基于标准的、一致的全集信息。相对稳定的。省厅各业务数据库中的数据，根据业务随时发生变化。而警务云计算平台中的业务库数据主要用于综合查询，以及在案件研判、情报分析、安防布控等业务中进行决策分析。数据在进入业务库后，一般情况下将被长期保留，主要进行大量的查询操作，修改和删除操作很少，通常只需要定期的加载、刷新。（3）专题信息警务云计算平台专题信息库是为完成多种特定

38、的功能而构建的，由多个服务最终应用的数据，在集成模型、算法、规则之后组成，比如在案情研判、情报分析等过程中的信息比对，需要建立分析模型，并调用旅业信息、交通出行信息（火车票、高速驾车、机票信息）等，利用分布式计算、内存计算等算法，做出快速响应。（4）索引信息主要包括两部分内容：1）数据标签。利用“网络爬虫”从互联网上抓取网页，并通过语义标注分析网页内容，提取关键字和关键信息，如果出现敏感信息、热点信息，则直接给监控人员 “告警”，值班民警在收到系统报警后，进行重点监控，并采取措施，防止事态进一步扩散和升级。系统通过智能分析，分析并记录互联网上出现的热点信息和关键字。2）索引。数据库中的信息一般

39、按照业务存储，比如人的信息一般存储在户政系统、车辆信息存储在车架管系统，案事件信息有部分存在110接出警平台中，系统在查询使用过程中，需要快速对搜索、查询这些信息，因此，必须对这些信息重新标识，建立索引关系，对某一信息快速定位、检索。（二）数据处理警务云DaaS层建设，需要面对海量大数据，如何利用先进的技术和优秀的算法做出快速响应。而要解决这类问题，需要从两方面考虑：第一种是构建高效的分布式的I/O基础设施，对任务分解，从而实现海量数据的存储与读写。第二种是利用内存计算技术，构建更有效的数据结构，使得更多的数据能够放入内存中，消除I/O瓶颈，提升数据的访问能力。同时，利用优秀的算法，提升数据的

40、计算能力和性能。1计算引擎（1）分布式计算警务云计算平台中的决策分析、信息比对、日志分析、热点信息关键词分析等功能，需要处理海量数据及运算。分布式计算在面向大数据进行数据处理或挖掘分析时，将一个大的任务分解成多个子任务，然后把这些子任务交给多个节点（计算机）进行处理，最后把这些计算结果综合起来得到最终结果的计算技术。通过分布式计算技术，可以有效提升系统响应性能和效率。（2）流式计算传统的数据操作，首先将数据采集并存储在数据库中，然后用户通过操作界面和数据库进行交互，得到用户想要的答案。整个过程中，用户是主动的，而数据库系统是被动的。但是，在警务云计算平台中，实时布控等业务面对海量的互联网信息和

41、海量的车流、人流、电磁信息，监控人员需要快速定位事发第一现场并控制局面，发出告警信息。解决这些问题，传统的架构并不合适。流式计算就是专门针对这种应用场景准备的，在不断变化的海量流数据产生过程中实时地进行分析，捕捉到可能对用户有用的信息，并进行有效处理。（3）内存计算警务云计算平台中，对于信息比对、专题分析、数据挖掘等功能，需要运用海量数据，进行大批量的运算。但面对海量信息，传统的技术架构中，需要读取数据，然后在进行运算，性能和效率不尽人如意。而内存计算，将整个数据放入内存，使每个事务在执行过程中没有I/O，相对于关系型数据库的磁盘操作，内存的数据读写速度要高出几个数量级，一般都在10倍-100

42、0倍以上。2分析引擎（1）垂直搜索警务云计算平台中，经常按照人、车、组织单位、地址、案事件等信息及相关信息进行全文搜索，快速从系统内部查找并列出有效信息，进行核查比对、案情分析。此类检索功能首先需要对数据统一封装，按照关键标识进行关联，然后通过垂直搜索引擎实现。垂直搜索引擎是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。（2）信息挖掘建立挖掘模型，利用已有的海量数据，分析案事件关联、串并案，对高危人群及地区犯罪进行预警。警务云计算平台信息挖掘主要包括以下几个方面：1）对犯罪行为的分析犯罪行为分析本身是一门很复杂的学科

43、，渗透心理学、行为学等多门学科，需要相当的专门知识，利用已有的海量数据，建立分析模型，可以在拟定的算法下对大量的犯罪行为记录进行分析，从而发现犯罪的规律、趋势，了解不同犯罪行为之间的关联。2）对警力安排的决策，有助于合理布控在治安状况多变的情况下，如何预防和制止突发事件，如何进行合理的有效的布控，一直是公安部门考虑的头等大事。通过建立模型，进行信息挖掘，可以实现科学、合理地安排警力，既保证社会生活秩序，又不浪费警力，提升布控效率。 3机器学习（1）行为分析警务云计算平台是全省民警的工作平台，也是一个开放平台，平台提供多种功能，为使平台更易用、更好用。平台提供用户行为分析功能，对民警使用平台进行

44、定量和定性的分析，将民警最常用的功能放在最明显的板块。同时，对于社会公众，可分析访问日志行为，通过分析，不断完善相关功能，为社会公众提供更优质的服务。通过民警或公众的日常访问日志，对平台功能统计出点击热图，全面分析用户在页面的点击分布。通过民警或公众行为日志，分析用户的平台内访问路径、访问深度及页面停留时间，细分用户群体。通过民警或公众行为日志，找出最有吸引力的页面、最不受关注的页面，可以调整网站的功能，吸引用户。（2）智能推荐推荐引擎主要是基于全省民警行为分析结果，按照相同角色、相同地区、相同职务、相同业务构建推荐模型，给全省民警推荐可能感兴趣的功能模块。（三）数据服务警务云数据服务平台的建

45、设，基于云计算技术，要充分利用IaaS平台提供的基础设施，实现各类大数据存储、计算与管理。同时，遵循设计理念，基于信息资源共享平台，对底层的各类数据统一封装，对外提供数据服务，数据使用者无需关注数据资源的存储状态、位置、格式类型，屏蔽数据使用者与底层数据源之间的联系。1资源数据服务资源数据主要包括资源数据、元数据、主数据和公用字典，利用请求服务、ETL、WebService服务等多种方式，在全局范围内实现源数据、元数据、主数据和公用字典共享服务。2业务数据服务主要包括将业务过程中产生的数据，以及对数据关联组合后，按照各主题组织、管理的数据，主要用于在各警种、部门范围内实现共享。3逻辑数据服务指

46、通过请求服务、接口等方式获取的其他省市、公安部系统中的数据，逻辑数据服务是业务数据服务的特殊体现。4专题数据服务按照特定的业务模型、算法、规则，对业务数据进一步组织、深加工，对外提供服务于特定应用功能的专题数据服务。5图像监控数据服务利用图像监控预处理后的结构化信息、以及图像比对、人脸识别等技术，对外提供查询检索服务、图像比对服务、监控定位服务等。6海量非结构化数据服务利用海量的互联网数据，图像监控数据，通过搜索引擎、行为分析、智能推荐等技术，对外提供海量非结构数据服务。（四）数据应用1综合查询系统综合查询服务是利用预设或自定义的数据项以及关键字对平台内相关信息进行查找。按照“集中式”与“分布

47、式”相结合的原则，整合关系型、NoSQL型、文件型等不同类型数据库和数据查询服务接口，全面实现本地实体数据和外单位共享数据的全网一键式综合查询、二次检索及关系信息展现，为全警提供更为高效、便捷的数据查询服务。综合查询功能根据本地汇集的数据及共享的数据接口进行设计开发。2垂直搜索系统搜索引擎服务是指平台能够根据预设的策略，从公安信息网、国际互联网等网络上搜集网页信息，并对搜索结果进行组织处理后，面向全警提供网页信息的检索服务。3数据比对系统按照平台预设或用户自定义的比对规则，基于信息资源服务平台汇集的数据集进行交叉比对，或基于用户自行上传的数据与平台内数据资源进行比对。用户可根据具体问题流程化配

48、置比对模型方案。同时，具备比对方案的浏览、版本管理、导入导出、调度与过程检测等管理功能。4信息布控系统按用户权限和既定流程，将目标数据提交平台并按照预设的规则，在指定数据范围内进行数据比对，当有比对中结果时自动通知用户。平台提供“集中式”与“分布式”相结合的信息布控应用，通过实时比对、增量实时比对、递进比对、碰撞比对等技术实现方式，全库全网动态搜索布控目标。平台可根据目标数据的级别和类型设定不同的布控范围和信息传递方式，布控结果信息存入数据库，提供查询统计等功能。同时，提供信息布控管理功能，用户可自定义布控任务执行周期，并根据实际情况进行撤控、续控操作。5分类统计系统提供对各种结构化、半结构化

49、、非结构化数据的分类统计分析服务，生成全面的多种形式的统计分析结果，并通过表格、柱形图、饼图、曲线图等多种方式进行反馈展现，可通过OpenAPI方式提供应用系统对接访问。6分析服务系统主要是指趋势分析、异常分析、相关性分析等应用功能，为深度研判提供服务。趋势分析是指通过时间序列分析变化趋势；异常分析是指从大量数据中找出数据值、变化范围等明显异常的信息；相关性分析是指从两个或多个数据集中找出关联关系等。（五）数据管理1资源资源目录警务云信息资源目录建设，应遵循稳定性、关联性、标准性、精简性、统一性的原则，通过对信息资源进行规范和分类，帮助资源使用者（用户和开发人员）快速准确掌握信息资源的基本概况

50、，发现、定位、使用所需要的信息资源。信息资源共享目录（1）资源编目警务云计算平台共享信息资源目录建设，首先要对各警种提供的共享信息资源进行分析，理清共享信息资源的目录结构和资源之间的相互关系，根据信息内容的属性或特征，将信息按一定的原则和方法进行区分和归类，并建立起一定的分类体系和索引，最终保证资源编目命名简洁明了，对应数据准确无误，服务调用简单易用，从数据质量和性能上满足信息使用者需求。（2）资源注册业务部门根据实际工作需要，向警务云计算平台的资源提供者提出资源需求，或通过平台的智能分析引擎，对用户行为分析之后，得出需要建立那类信息资源。资源提供者根据标准规范，向注册系统提交资源所需的各类元

51、数据以及对应的服务。（3）资源审计信息资源管理者对提交的注册进行审计，审计内容主要包括：1）是否符合信息资源标准规范；2）信息资源元数据是否完整；3）检查信息读取是否正确；4）检查信息使用是否存在性能等可用性问题。（4）资源维护信息资源管理者对信息资源的分类、元数据等信息修改、维护。（5）资源发布信息资源管理者对审计合格的资源对外发布，发布后资源才能被使用者检索使用。（6）资源检索信息资源使用者根据元数据信息，检索并获取对应的资源信息。2数据质量管理警务云计算平台数据质量管理，是指对数据从获取、清洗、转换、关联、比对、标识、存储、应用等生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、

52、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理是循环管理过程，其终极目标是通过可靠的数据，提升数据在情报分析、案情研判等业务中的使用价值。数据作为警务云计算平台的核心之一，具有多重属性，其基本质量特性主要包括：适用性、准确性、完整性、及时性、有效性等五个方面，要对数据质量进行较好地控制，就必须对数据的五个基本质量特性进行很好了解，从而在各个方面采取措施，杜绝数据质量问题的出现，使数据监控工作能够真正达到控制数据质量的目的。 3访问权限管理信息安全作为一个有机整体，需要把安全过程中涉及的各种要素纳入一个紧密的统一安全体系中，安全涉及的各个

53、层面（应用、系统、网络、管理制度、人员等），数据安全应当从以下几个方面考虑：（1）数据库访问安全，建立健全数据库访问及授权机制，保证数据库用户拥有最少的权限，防止数据库受到 SQL注入式攻击。（2）数据传输安全，确保数据在用户端应用程序和数据源之间传输过程中的安全性，对于敏感信息、涉密信息需要加强密级。（3）数据加密存储，系统对必要系统数据和业务数据进行加密存储，从而保证即使是数据管理员也无法直接读取重要信息。（4）数据备份，做好数据容灾备份，确保在发生意外故障、灾难时可及时恢复，确保系统的正常运行。4安全审计及运行监控在数据使用方面，除确保数据安全外，还需要对数据使用进行审计。审计的方式包括

54、在线监控、日志审计。（1）在线监控通过设置各种参数，监控服务器的资源，保障系统运行安全。包括：1）对一个时间段内的并发会话连接数据进行监控；2）对一个访问账户或一个请求占用的资源分配最大限额和最小限额进行监控；3）设定应用报警值，当性能到达或低于报警值时，进行报警；4）根据安全策略，设定账户或请求进程的优先级，根据优先级分配系统资源。（2）审计日志为实施防抵赖，系统对于用户在使用系统期间的关键操作进行审计记录，管理员可以根据需要实时查看审计日志，监控系统资源的使用情况，以防范和化解系统安全风险。（3）日志分析根据元数据查询日志，统计访问中心网站的次数，统计不同信息资源元数据的查询次数。5元数据

55、管理警务云计算平台涉及多种信息资源、业务数据库、非结构化数据、业务模型、业务规则，以及信息资源的各种属性特征。因此，必须对这些特征元素进行统一管理，用户可以从技术和业务角度掌握全部信息资源的生产、存储、转换和同步等所有相关活动，提升信息共享，帮助技术人员和业务人员理解每一个数据的来龙去脉。警务云计算平台元数据管理是对公安信息资源的规范化描述，是按照公安行业信息标准，从信息资源中抽取出共性特征，组成的一个特征元素集合，是用一组属性描述定义、标识、表达、转换规则和允许值的数据单元，这种规范化描述可以准确和完备的说明信息资源的各项特征，帮助信息资源使用者能够准确定位资源、准确规范的使用资源。6主数据

56、管理主数据是公安行业的核心数据，包括：警员、组织机构、标准地址、案事件、人员等信息，大多数业务环节和功能模块都在使用，其特点是持续增长但单条记录变动较少。在主数据管理中，要从主数据组织、管理、共享几个方面着手。六、建设步骤（一）需求调研与业务梳理统筹泰安市公安数据中心与泰安市警务云建设的进度安排，落实泰安市公安数据中心与省厅数据平台的共享机制，充分，开展数据中心在泰安全警种的推广宣传，综合各警种通用与专题数据服务需求，广泛调研论证后制定科学的设计方案。梳理泰安市局及区县局各警种应用业务系统情况，对各警种业务系统的数据类型、数据规模进行统计分析。对原业务系统进行数据清理整顿，在确保数据质量基础上，进行各业务系统数据登记注册，全面掌握我市公安数据资源。根据目前各业务系统对计算、存储、网络需求及两至三年内的扩增情况进行预计，进行底层物理支撑平台的搭建，对需求的基础资源进行动态申请与部署。（二）数据中心主体搭建搭建数据中心基础环境，包括传统数据库管理系统及分布式管理框架，以及数据整合过程中所应用的各类软件工具，采用多种数据交换机制，抽取与整合主要警种业务系统数据，初步搭建基础数据资源库，实现数据的集中存储与管理，支撑数据的加工与共享。对基础数据资源进行重新组织与加工，形成标准数据并分类存储，搭建应用服务数据库，形成数据资源目