省治安视频监控综合应用项目方案.doc

广广 州州 市市 公公 安安 局局 广州市公安局广州市公安局 省治安视频监控综合应用省治安视频监控综合应用 平台基础架构改造项目（二期）平台基础架构改造项目（二期） 建建 设设 方方 案案 广州市公安局 XXXX 社会治安视频监控系统建设方案 第 1 页 共 73 页 广州市广州市公安局编制公安局编制 20132013 年年 6 6 月月 第 1 页 目目 录录 第一章第一章概述概述3 1.1项目背景 .3 1.2建设内容 .3 1.3参考依据 .4 第二章第二章现状和需求分析现状和需求分析.5 2.1现状分析 .5 2.2需求分析 .6 2.2.1省视综平台基础软硬件建设总体需求分析6 2.2.2实战数据分析研判、业务系统联动需求分析19 2.2.3并行处理数据仓库需求分析 .20 2.2.4并行数据处理数据仓库架构技术需求分析21 第三章第三章建设目标与原则建设目标与原则.26 3.1建设目标 .26 3.2建设原则 .26 第四章第四章建设模式与范围建设模式与范围.29 4.1建设模式 .29 4.2建设范围 .29 第五章第五章省视综平台的基础软硬件改造系统建设省视综平台的基础软硬件改造系统建设30 5.1总体结构 .30 5.2基础软硬件系统主要功能30 5.3视频专网分布式分布式节点存储平台31 5.4公安网分布式节点存储、视频数据集中 NAS 存储平台32 5.5数据仓库并行数据分析挖掘介绍33 5.6IBM WEBSPHERE中间件软件37 5.7ORACLE RAC 数据库双机软件.52 5.8公安网和视频网开发对接方案55 第六章第六章实施方案实施方案 57 6.1实施组织 .57 6.2实施进度安排 .58 6.3项目预算 .58 6.3.1采购清单.58 6.3.2资金概算.60 第七章第七章管理和维护方案管理和维护方案.62 7.1管理和维护组织机构62 7.2管理机制 .62 7.2.1公安局相关职责.62 7.2.2相关部门的工作职责.62 第 2 页 7.3维护机制 .63 7.3.1系统运行.63 7.3.2运维服务要求.63 7.3.3运维服务期的管理要求.67 7.4效益评估 .67 7.4.1经济效益评估.67 7.4.2社会效益评估.67 第 3 页 第一章第一章项目概述项目概述项目概述项目概述 1.1 1.1 项目背景项目背景 作为中国四大城市之一的广州，广州市公安局在市区所辖的治安摄像头数 目、监控员数目、案件视频容量远超过其他二、三类地市；并且广州市公安局 视频建设采用专网方式建设，即独立于公安网组建视频专网，视频专网上约有 32000 个摄像头，监控市区主要街道、广场、重点单位、重要路口等。 广州市公安局应省公安厅要求，在公安内网建设视综平台（视频综合应用 平台） ，视综平台的核心功能之一是与警综平台等其他业务平台进行数据联合与 共享，同时调用视频专网中专职监看员剪辑的视频录像，以提高办案质量和效 率。 考虑到省治安视频监控综合平台整套系统部署在市局供全市访问，将会给 增加视频主干网络负担，对治安视频监控、分析研判、查询工作产生影响。因 此视综平台建设是在各分局部署视综平台，将市局集中存储模式改为各分局分 散存储管理模式，以实现网络负载的分散化。广州视综平台基础架构建设项目 分两期进行，在已经建设的一期项目中，购置了 4 台服务器和 2 台磁盘阵 列，在视频网和公安网各搭建了一套数据库集群。视综平台的一期项目对基础 架构改造后数据库性能得到极大提高。 广州视频综合平台承担着市局直属分局视频数据的上传、存放、分析、研 判等工作，以及市全市视频网的重要数据的上传、存放、分析、查询，并提供 与省公安厅的视综平台对接任务。原来的视综平台只支持省市两级架构， 因此需要进行视综平台的基础架构的升级改造改造，支持省、市、 区三级架构。 随着高清视频数据应用日益广泛并且大量的案情监控、分析、研判、查询、 重要数据的归档存放应用，对视综平台提出快速、高效、稳定并支持大量并发 查询的 IO 需求；在数据读写应用上针对视频分析研判中的“结构化数据”和 “非结构化数据”之间“交叉索引”的并行处理要求很高。 1.2 1.2 建设内容建设内容 针对视综平台第一阶段试点使用的设备的数据运行处理性能的临时性，在 交叉数据库并行处理分析的性能不能满足快速增加的全市各分局 500 个的并发 第 4 页 查询，为此要进行基础架构升级改造，保证视综平台未来 3 年的正常稳定运行； 本项目建设内容包括： 一、构建市局视频专网分布式节点存储节点系统； 二、构建公安网节点存储分布式节点、视频数据集中存储； 三、中间件软件，四、数据库软件； 五、数据仓库并行处理数据软件； 六、省市视频平台对接开发，集成以及维护升级等。 1.3 1.3 参考依据参考依据 1)1)政府文件政府文件 关于加强和创新社会管理的意见 （中发201111 号） 关于深入开展城市报警与监控系统应用工作的意见 （公科信 201030 号） 关于加强社会建设的决定 （粤发201117 号） 广州市国民经济和社会发展第十二个五年规划纲要 城市报警与监控系统建设指导性技术文件 城市报警监控系统建设方案设计要素 广东省社会治安视频监控系统建设指引 广东省公共安全视频图像信息系统管理办法 广东省社会治安视频监控系统数据传输技术规范 广东省社会治安视频监控系统建设三年规划（2012-2014 年） (粤 综治委201211 号) 广州市社会治安与城市管理智能化视频系统建设规划（20132016 年） 实施广州大学城提升计划工作方案 2)2)国家、行业及地方相关标准规范文件国家、行业及地方相关标准规范文件 安全防范工程技术规范 （GB503482004） 视频安防监控系统技术要求 （GA/T367-2001） 中华人民共和国公共安全行业标准 （GA887-2010） 建筑与建筑群综合布线系统工程设计规范 （GB/T50311-2007） 建筑物电子信息系统防雷技术规范 （GB50343-2012） 安全技术防范防雷设计规范公安部 第 5 页 安全防范视频监控联网系统信息传输、交换、控制技术要求 （GB/T28181-2011） 广东省安全技术防范管理条例 第 6 页 第二章第二章 现状和需求分析现状和需求分析现状和需求分析现状和需求分析 2.1 2.1 现状分析现状分析 广东省公安厅视综平台是一套包括视频剪辑标注、研判、业务系统联动等 功能的软件，为广东省各级公安机关提供及时发现警情、掌控现场情况、支持 研判分析、快速应急处置与综合调度指挥等直观手段。 省视综平台目前在全省各地市推广使用。视综平台运行模式为：在地市公 安局（公安网）部署一整套系统，供全市监看员、办案民警访问。系统为省、 市两级架构，省厅收集各地市数据，实现全省视频资源共享。 广州市公安局目前已展开了视综平台的试点应用工作。由于广州市的视频 监控工作主要在视频网进行；因此，需要在视频网和公安网都运行视综平台， 并实现视频网和公安网信息的同步。由于视综平台使用的所有公安网服务，在 视频网都不存在，为使视综平台在视频网高效稳定运行，需要进行相应基础架 构升级改造工作。8 原有设备列表如下： 服务器服务器设备设备备注备注 公安网公安网 应用服务器IBM X3650（旧） 视频服务器IBM X3650（旧） SAN 存储设备（存视频） （旧） 数据库集群服务器 1IBM X3850（一期购买） 数据库集群服务器 2IBM X3850（一期购买） 磁盘阵列（数据库用）DCN VNS5100 数据库集群共用 （一期购买）12*300GB=3.6TB 视频专网视频专网 应用服务器IBM X3650（旧） 视频服务器IBM X3650（旧） 警综数据库IBM X3650（旧） SAN 存储设备（存视频） （旧） 数据库集群服务器 1IBM X3850（一期购买） 数据库集群服务器 2IBM X3850（一期购买） 磁盘阵列（数据库用）DCN VNS5100 数据库集群共用 （一期购买）8*300GB=2.4TB 现有的大约运算处理能力已基本满负荷运行将原有的服务器应用层和存储 第 7 页 层之间架构一层数据处理层（分布式节点）来存放和处理数据才能满足高速增 长数据量和分析研判的需求，同时释放原有服务器的数据处理资源来填补应用 处理性能的不足。 边边界界接接入入平平台台 数数据据交交换换系系统统 公公安安网网 入入侵侵检检测测设设备备 集集控控系系 统统探探针针 网网闸闸 视视频频 服服务务器器 数数据据 交交换换 外外服服 务务器器 数数据据 交交换换 内内服服 务务器器 三三层层交交换换机机防防火火墙墙 内内网网交交换换机机 视视频频 服服务务器器 警警综综数数据据库库 视视综综平平台台 越越秀秀分分局局 市市局局 市市局局 SAN存存储储 设设备备 SAN存存储储 设设备备 越越秀秀分分局局 应应用用 服服务务器器 视视综综应应用用 服服务务器器 视视综综数数据据库库 客户端 客户端 视视综综数数据据库库 视视频频 服服务务器器 海海珠珠分分局局 SAN存存储储 设设备备 *分分局局 图例 1：视综平台一期改造后架构图 2.2 2.2 需求分析需求分析 广州市的治安摄像头数目、监控员数目、案件视频容量远超过其他二、三 类地市，整套系统部署在市局供全市访问，将会给增加视频主干网络负担，对 治安视频监控工作产生影响。因此需要在各分局部署视综平台，将市局集中存 储模式改为各分局分散存储管理模式，以实现网络负载的分散化。由于原平台 只能基本满足支持省市两级架构，因此需要进行平台改造，支持省、市、区三 级架构存放、处理和分析。 .1 基础架构建设总体需求分析基础架构建设总体需求分析 广州视综平台基础架构建设项目分两期进行，在已经建设的一期项目中， 购置了 4 台服务器和 2 台磁盘阵列，在视频网和公安网各搭建了一套数据库集 群。视综平台的一期项目对基础架构改造后数据库性能基本满足当前的要求。 由于市局在视频网的下属分局所辖派出所客户端数量迅速增加，平均每个派出 所需要访问查询视综平台的客户端是 2-3 个，其中：荔湾分局 23 派出所、天 河分局 23 派出所、白云分局 25 派出所、花都分局 18 派出所、番禺分局 19 派 出所、黄埔分局 10 派出所、南沙分局 9 派出所、增城分局 13 派出所、从化分 局 16 派出所、萝岗分局 10 派出所、白云山分局 2 派出所、水上分局 5 派出所、 地铁分局 8 派出所共计 215 个派出所，估计至少日常的平台支撑查询是 500 个 并发；而在公安网需要支撑的查询数量由直属分局：水警、白云山、地铁、便 第 8 页 衣以及刑侦、治安等直属单位的并发在 200 个客户端以上，大量是查询数据读 写 IO 需求堆积在服务器上，极容易产生运算性能峰值导致的宕机和单点故障。 以及双机 RAC 同时，为此需要针对市局视频网的 500 个并发用户和公安网 200 个并发用户的规模构建两套可快速扩展的分布式节点横向扩展的节点存储 释放服务器的数据处理能力，提升原有服务器的应用处理能力构建交叉结构的 处理层的数据仓库。 视综平台视频专网和公安网节点存储需求分析视综平台视频专网和公安网节点存储需求分析 当前的广州视频专网视频文件数据量已经非常庞大，在案事件的视频上传 省厅视综平台的数据容量也非常可观；同时结构化数据和非结构化数据的交叉 应用查询分析业务要求很高，根据省厅视综平台大数据和省厅的四合一平台 （视综、治安、警综、卡口）规划指导意见，我单位相应的参考省厅意见按照 建立一个统一接入、统一存储及统一共享的大数据平台，具备分布式海量存储 能力、高性能并发读写能力以及分布式计算及分析挖掘能力的视综平台。 （一）（一） 、总体要求、总体要求 大数据平台需要有以下能力要求： 1.1.统一接入统一接入 系统需要提供统一接入接口，可接入全省已建的公安系统、交警系统，以及 持续增长的新建系统。 2.2.高性能高并发实时数据读写高性能高并发实时数据读写 各级大数据中心必须能够提供高性能和高并发的实时数据读写。如果在性能 上不能到达要求，就会产生写不进查不出等问题，造成系统无法使用。 3.3.海量数据存储能力海量数据存储能力 基于数据的持续积累及快速增长等特点，在加入冗余容错的需求下，全省大 数据整合及共享平台需要有 PB 数据级别的在线存储能力。 4.4.跨数据中心数据访问能力跨数据中心数据访问能力 系统需要建立一个覆盖全省的虚拟大表来存放数据，以利于业务的跨地级市 查询统计。每一个使用者可以透明地调用这个虚拟大表，系统会自动按照区域 将相关记录存放在对应数据中心中。在读取时，同样根据数据到相关数据中心 读取。同时，在省中心需要建立全省过车数据备份中心，同时可以实现全省范 围数据跨地市的查询、统计、挖掘业务。 5.5.基于分布式数据库的实时统计基于分布式数据库的实时统计 数据适合于存放于支持实时读写的分布式数据库中。但对历史数据进行统计 分析及汇总挖掘时，还需要系统可以支持基于分布式数据库中数据的类 SQL 语 第 9 页 言的秒级统计查询。 6.6.不停机动态扩容不停机动态扩容 数据中心的数据容量需要随着业务的发展动态扩充，而在扩充的同时不能造 成数据平台的服务终止。所以，数据中心必须具有在不停机继续提供服务的情 况下的动态扩充的能力。 7.7.分布式并行数据统计挖掘分布式并行数据统计挖掘 基于数据中心的海量数据做的数据统计和挖掘会需要大量的数据读写，所以， 数据中心需要提供一个分布式的数据统计挖掘框架，使得统计分中心的服务器 上自动并行运行，并将结果进行汇总。 （二）（二） 、技术选型、技术选型 目前大数据存储及处理公认最为主流的商用化技术为 Hadoop。Hadoop 是一 个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分 布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop 是一个 可以更容易开发和运行处理大规模数据的软件平台。该平台使用的是面向对象 编程语言 Java 实现的，具有良好的可移植性。 Hive 数据仓库 Sqoop 关系数据ETL工具 Flume 日志收集工具 Hadoop Manager 安装、部署、配置、监控、告警和访问控制 Zookeeper 分布式协作服务 Pig 数据流处理语言 Mahout 数据挖掘 HBase 实时、分布式、高维数据库 Map/Reduce 分布式计算框架 HDFS 分布式文件系统 HadoopHadoop 的关键技术的关键技术 1、HDFS:一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对 上层程序提供一个统一的文件系统 API 接口。HDFS 针对海量数据特点做了特别 优化，包括：超大文件的访问，读操作比例远超过写操作，PC 机极易发生故障 造成节点失效等。HDFS 把文件分成 64MB 的块，分布在集群的机器上，使用 Linux 的文件系统存放。同时每块文件至少有 3 份以上的冗余。中心是一个 NameNode 节点，根据文件索引，找寻文件块。 第 10 页 例如：公安卡口系统每条过车数据都包含 1-2 张过车图片，采用 HDFS 分布 式文件系统存储数以亿计的过车图片，可解决传统关系型数据库下海量图片文 件的存储难题。 2、HBase:一个分布式的、按列存储的、多维表结构的实时分布式数据库。 它可以提供大数据量结构化和非结构化数据的高速读写操作，为高速在线数据 服务而设计。 3、Map/Reduce:大多数分布式运算可以抽象为 Map/Reduce 操作。Map 是把 输入 Input 分解成中间的 Key/Value 对，Reduce 把 Key/Value 合成最终输出 Output。这两个函数由程序员提供给系统，下层设施把 Map 和 Reduce 操作分布 在集群上运行，并把结果存储在 HDFS 上。 4、Hive:基于 Hadoop 的大数据分布式数据仓库引擎。它可以将数据存放在 分布式文件系统或分布式数据库中，并使用 SQL 语言进行海量数据统计、查询 和分析操作。 5、Zookeeper:针对大型分布式系统的可靠协调系统，提供的功能包括：配 置维护、名字服务、分布式同步、组服务等。它可以维护系统配置、群组用户 和命名等信息。 HadoopHadoop 的一些特点的一些特点 1、扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节 （PB）数据。在不保证低延时的前提下，具有相当大的吞吐量，非常适合海量 数据的运算。 2、成本低（Economical）：可以通过普通机器组成的服务器群来分发以及 处理数据。这些服务器群总计可达数千个节点。而且每个节点都是运行在开源 操作系统 Linux 上面的。 3、高效率（Efficient）：通过分发数据，hadoop 可以在数据所在的节点 上并行地（parallel）处理它们，这使得处理非常的快速。 4、可靠性（Reliable）：hadoop 能自动地维护数据的多份复制，并且在任 务失败后能自动地重新部署（redeploy）计算任务。 5、维护和升级技术支持：由于 hadoop 的算法有很多，同时采用开源的方 式支持 X86 架构的硬件设备，为此在维护的升级技术支持是建设方投入需要考 虑是否有足够的开发人员和驻场人员来帮正系统的稳定运行，一般没有足够的 开发和驻场人员的应用建议使用封装的软硬件一体化设备厂商的产品、例如： Oracle Exadata 架构；EMC 的 Greenplum 架构;IBM 的 （三）（三） 、总体结构、总体结构 第 11 页 选用基于 Hadoop 实时分布式数据库的 HBase 跨数据中心部署方案。根据数 据容量的大小，可在地市或区县建立分数据中心。在省中心设立结构化数据汇 总中心，在做全省分中心的结构化数据实时备份中心的基础上，还可以实现跨 地市的数据查询、统计和挖掘。 其总体结构见图： HBase 分布式数据库跨数据中心部署结构 该系统具有如下特性： 1.1.地理分布的数据中心地理分布的数据中心 系统由 1 个省中心和若干个分数据中心组成。分数据中心地理上分布在全省 各个地级市或区县，每个地级市一个数据中心，它们之间通过公安专网连接。 数据中心内部的网络由一层交换机组成，每台机器的带宽为 2Gbps，由两个 1Gbps 以太网的链路聚合提供。 2.2.跨数据中心的跨数据中心的 HBaseHBase 集群集群 HBase 数据库系统建在多个分离的数据中心之上，对用户呈现一张大的数据 表。这些表的不同部分（不同分区）存放在不同的数据中心上，位置信息对应 用程序透明。 3.3.HBaseHBase 分区分区 每个数据中心建设一个 HBase 集群，存放大表的一个分区。分区的分配在系 统初始化时完成。数据导入时根据设定的逻辑对每一行数据进行分区，然后导 入到合适的分区。各数据中心存放本地级市内监控点采集的数据，省厅数据中 心用来存放数据分布信息。 4.4.数据的局部性数据的局部性 本地级市的产生的数据，通过现有网络上传，被优先存放到本地数据中心， 第 12 页 实现数据存放的局部性，这样可以保证数据写入的低延时。 5.5.数据复制和容灾数据复制和容灾 数据中心内部，结构化数据被复制 3 份（缺省份数） ，当磁盘故障或机器故 障发生时，可自动修复数据。机器故障发生时，其他机器将自动接管故障机器 管理的数据，仍然可以写入数据。也就是说故障对应用是透明的。为了兼顾高 容量数据存放成本，非结构化数据复制一份，存放在基于 RAID5 的服务器硬盘 之上。即使遇见服务器故障，也能在服务器硬盘修复之后恢复数据，不会造成 数据丢失。 6.6.跨数据中心集中灾备及综合应用跨数据中心集中灾备及综合应用 各个分中心利用 HBase 的跨数据中心大表容灾功能，实现跨数据中心的结构 化数据热灾备。各分中心的结构化数据，都可以准实时地增量备份到省中心 HBase 集群中。同时，省中心的应用可以使用这些汇总备份数据，实现基于全 省范围数据的综合应用。 7.7.升级平滑升级平滑 HBase 是一个分布式的、按列存储的、多维表结构的实时分布式数据库，无 需事先定义表的 Schema，行与行之间的列定义都可以改变。当有新型识别软件 或分析软件出现时，无需添加新设备，或者迁移原有数据，系统动态无缝升级 至新版本：当业务系统更新使用新的列定义时（比如新版本的图形识别程序返 回更多维的图像识别信息） ，可以直接导入新的列定义的行，新的数据和老的数 据可以在同一张表中共存，从而实现新旧数据共通的统计查询。 8.8.计算与存储统一计算与存储统一 安装了 Hadoop 的服务器集群，是原始数据的存储集群，同时也是统计查询 的计算集群。无需添加新设备，Hadoop 的 HBase 套件不仅解决了海量数据存储 问题，而且支持实时增量统计应用。 为此在视综平台的视频专网和公安网分别构建一套封装好数据库和数据并行 仓库的分布式节点存储来承载数据处理层的并行数据处理任务，承担架构化数 据的存放；并释放原有服务器运算能力，支持该平台符合省视综平台实战使用 的要求。 视综平台公安网视频集中存储需求分析：视综平台公安网视频集中存储需求分析： 根据省厅视综平台的使用管理要求，视频专网的片段上传到视综平台（公 安网）前不做视频转换，视综平台直接按原格式保存，此模式和其它地市视综 平台不同，广州市公安局省视综平台需要提供播放器控件，用来播放这些视频， 也就是意味着在视频专网的数据只作保存，上传后先做保存归档再做视频转换 并对案事件的视频文件永久保存，视频转换前需要架构一套与 IP-SAN 架构有 第 13 页 效对接的大容量 NAS 协议视频文件存储来存放剪辑后的案事件原视频文件。 由于试点阶段使用的临时设备的数据处理能力不能满足急剧增长满足未来 1 年视综平台的使用要求，公安网的数据存储容量新增需求按照 1500 条视频/ 月，8MBb/秒（平均案件视频） ，新增数据总量 7.83TB/月，94TB/年，以满足 3 年 282TB，当前 3.6TB 的数据存储空间明显不能支撑公安网各分局在省视综平 台应用要求，为此要进行基础架构升级改造，保证视综平台的正常稳定运行, 对应视综平台数据量爆炸式的增长的应用存储系统适合采用逐年逐步建设的方 式，并选用可快速无限横向扩展的大文件存储设备来满足视综平台的使用要求。 1080P1080P 高清的最低码流数据计算公式高清的最低码流数据计算公式 计算公式计算公式时间时间数量数量单位单位 每天 30 条案件上传，平均每条 关键事件 180 秒，每秒最低码 流 8Mb 天72000Mbps 1500 条月2160000Mbps 547500 条年788400000Mbps 1/8年数据换算98550000MB 1/1024单位换算96240.23438GB 1/1024单位换算93.98460388TB 鉴于当前省视综平台的公安网和视频专是分开的，视频专网的数据大量存 放在各区局的视综平台存储上，目前主要依靠人眼进行识别、研判和甄选，各 分系统有模拟文件、数字文件、标清文件和高清文件为各区办案、查询提供协 助和依据；而公安网视频综合平台是存储市局和直属分局数据的，在数据传输、 IO 响应、应用系统对接各有不同的需求。为此，我们需要在视综平台建立二套 存储系统：一、存放上传尚未转化的案事件视频数据的集中 NAS 存储-提供快速 读写 IO、节点运算无限扩展，为数字化研判手段提供快速查询的功能 IP-SAN 架构的 iSCSI 接口，NAS 传输协议的 iSilon 存储系统；二、系统数据和关键数 据库存储系统，在原有架构的 2 套存储存放结构化系统数据不变的情况下分别 在公安网和视频专网机构分布式节点存储。NAS 存储对需要长期大量保存数据 转换分析研判并告诉增长数据容量的应用环境提供强大的 IO 支持。为此公安网 视频集中 NAS 建设应按以下几点建设 一、整体架构一、整体架构 省视综平台适合应用的集群存储应该是具备 Scale-out 内部横向扩展架构 第 14 页 支持外部 IP-SAN 架构的 iSCSI 接口，NAS 传输协议的集中存储系统，整体的网 络架构如下图所示： 集群存储主要分为三个组成部分： 前端网络： 集群存储前端网络采用千兆以太网或者万兆以太网，接入客户现有环境的 核心交换机。 存储节点： 集群存储的存储节点分为平台节点，扩展节点。 后端网络： 集群存储架构支持 SDR、DDR 和 QDR 的 Infiniband 交换机。 （一）横向扩展架构（一）横向扩展架构 横向扩展存储应该为满足 视综平台日益增长的存储需求 而能随需而动。横向扩展存储 有着和传统存储截然不同的设 计理念。对于传统的存储设备， 所有的客户端连接都通过一个或者是两个控制器来实现，同时伴随着 LUN，Raid 组，卷管理等概念，而且每个存储系统都有卷，性能以及数据安全 性方面的局限，所以随之企业需求的不断增长，更多的卷，更多的 Raid 组，甚 第 15 页 至是更多的存储系统也随之而来。于是今天我们经常听到存储孤岛，存储的肆 意扩展也成为众多 IT 管理者面临的难题之一。 反观横向扩展集群存储是一个由节点构成的单一的文件系统，没有了 LUN，Raid 组等繁杂的概念。每个节点基于工业标准的硬件来设计，节点之间 采用低延时的 Infiniband 高速网络互联。它是一个真正的分布式存储系统，可 以实现容量和性能的线性增长，并且提供了单一的名字空间和管理点。 （二）操作系统（二）操作系统 操作系统能将传统存储的文件系统，卷管理器和 RAID 合成一体，创建了一 个对称的可以横跨集群中所有节点的文件系统。 操作系统是真正的分布式架构， 它可以智能的将数据在集群中的所 有节点上分片存储，最终生成一个 统一的共享的存储池对外提供服务。 在操作系统下，所有的节点的地位 是相同的，克服了节点的等级差异 和内在的瓶颈。每个节点都可以处 理数据请求。集群的中的每个节点 都清楚的了解整个文件系统的布局， 以及每个文件是如何存放的。其他 存储系统通过 RAID 和卷管理层来 传输数据，产生了数据布局的低效 率。而操作系统直接在磁盘上控制 文件的布置，通过优化文件在集群上的分配，极大地改善了磁盘子系统的性能。 通过以一个文件接着一个文件的方式在磁盘上布置数据，OneFS 能在卷、目录 甚至是文件的层级上来控制存储系统的冗余水平。 真正的分布式单一全局命名空间与简单的命名空间综合不同，分布式文件 系统可以智能地将数据存放到集群的节点上，创建一个共享存储池，应用范围 很广，包括对非结构化数据的制作、分析、传输和归档。 （三）、性能和扩展性（三）、性能和扩展性 存储系统消除了不断增加的工作负载所带来的挑战。通过操作系统，存储 系统自动的使用每个节点上的可用存储空间和计算资源（例如缓存，CPU 以及 网络） ，这就使得整个系统的容量和性能可以在需要的时候透明的扩展。通过扩 展节点，整个存储系统的性能和容量可以同步扩展，如果只需要扩展性能，可 以选择加速器，如果仅需要增加容量，可以选择容量扩展节点。视频横向节点 第 16 页 存储为视综平台管理者们提供了完整的解决方案。 视频存储应当可以无中断的扩展到 10 个 PB 或以上，最大满配情况下一个 集群中的 100 多个个节点最高可提供超过 85GB 的聚合带宽。同时该视频集中存 储容易安装，管理和扩展。一经上架，一个 100TB 以上的存储集群可以在 10 分 钟之内完成配置，另行增加的节点可以在生产环境中在线添加，而这个添加过 程可以在 60s 之能完成，并对外提供服务。 当集群增加新的节点和容量后，专有的 AutoBalance 功能会自动实时通过 IB 交换机平衡数据在集群节点上的分布，而且操作系统（单一文件系统）能够 动态调节数据重新分布进程的级别，更好的利用存储和服务器的资源，为客户 端提供更加有效的性能，最大化程度提高性能和存储利用率，消除停机时间。 有了这些功能，当平台升级存储系统 时，再也不需要手动地迁移数据或者 是改变应用逻辑了。 传统存储设备在性能上存在瓶颈， 当设备被部署之后，其性能的上限就 会确定（如右图所示） ；随着硬盘的不 断增加，这个上限也会随之来临。当 实际需要对性能和容量同时扩展时， 主要可采用的手段就是更换设备控制 器。而横向扩展方案可以有效的解决 这个问题，额外添加的节点可以容易的满足性能和容量两个维度的扩展需求。 （四）、可用性和可靠性（四）、可用性和可靠性 存储系统的操作系统使得横向集中存储可以提供优良的可靠性和可用性。 集群中的每个节点是等同的，所以可以接管任何其他节点的工作。显然，这带 来了高于传统存储产品只能在两个 控制器之间来做高可用的灵活性。 内部优化软件提供能在短时间 内重建发生故障的磁盘的功能，利 用整个集群内的空余存储空间来规 避数据丢失的风险，主动地监控和 抢先将数据从有风险的组件迁移出 去。传统的企业存储系统将重建操 作局限在存储系统的子集内进行， 这导致出现了恢复的瓶颈，增加了重新保护数据的时间，大大增加了当单个组 第 17 页 件发生故障时数据丢失的风险。传统的 RAID-5 等保护方式，在重建工作完成之 前，如果出现多个组件故障，就会引起数据丢失。相比之下，优化软件能自动 地将所有的数据和错误更正信息分布到整个集群上，其高效可靠的错误更正技 术保证了所有的数据保持完整，即使在同时出现多个组件故障的情况下也能被 方便地被存取。 这套集群存储的数据安全性非常高，可以提供两个级别的容错： 第一个级别是结点级的容错，还是用将一个文件写到集群存储里做示例， 还是用八个节点，文件被操作系统分成八个小份，如果采用了 N+1 的数据保护 级别，当某一个结点发生问题了宕掉了，通过节点级容错，数据仍然是安全的、 完整的。因为集群存储每个节点都至少有 12 块硬盘，因此同时可以允许 12 块 硬盘发生错误，但是数据都是安全的，这跟传统的数据容错有本质的区别，因 为实现容错的架构是在节点操作系统这一级，所以集群存储可以提供节点型的 容错；如果 N+1 还不能满足要求，可以最多支持 4 个结点，而且数据保护级别 可以在线更换，数据仍然是完整的，这个容错机制在业界属于领先水平，这也 是该集群存储非常有效的特性。 节点级容错跟传统 RAID 比较大的区别是，如果我们存储选用了 RAID 话需 要改变级别的话，唯一的方法就是格式化掉，我刚开始选了 N+4 的保护模式， 过了一段时间之后觉得 N+4 有点多，就改成 N+2 上，不需要更改数据布局，非 常方便易用。 以上介绍的是第一类的容错：节点级的容错。 第二级容错是文件级的容错，该集群存储可以针对某一个目录或者某一个 文件，比如说自己有独立的私人目录，那么可以针对这个目录做单独的设置， 对于这个目录下的所有文件或者某一个文件可以做到两份一直到八份的镜像， 每一个镜像都会分布在不同的节点上，给数据提供足够的数据保密度。即使结 点或者是磁盘失效了，我们的数据仍然是安全的。实际上结合了这两种容错模 式，一个是节点级的容错还有一个是文件级的容错，数据日常备份基本上没有 必要了，因为数据容错级别非常高。而且这个文件级的容错是针对某一个目录 甚至是某一个单一文件来完成的，所以跟传统的文件备份的方式也有比较大的 区别。 （五）、易管理性（五）、易管理性 视频集中集群存储易管理性体现在如下两个方面： 安装和扩展简单 传统的 SAN 和 NAS 存储在配置过程中，必然要提前做好规划工作，包括硬 件上架，连线，存储网络配置，RAID Group 划分，HBA 卡配置，SAN Switch 配 第 18 页 置，LUN 划分，卷划分，文件系统创建等等。任何一步出现问题都会影响到存 储的使用。 而该集群存储，因为采取了很多专利技术，在客户端看来没有任何 RAID，LUN，Volume 等这些概念，因此安装起来非常简单，只需要将所有硬件 上架、连线、存储网络配置即可，存储系统就可以上线交付使用。 在扩展存储的案例中，由于 OS 的单一文件系统功能，可以做到不影响客户 端使用的情况下，动态的添加节点到原有系统中，而且只需要 60 秒钟的时间。 管理和配置简单 集群存储的管理和配置应该非常简单，管理存储的精力不会随着存储容量 的增加而增加。集群存储能提供两种管理界面，一个是基于浏览器的管理界面， 一个是全命令行的管理界面，功能完全一致。 二、集群存储的企业级软件二、集群存储的企业级软件 （一）、智能分层特性（一）、智能分层特性 利用 SmartPools（智能数据池技术） ，多个层级的存储节点可以存在于一 个文件系统中，利用一个管理点管理，这使您可以调整工作集到适当大小并加 速工作集，同时自动以透明方式将不活跃的数据移动到性价比更高的存储设备 内。 （二）、文件系统分析与性能自测（二）、文件系统分析与性能自测 内部优化系统采用创新的高级分析方法来优化应用程序、相关工作流及网 络事件并精确地预测未来的存储需求，从而帮助您优化横向扩容存储系统的性 能。以 Web 2.0 框架为基础，内部优化系统作为虚拟应用程序部署，利用集群 外的与企业环境无缝结合的虚拟应用程序将监控的影响降到最低。 （三）、快速可靠的复制（三）、快速可靠的复制 企业越来越需要将大型的关键任务数据集分配到位于多个地点的多个共享 存储系统和团队中。复制软件是本行业唯一的基于策略的文件复制系统，专门 用于 Scale-Out 存储；它将多种创建和安排存储复制工作的策略与创新的带宽 调节和集群利用能力结合起来。复制策略可以在集群、目录或文件级别设定， 而复制工作可以很方便地安排或在需要时进行 这一点最大限度地发挥了网 络和存储资源的效率和可用性。 （四）、（四）、SmartConnectSmartConnect 智能负载均衡智能负载均衡 SmartConnect 通过确保最高水平的性能和行业领先的高可用性，使得视 综平台可以满足全公安网范围的 24x7x365 随时在线的需求。利用智能客户端 连接负载平衡和故障恢复支持，SmartConnect 优化了该存储的 Scale-Out 存 第 19 页 储系统的性能和可用性。 通过一个主机名称，SmartConnect 可以使客户连接负载取得平衡，并对存 储节点中的客户端连接进行动态 NFS 故障转移 (failover) 和故障恢复 (failback)，以优化利用集群资源。由于不需要安装客户端驱动器，管理员对 大量不断增长的客户端的管理会比较容易，并可以确保在系统故障的情况下， 正在进行的读操作和写操作不会出故障并成功完成。 （五）、（五）、SnapshotIQSnapshotIQ 灵活的保护灵活的保护 SnapshotIQ 能够支持在集群存储系统的单个存储池中保存无限张快照， 以及在任意单个目录中保存最多 1024 张快照，它代表了传统快照技术的重大 进步。利用 SnapShotIQ，快照可以成为保存在本地的数据即时点镜像，这类镜 像为只读且无法破坏，数据可以可靠地在集群存储节点中分布无限数量的快照。 集群存储的快照具有高度可扩展性，且创建时间通常少于一秒，引发的性 能消耗极小甚至没有，无论文件系统大小、快照的目标目录或集群生产活动的 等级如何。只有构成文件的数据块改变时，才会在快照的当前版本更新中反映 出来，这使得快照的存储利用效率很高。 （六）、（六）、 SmartQuotasSmartQuotas 配额管理和供应配额管理和供应 SmartQuotas 使您可以控制和限制存储系统的使用，而且可以很容易地提 供单个的集群存储 Scale-Out 存储池。通过使用 SmartQuotas,，您可以将存 储系统无缝分割为易于管理的区段，作为在集群、目录、子目录、用户和群组 级别上分配的配额，并分配这些配额。通过作为您的 集群存储 Scale-Out 存 储平台的一部分的 SmartQuotas，您可以拥有精简配置能力，可以很容易地将 多于物理安装容量的存储容量分配给应用程序和用户。 SmartQuotas 可为集群感知，并跨越所有集群存储节点（无论集群的大小 如何） 。利用 SmartQuotas，您可以根据某个观点来管理配额，按需要精确分配 存储空间，以及按需要更改配额策略的选项。 （七）、（七）、SmartLockSmartLock 防范恶意删除和更改数据防范恶意删除和更改数据 SmartLock 增加了一层保护，可保护您的关键数据避免被意外、过早或恶 意地修改或删除。由于 SmartLock 是基于软件的一次写入多次读取 (WORM) 解 决方案，因此您可以将受 SmartLock 保护的数据与其他数据类型存储在一起， 而不会影响性能或可用性，并且无需增加采购和维护支持 WORM 的专用硬件的 成本。SmartLock 与操作系统之间的紧密集成意味着它比其他基于软件的 WORM 产品更高效、更易于使用，并且能够与其他系统功能（例如自动化存储分层和 本地或远程数据复制）无缝地集成。 第 20 页 三、配置方案 结合省厅视综平台的应用接口在原有的应用层和存储层之间架构数据处理 层，结合一次写多次读的应用特点，采用（分布式节点+分布式数据仓库）节点 横向扩展存储的方式对结构化数据和非结构化数据进行并行的处理，并在存储 层构建横向节点 NAS 存储，快速高效数据处理层提升视综平台的综合性能以便 对接未来更多的视频数据上传、存放、查询、分析工作。 视综平台的架构非常重视存储安全，尤其是重要数据的备份；基本信息在基层 监控中心存储，重要信息在视综平台一层监控中心进行备份；针对分布式节点 一写多读的特性分布式存储架构不利于做数据的镜像、备份，在存储层架构具 有针对性的 NAS 横向扩展节点存储，存储永久保存的关键视频文件，并可以支 持横向线性的无限扩展和性能提升。根据视综平台 1 年存储容量 94TB 需求至少 配置容量配置 4 个节点，硬盘数量配置 36 块 3TB SATA=108TB 硬盘。 .2 实战数据分析研判、业务系统联动需求分析实战数据分析研判、业务系统联动需求分析 分析研判对不同数据架构特点需求分析研判对不同数据架构特点需求 视综平台需要释放原有服务器的处理性能，架构数据处理层对结构化数据 和非结构化数据分别进行大量的存放、研判、分析工作，对与应用数据结构理 解大致可以分以下三类： 1）结构化数据，简单来说就是数据库。结合到典型场景中更容易理解， 比如企业 ERP、财务系统；医疗 HIS 数据库；教育一卡通；政府行政审 批；其他核心数据库等；例如公安户政系统的身份证号码住址信息等数 据。 2）非结构化数据，包括视频、音频、图片、图像、文档、文本等形式。 具体到典型案例中，像是医疗影像系统、教育视频点播、视频监控、国 土 GIS、设计院、文件服务器（PDM/FTP） 、媒体资源管理等具体应用； 例如身份证上的照片、视综平台的视频文件。 3）半结构化数据，包括邮件、HTML、报表、资源库等等，典型场景如 邮件系统、WEB 集群、教学资源库、数据挖掘系统、档案系统等等；公 安办案系统的立案、结案 XLS 表格，表格中文字数据以及映射数据等。 分析研判对交叉数据库之间需求分析分析研判对交叉数据库之间需求分析 在视综平台的基础架存在着结构化数据和非结构化数据、半结构化数据的 应用，在特定的条件下（例如案件分析的跨结构应用查询比对）不同结构的数 据之间需要进行各自数据的分析、查询、挖掘。传统查询分析的方式是由应用 第 21 页 端发起，在架构化数据库中寻找相关的数据信息，但是非结构化数据的图片或 视频只能作为指引或者摘要经过结构化数据库后再从非结构化数据库读取，大 量的占用服务器的处理性能和数据库处理性能；特定的应用场景会对数据库架 构以及存储的基础架构提出非常高的 IO 相应要求，为此针对特定的应用场景应 该采用在结构化数据和非结构化数据做到并行处理查询，在应用端数据和存储 层数据之间架设一层数据处理层的基础架构，在大量并发查询的情况下可以有 效地针对不同数据结构进行直接并行的访问查询分析，响应应用端高强度的 IO 需求，释放服务器处理能力，提高 40-50 倍数的存储层的 IO 相应效率。 序号序号姓名姓名身份证号码身份证号码 住址住址 录入系统照录入系统照 片片 本案件相关视频本案件相关视频 1 张三 4401* 广州*索引地址 / 摘要地址 / 2 李四 43089* 湖南省 * 索引地址 / 无 图例 2、传统交叉数据应用场景 .3 并行处理数据仓库需求分析并行处理数据仓库需求分析 数据仓库建设需求分析 基于应用层的需求分析，视综平台的视频文件数据研判挖掘根据实现手段 可以分为三种： 一、 人工判别； 二、 系统自动判别（需要数据仓库的并行数据处理协助程度- 较高） ； 三、 人工和系统结合判别（需要数据仓库的并行数据处理协助 程度-较高） 。 而数据分析研判挖掘根据实战应用场景可以分为三种： 一、 在视频专网对较近期的视频文件进行判别和串并联分析； 二、 在视综平台的公安网后台对案事件存档的视频文件数据和 结构化数据进行海量分析查询和比对（需要数据仓库的并 第 22 页 行数据处理协助程度-很高） ； 三、 需要对较近期视频专网的数据联通视综平台的公安网后台 存档数据做综合案件夸平台分析比对（需要数据仓库的并 行数据处理协助程度-极高） 基于数据结构的应用的上文 2.2.2 对分析研判、业务系统联动 需求的分析，并行数据仓库的构建对多种结构和非数据的分析研判 是必要的技术手段，可以弥补 VCS 在后端和历史数据不对的一些不 足，同时对于数据查询分析的结果展现是提高案事件判断的最有效 手段之一。 .4 并行数据处理数据仓库架构技术需求分析并行数据处理数据仓库架构技术需求分析 “完全不共享”海量数据并行处理体系 对“完全共享”和“磁盘共享”体系来说最大的梦魇，是在对大量数据执 行 BI 和分析任务时，需要进行大规模的全表扫描、多重复杂表连接、分类和聚 合操作，这些操作都需要大量的资源。这是因为这些体系并不是为提供执行复 杂 BI 和分析查询任务所需的并行处理功能而设计的，因此会出现查询计划器在 管理并行机制时出错、缺少聚合 I/O 带宽、节点间数据传输效率低等性能瓶颈。 为了克服这些限制，并行数据仓库成立了全球最高水准的数据库专家组， 并创建了一个“完全不共享”海量数据处理数据库，从基础环节入手，直至实 现并行程度最高，效率最高的复杂 BI 和分析处理能力。 第 23 页 图：并行数据仓库区段服务器结构解析 在