青岛海关视频监控系统解决方案第二稿

第一章背景需求....................................................3

第二章系统概述....................................................4

2.1系统整体概述...............................................4

2.2系统功能概述...............................................5

第三章系统设计....................................................9

3.1系统设计原则...............................................9

3.2系统设计方案...............................................9

3.2.1逻辑架构..............................................10

3.2.2系统架构..............................................12

3.2.3网络架构..............................................18

3.3方案优势..................................................20

第四章关键技术...................................................22

4.1cVideo智能识另!]...........................................22

4.1.1简介..................................................22

4.1.2应用案例..............................................23

4.2cVideo云端转码...........................................25

4.2.1视频转码简介..........................................25

4.2.2云转码................................................26

4.3JobKeeper云调度..........................................28

4.3.1简介..................................................28

4.3.2JobKeeper主要优势....................................28

4.3.3JobKeeper架构........................................29

4.4eProc云处理..............................................32

4.4.1eProc简介............................................32

4.4.2eProc主要优势.........................................32

4.4.3eProc系统架构.........................................33

4.5cStor云存储..............................................37

4.5.1cStor简介.............................................37

4.5.2C1000系列产品特性...................................38

4.5.3cStor系统构架.........................................40

第五章规划部署...................................................42

5.1规划分析..................................................42

5.2规划综述..................................................43

第一章背景需求

海关视频监控系统是海关监控指挥中心的重要组成部分，用于提供监管场

所、通关现场、旅检通道和重大事件现场的动态视频监控图像，为领导决策、应

急指挥、监管场所管理和各部门应用提供视频图像信息服务。

2008年，青岛海关各隶属关初步建成关区视频监控系统。由于当时技术手

段和网络传输条件限制，存在以下不足：一是各关利用电信运营商提供的公共平

台，通过互联网传输监控视频，网络带宽低，经过环节多，图像质量较差。二是

由于不在海关内网传输，无法满足与总署互联互通的要求，也无法满足各部门通

过管理网调用。三是缺少统一建设标准，各隶属关采用的技术手段和传输方式不

同，总关监控中心需要通过不同管理界面查看不同海关的监控图像，操作繁琐。

四是缺少综合管理平台，无法满足不同部门分级授权、资源共享的要求安全。

现决定整合改造关区现有视频监控系统，建设"总关-隶属关"两级视频监

控管理平台，实现关区监控视频的统一管理、统一授权。规范各监管场所视频图

像传输标准，满足统一接入的要求。搭建视频监控专网，完成监控视频传输从互

联网向关区内网的迁移，提高视频图像质量和网络安全性，实现与总署指挥中心

的互联互通。

第二章系统概述

2.1系统整体概述

建设”总关-隶属关"两级视频监控管理平台，其中青岛海关二级监控中心

1个，各隶属海关三级监控中心7个，实现关区监控视频的统一管理、统一授权。

同时搭建视频监控专网，完成监控视频传输从互联网向关区内网的迁移，提高视

频图像质量和网络安全性，实现与总署指挥中心的互联互通。并且规范各监管场

所顺图像传输标准，满足统一接入的要求。

图2-1青岛海关视频雌该平台拓扑图

通过不同用户的权限控制，表现两级视频监控管理平台的差异，例如：隶属

关的用户只能操作、观看本关区内接入的摄像头，青岛海关的用户可以操作、观

看全关内的所有摄像头；某些用户只能看，不能操作。等等。

为满足模拟摄像机、高清网络摄像机的分布式存储和本地化管理的需要，将

DVR、NVR等设备放置在监管场所（或隶属海关机房），同时将网络存储设备

（IPSAN）放置在青岛海关机房（或部署在各隶属海关），满足对重要岗位和突

发事件图像的集中存储。以利于减少关区骨干网传输压力，保障视频监控的实际

应用。关区监控视频数量估算在500路左右。录像存储时间初步计划按标清格

式存储90天。

针对用户需求，系统将设计为同时满足大屏显示、PC客户端查看及移动终

端调取方式，对监控点进行实时监控。

图2-2大屏显示监测点实时情况

2.2系统功能概述

1、远程图像传输

系统采用标准的TCP/IP协议，可应用在局域网、广域网和无线网络之上。

视频服务器提供RJ-45以太网接口，可直接接入局域网交换机或者HUB上，同

时，设备可任意设置网关，完全支持跨网段、有路由器的远程视频监控环境。监

控中心安装视频监控服务器，局域网中的授权用户可通过IE浏览器监控远程现

场。不同的监控用户可根据自己的监控需求灵活切换到任意一个监控现场，可多

人同时观看一个现场，也可以不同用户选择任意现场监控。

2、远程设备监控

监控用户可分配给不同的控制权限。控制权限高的用户可优先对设备进行控

制，如控制云台转动选择监视区域对象；调节摄像机镜头改变监视范围和观察效

果；还可以对指定的其他现场设备开关进行控制等。

3、多画面监视

系统具有在同一客户终端上同时监视四路、八路或者十六路前端图像的功

能。用户点击某一路图像时可放大实时监控。

4、多画面轮巡

监控用户可将监控现场在特定的时间间隔内按顺序轮流切换,也可在一个图

像框内轮巡显示全部的摄像机画面。画面切换间隔时间可灵活设置，画面间隔时

间可调节。

5、控制优先权机制

管理机制完善，可以给不同级别的用户分别分配相应的控制权限。

6、录像与回放

用户可以按时间、摄像机号、报警事件等条件智能化快速检索回放记录的录

像资料，可以用软件内置的播放器进行播放。图像播放速度可手动调节。

＞计划录像

系统管理员可设定多个时间段对多个监控前端的图像进行录制，图像数据

保存在图像监控系统服务器的硬盘上。定时方式可选择单次录像和每天定

时录像，各个时段可以单独设置。录像速度可以调节。

＞报警自动录像

若某一报警探测器布防时选择录像功能，则当该报警探测器有报警发生

时，自动进行录像，录像时间用户可以事先设定，录像速度也可以调节。

报警自动录像文件保存在图像监控系统服务器的硬盘上。

＞手动录像

监控终端用户可根据需要随时选择系统各个监控前端进行录像控制，图像

数据保存在客户端本地的硬盘上。

＞录像回放

用户可以按时间、摄像机号、报警事件等条件智能化快速检索回放记录的

录像资料，可以用软件内置的播放器进行播放。图像播放速度可手动调节。

＞录像管理

采用cStor海量存储，保证视频数据无限扩展的同时，系统安全可靠、数

据安全有效

7、手动抓图功能

在系统实时监控时，提供手动抓图的快捷键。用户可以在监控的同时，将一

些重点情况保存。

8、远程报警及联动控制

当发生报警时，可联动一个或者几个设备协同工作。报警信号输入可来自烟

感探测器、红外防盗报警探测器等各种报警检测设备，输出控制信号可配置与各

个报警信号相关联。当监视点发生报警时，系统自动启动各种对应的联动设备，

自动录像。监控客户终端可显示报警信息，并有声音报警提示。

9、用户管理功能

提供安全完善的用户帐号密码管理功能和严格的控制权限分级制度。只有经

过授权、拥有帐号密码的用户才能浏览或控制摄象机。

10、密码保护功能

系统采用严格的操作密码保护机制。现场监控设备一视频服务器，有用户级

密码保护。维护人员如需修改设备设置，必须输入授权的用户名和密码。

系统访问认证：用户进入远程视频监控系统必须事先进行输入用户名和密

码，系统管理员根据用户授予相应的权限监视和控制权限。

第三章系统设计

3.1系统设计原则

＞整个视频监控系统设计先进，配置合理，符合标准化、规范化、现代化的要

求。

＞系统设计和设备选型，充分考虑系统的可靠性、实用性、先进性和经济性。

＞分布式监控，集中式管理，智能化设置、人性化操作。

＞系统中局部故障不影响系统全局的正常工作，系统稳定，易维护。

＞系统具备很强的扩展能力，为以后的系统更新、升级、扩展，预留了很大的

空间。

＞多种网络接入方式，适合各种网络环境，应用领域广泛。

3.2系统设计方案

鉴于此项目500路标清视频实时监控并长时间存储，在保证监控质量的同

时，监控平台对数据存储和视频数据回调均有较高的要求，因此建议采用南京云

创存储公司自行研发和设计的大规模高清视频监控解决方案。依托本公司的

cStor云存储平台，以及eProc云处理平台，使得cVide。构架下的综合调度和

云端转码可以完美地满足超大规模视频监控、海量数据存储、以及远距离监控的

要求。同时，cVideo研发了国际领先的智能图像识别算法，采用大规模分布式

云处理，使得计算机对视频数据达到了空前的识别和认知水平，对于蓄意破坏视

频监控设备的人员、企图破坏监测仪器的人员、和不法盗窃人员等等可实现视频

智能识别，自动报警。

3.2.1逻辑架构

应用层

API层

中心控制调度控制层

数据分发分发控制

数

eProc分布式计算架构

据

处

数

理

据cStor云存储存储控制

层云转码内容识别

存

储数据库

数据流控制

信令流控制

接入层业务资源接入视频流接入

资源层

图3-lcVide。系统架构图

cVideo云视频监控系统利用cStor云存储和eProc云处理技术实现高清视

频监控，是在服务器集群上部署一整套基于云架构的视频处理软件，上图为简化

的cVideo云平台框图，其核心内容是对接入视频的实时处理分析。

基于云计算的模式，采取海量分布式JobKeeper云调度架构，以集群的形

式共同对外服务。以实现诸如视频内容识别、云端转码、智能分析等实时数据、

动态伸缩等需求。最后将处理好的图像信息以流媒体的形式输出，并提供给上层

各类应用对应的接口。

•资源层：包括摄像头、卡口等前端数据采集设备所采集到的原始视频图像数

据，以及响应业务信息，如：人力、车辆、区域分布等资源信息。

•接入层：整合数据资源、业务资源、存储资源，使其符合系统标准，实现不

同资源的接入。

•数据存储层：即cStor云存储系统，提供海量的存储空间，以备历史数据的

回看与处理。

•数据处理层：即eProc云处理系统，提供高效的视频转码、内容识别等大规

模数据处理能力。

•数据分发：以流媒体服务器的形式提供标准的RTSP流媒体输出，可以支持

高并发访问。

•API层：提供API接口，实现上层应用对底层资源的透明操作，提供业务应

用的开发支持。

•调度控制层：实现对以上各层的综合调度与控制，以实现整套系统机制。

•应用层：主要包括实时监控、调阅查询、内容识别等视频相关应用，为用户

提供友善的界面、人性化的操作方式，能够让用户简单高效的监控多个视频

源。功能如下：

1）信息采集设备的管理，监控控制端对视频中心服务器中的设备数据库进

行操作，实现添加和删除系统中的卡口和摄像头。

2）用户管理，监控控制端对视频中心服务器中的用户数据库进行操作，实

现用户注册、注销以及权限设置。

3）按时间检索历史记录，提供按时间检索记录的窗口，向视频中心服务器

发送检索命令，获取历史记录的相关信息。

4）历史记录回放，根据历史记录的相关信息，播放cStor中的历史记录

5）录像，监控控制端通过中心服务器向存储管理端发送录像命令，存储管

理端控制设备进行录像，获取的数据直接存储到cStor中。

3.2.2系统架构

cVideo云视频平台主要由七个模块组成：前端设备、接入服务器、处理服

务器集群、存储服务器集群、流媒体服务器、中心服务器和客户端。

控制流

再健修组cVideo

品控处理平=^^^■1数据流

存储程务器

存储服务器

而嫌便服务匏

前端设备

存储册务口

外网移动终端

流媒体服务器

如悭事组

7

前端摄像机

处理节点1内网

7流媒体服务器

B/S客户端

搜入版片器处理节点2

处理节点N

■其它平台■重

视猱矩阵电视墙

[JobKeeper1卬口滑度解码上搞

[JobKeeperj

Web

[JobKeeperj数据库Server

I

中心服务器

图3-2cVideo总体描述图

cVideo云视频监控系统是南京云创存储公司自行研发和设计的大规模高清

视频监控解决方案。依托本公司的cStor云存储平台，以及eProc云处理平台,

使得cVideo构架下的综合调度和云端转码可以完美地满足超大规模视频监控、

海量数据存储、以及远距离监控的要求。同时，cVideo研发了国际领先的智能

图像识别算法，采用大规模分布式云处理，使得计算机对视频数据达到了空前的

识别和认知水平。

(1)模块功能描述：

•前端设备：

前端设备在中心服务器的调度下进行信息采集编码，并通过网络传输。媒体

数据流以RTSP的形式传输给存处理服务器，或者以SDK的形式传输给接入服

务器、处理服务器；同时SDK提供设备参数、状态、云台控制等信令控制接口。

（前端设备包括：模拟摄像机、网络摄像机、卡口设备、第三方平台等）

•接入服务器：

整合各种前端设备，将不同厂家不同平台的前端设备通过RTSP、SDK的方

式接入本"平台"，以实现多种前端摄像机、已有平台的统一接入，供本平台内

其他模块统一调用，并以轮询的方式监听前端设备，如有异常测产生报警信号。

＞获取设备参数信息：接收中心服务器发来的请求，通过前端设备厂家的协议

获取设备参数信息，反馈给中心服务器。

＞状态信息轮询：轮询前端设备的状态，及时获取前端设备是否掉线，反馈给

中心服务器，由中心服务器告警、记录、显示。

＞云台控制协议转换：将系统接收的用户控制信令转换为设备厂家对应的协

议，并发送给前端设备，从而使用户实现云台方向控制。

＞接入第三方平台：提供系统与第三方平台的协议转换，实现无缝对接。通过

接入第三方平台的前端监控设备，实现云台控制。获取视频数据流的地址，

以及第三方平台设备的列表、信息、状态。

＞对少量的不支持标准协议且不提供linuxSDK的前端设备有针对性的接入,

采用SDK接收流并转换成标准协议的数据流。

•中心服务器：

平台的核心控制部分，实现了与客户端的信令交互、通过JobKeeper云调

度系统来调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。

＞用户管理功能：根据用户信息表，管理用户登录、用户的权限，可以管理用

户信息、增删用户等。

＞前端信息采集设备管理功能：根据摄像机和用户的权限，管理当前用户所能

涉及的前端设备状态、节点运行状态，并进行实时的更新。

＞与用户和前端设备的信息交互功能：更新前端信息，并根据客户需求进行对

前端设备调度，以及对JobKeeper的任务分发。同时，进行信息数据的处

理，以完成整个平台的调度工作。

＞对服务器集群进行统一的调度管理，获取每台机器的运行状态。根据机器的

运行状态进行自动调度和部署，负载均衡，提高机器的使用率，进而提高服

务器的梳理效率。

＞解决服务器集群信息处理的冗余状态，查错排错，保证系统的无人值守、自

动生长的高效性。

•云存储系统：

使用cStor云存储系统，提供统一的存储资源池，用以存储关键数据，提供

历史视频的回看以及相关数据的下载服务。同时，作为分布式文件系统，提供其

他模块的支持，如流媒体服务器集群的支持。

•处理服务器集群：

大致可以分为接入分析、数据处理和结果分发三个子模块，主要负责对完成

对接入视频的各项处理任务。

＞内容识别：利用计算机通过图像处理和分析理解画面内容将安保人员从繁重

的监控任务中解脱出来。

＞实时转码：，各视频转码计算放大云端，实现整个系统内的实时视频转码，以

满足用户对不同分辨率，不同码流，不同终端的使用需求。

＞视频数据存储：将处理后的视频数据进行实时存储，方便日后回调查看。

＞状态监控：监控各个处理节点的运行状态，负载均衡，高效工作。

•流媒体服务器集群：

以集群的形式对外提供负载均衡的标准RTSP流媒体并发推流服务，用户根

据相应的流媒体RTSP地址，即可实时地获取系统处理完后的实时视频数据和存

储的历史视频数据，以供监控和远程访问。

＞负载均衡、高并发访问：通过负载均衡各节点运行状态，提高系统工作效率,

满足系统的高并发访问需求。

＞监控视频流实时转发：前端视频数据经处理系统处理后，流媒体服务器将处

理后的监控视频流进行实时转发给用户，满足各种客户端需求

＞历史视频数据流化推送：

＞服务器状态（负载、链接数）等信息获取：

•客户端

支持windows、linux、ios、android等主流操作系统，提供B/S架构客

户端等，实现与用户的直接交互。

（2）工作流程描述：

1）客户端发送命令:

客户端向中心服务器发送命令，中心服务器根据客户端信息进行分析判断,

得知用户的客户端类型、网络状态、信息要求等，从而根据需求对前端设备、

JobKeeper等进行调度控制。

2）中心服务器调度：

中心服务器响应客户端命令，对前端设备进行调度控制。根据用户的指令，

把客户需求的信息进行实时采集，同时使用JobKeeper进行对集群的任务分发,

完成对应的存储、处理或监控等请求。

3）中心服务器调度存储/处理集群：

a）存储服务器集群接收命令工作

中心服务器响应客户端命令，向JobKeeper发送命令。JobKeeper根据

存储服务器集群的工作状态，选择负载较小的服务器进行高清存储。

b）处理服务器集群接收命令工作

中心服务器响应客户端命令，向JobKeeper发送命令。JobKeeper根据处

理服务器集群的工作状态，选择负载较小的处理节点进行实时处理、识别转码，

并根据用户的网络状态分发到对应的流媒体服务器。进而，流媒体服务器将客户

所需的处理过后的实时监控视频传递给客户端。

3.2.3网络架构

图3-3cVideo数据流图

>接入服务器：传统视频监控和防范报警系统建设具有投资大、技术要求高、设计用户广、

链接环节多等特点。同时，不同厂商间的设备对视频接入要求不同，因此要整合现有平

台，提供标准输出。将前端各类设备采集到的视频数据接入到cVide。系统中。同时，

实现与其他平台的对接，完成信令流的转换。

>中心服务器：负责获取用户从客户端或者其他的上层系统发出的指令，综合调度各个服

务器，实现整套cVideo的控制机制。

>cStoi■存储服务器：用以长期存储视频数据，以备视频回看、重新处理等需求。

>eProc处理服务器：提供诸如视频转码、内容识别、行为检测、智能分析等所需的大规

模数据处理能力，为实现传统架构下难以实现的应用提供支持。

>分发服务器:以流媒体的形式将处理后的视频数据提供对外接口，支持标准RTSP协议。

客户端：与用户的交互平台，用以向中心服务器发送各种控制指令。

A其他平台：指其他的可能需要与cVideo对接亦或上层应用的系统

图3-3简要描述了cVideo云视频监控系统的系统数据流。其中支持RTSP

标准协议的网络摄像机等前端设备，可以直接接入cVideo综合处理云平台中；

模拟摄像头经过编码器编码后接入到平台中其他平台或前端设备可以经过SDK

整合后接入。经过接入服务器后，进入云处理集群进行数据处理，实现对实时视

频流的内容识别、转码、智能分析等功能，并经过转发服务器以流媒体的形式对

外提供服务。对于经过cVideo处理后流出的视频数据，如果是终端设备（手机、

IPAD等）需求，则直接由cVideo的转发服务器发送转码后的视频流；如果是

上电视墙显示的需求，将视频流推送给解码器进行解码上墙。

3.3方案优势

＞高性价比和动态伸缩性

cVideo构建于cStor云存储、eProc云计算平台之上，有着低廉、高可靠

性的海量存储能力、数据处理能力和无限可扩展能力，当用户存储需求增长时,

也仅需添加存储节点即可，并且支持热插拔、服务不停动态升级等功能，这将大

幅降低用户的投资及升级维护费用。

＞海量视频数据实时处理

高清视频监控中的主要问题是如何处理庞大的高清视频数据。如果采用

1080P的高清视频监控，使用能获得最高压缩比的H.264图像压缩技术处理收

集的高清视频，则压缩输出码率最高可达到6Mbps,也就是每台摄像机每天将

大约产生50GB左右的数据量，这对于存储、处理的压力是十分巨大的。

cVideo系统基于分布式的架构，以集群的形式共同对外提供服务，将海量

实时视频数据的压力均匀分散到每个处理节点上，实现负载均衡，保证每个节点

都处于高效的运转状态。根据实时性的要求，我们将数据接入、处理、转发等模

块做了优化，尽量做到数据在集群内不迁移，减少10和传输操作，进一步确保

实时性的要求。

＞基于应用层的协议交互

为了应对跨平台使用以及第三方应用开发的需求，cVideo对外的接口使用

标准的协议。cVideo省去了繁杂的SDK,而是在系统内部搭建RPC服务器，

以响应Webserver服务器收到的请求，提供远程请求方法调用的形式，只需要

以协议发送请求（即相应的URL地址），系统就会将结果返回，使得操作十分简

便。

＞云端转码技术

为了尽可能优化系统性能，cVideo将根据用户客户端的监控需求瞬时动态

地调整视频分辨率，从而在满足用户需求的同时降低对网络带宽的消耗，因而支

持更高的系统规模。

对于摄像头采集的高清视频信号,cVideo将在eProc云计算平台上采用高

效实时转码技术，将采集到的各路高清视频信号转换为符合监控客户端需求的信

号，并实时转发，这样可以有效地减小监控端处的解码压力，使得监控更为流畅，

并能有效地支持诸如手机等移动终端的监控需求。

＞智能内容识别

cVide。的智能图像检索采用先进的图像处理技术并结合模式识别对已有的

海量视频进行事件检索，实现了对事件发生视频的切片回放、运动帧提取和对象

跟踪。目前cVide。可以对烟、火、运动物体、遗留物、车辆统计和特定行为等

情况下的识别达到很高的识别度，错检率和误检率几乎为零。

cVideo的智能图像处理构架于JobKeeper云调度和eProc云处理架构之

上，使许多传统模式下难以处理的识别应用得以实现。诸如在犯罪嫌疑人识别问

题中，cVideo研发了国际领先的运动目标DNA算法，首先分析监控视频中目

标人物的运动模式，建立运动DNA序列，为后续分析处理提供基础。后续分析

包括运动目标优化、运动轨迹分析、运动特征提取、步态建模等等。

第四章关键技术

以上系统架构中，涉及到的具体技术包括了cVideo的智能识别技术、

cVideo的云端转码技术、JobKeeper云调度方法、cStor云存储技术、以及eProc

云处理框架。其中cVideo的智能识别和云端转码技术负责对视频流的进一步处

理，cStor实现对海量视频数据的存储，而JobKeeper和eProc负责综合管理

和统一调度，实现云内计算机的联动和各类保障，共同对外提供服务。

4.1cVideo智能识别

4.1.1简介

随着平安城市的建设，视频监控系统的基础建设已经初具规模并且仍在迅速

扩大，几十万甚至几百万个摄像头所得到的视频监控影像资料是庞大的，要从中

获取事件相关的信息需要花费巨大的时间和人力。视频内容分析技术(Video

ContentAnalysis,VCA)来源于计算机视觉，它能够在图像及图像描述之间建立

映射关系，从而使计算机能够通过图像处理和分析来理解画面中的内容，其实质

是"自动分析和抽取视频源中的关键信息"。视频内容分析技术将大量的、枯燥

的视频内容分析工作交给了编码器或计算机,将保安人员从传统的繁重监控任务

中解脱出来，它对传统的视频监控技术是一个“颠覆性”的创新，改变了多年来

人们应用视频监控系统的习惯。

cVideo的智能图像检索采用国际先进的图像处理技术并结合模式识别技术

对已有的海量视频进行事件检索，实现了对事件发生视频的切片回放、运动帧提

取和对象跟踪。

4.1.2应用案例

＞特定人物视频检索

cVideo自行研发的视频DNA算法，应用在犯罪嫌疑人识别问题中，首先

分析监控视频中目标人物的运动模式，建立运动DNA序列，为后续分析处理提

供基础。后续分析包括运动目标优化、运动轨迹分析、运动特征提取、步态建模

等等。

图4-1目标运动DNA序列图4-2目标运动图谱

图4-3目标运动DNA序列图4-4目标运动图谱

＞人流/车流统计

由于车辆的急剧增加，虽然道路基础设施得到了很大程度的改善，但是交通

拥挤的现象日趋严重，简单的道路视频监控已经不能满足当前的需要。为了改善

这种局面，为道路状况提供实时、准确的信息成为更加迫切的需求，推广实施各

重要交通道口区域实时交通状况图像监控是非常必要的。即在城市各重要交通道

口安装一套智能交通监控系统，通过图像传输通道将路面交通状况实时上传到道

路监控指挥中心，中心值班人员可以据此及时了解各区域路面状况，并据此调整

各路口车辆流量，保持道路通畅。

图4-5交通道口车流检测统计

这项技术同样可以应用于人流统计、以及对旅游景点、闹市区和大型展会的

人员密度分析等。视频分析的结果受到监控视频图像质量的影响，雨雪等恶劣天

气条件下得到的监控视频图像质量要比晴朗天气条件下的图像质量要差很多。于

是，如何消除雾雨雪等恶劣天气的影响是至关重要的。

图4-6雾雨雪等恶劣天气检测

＞事件检测

事件检测是cVideo智能视频分析的又一个成功例子。事件检测包括禁区检

测、过线检测、遗留物检测、物品丢失检测、打架/徘徊检测等，事件的成功检

测能够大大降低危险事件的发生率，将犯罪扼杀在摇篮里。我们采用的事件检测

方法具有参数自适应且错检率低的优点。

图4-7行为检测（遗留钱包）

4.2cVideo云端转码

4.2.1视频转码简介

随着前端摄像机的清晰度不断提升，其码流和数据量成倍增长。然而一些终

端的处理能力有限，无法支持高清的分辨率；或者需要用到公网传输，带宽无法

满足高清的码流的需求等。

视频转码是一种将已压缩的视频数据从一种格式转换为另一种格式的技术，

视频的编码格式主要的有MPEG、H264、DivX、WMA、RM等，封装格式主

要有avi、ps、ts、mov、mkv、mpg等，而不同的播放器对格式的支持也不同，

因此不同终端对视频流格式也有着特殊的需求。

视频转码是一个高运算负荷的过程，需要对输入的视频流进行全解码、视频

过滤/图像处理、并且对输出格式进行全编码。最简单的转码过程仅仅涉及到解

码一个比特流和用不同的编解码器重新编码两个步骤。这种硬转码看似很简单,

只需要一个解码器和一个编码器，但是最终显示结果并不理想，因为视频数据解

码后重新编码会降低画质。

硬解码无法利用捷径，所以和采用智能转码算法的方法相比，要求更高的处

理器性能并且产生更大的功耗。如果全部通过软件进行临时处理，需要2GHz

频率的处理器。以现在PC上的CPU的运算能力，在运行其他程序的情况下，

是无法支持实时的高清视频转码

4.2.2云转码

由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像

头实时视频数据的转码。cVideo研发了云端转码技术，将视频转码计算放大云

端，实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流,不

同终端的使用需求。

图4-8转码前图4-9转码后

视频接入模块首先将不同厂家的前端设备接入进来，对于支持RTSP的采集

设备，我们利用标准的流媒体协议接口实现视频和音频数据的传输。对于不支持

RTSP的采集设备，我们利用设备厂商提供的SDK进行接入。然后在eProc云

计算平台上利用高效的转码技术，将采集到的高清视频信号解码后再重新编码,

在满足用户需求的同时降低对网络带宽的消耗。同时将转码后的视频流推送给流

媒体服务器分发出去。

前端设备

流媒体RTSP,

服务器

图4-10云转码流程

4.3JobKeeper云调度

4.3.1简介

如何保证在云计算平台中部分硬件或软件发生故障的情况下仍不影响系统

的正常运行；如何保证在云计算平台中高效稳定的合理化分配和执行任务；如何

设计一套无人值守，自动生长的高效系统。

这是云创团队在很长的一段时间内思考的问题。最终在无数次失败又无数次

钻研的过程中我们设计研发出了一套能够完全解决系统单点故障问题。负载均

衡，自动调度与部署的高效云调度平台，这就是JobKeeper。

4.3.2JobKeeper主要优势

＞高可靠性：平台采用"多主多备，负载均衡"的管理节点设计模式，和"处

理实时跟踪"的处理节点设计模式,从而保证无论管理节点还是处理节点都

不存在任何单点故障问题。

＞低依赖性：平台采用模块化设计思想，通过统一化配置和API接口的方式向

用户提供服务。无论用户应用是用何种语言开发，何种处理方式，都可以交

由平台进行统一的调度管理。

＞低干预性：平台采用基于事件化的统一管理模式。无论是动态扩展集群处理

系统能力，还是单点故障的任务转移，又或者是任务的实时监控和动态分配,

都将在系统无人值守的情况下自动完成。

＞高实时性：平台在高效率并行分布式软件的支撑下，可以实现对任务的实时

分配，实时调度，实时处理。在机器性能允许的范围内，计算任务不会出现

堆积的显现，所有任务的控制工作基本都在秒级完成，具有前所未有的高效

性。

4.3.3JobKeeper架构

数

据eProc分加式并行计算框架

处

理视然处理应用一］1共他四计应用］

层

OracleMySQLDB2cStorHDFS

图4-11JobKeeper架构图

上图为JobKeeper的基本架构图，下面对其各层作一定描述。

>应用层：一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群中机

器的活动情况，同时其也是一个上层应用和底层服务的对接平台.是整个系统面向用户

和开发人员的基础承载。

>业务层：对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行

规则化划分，形成统一的处理化模式。

>数据处理层：独立的数据处理程序，是对不同需求数据的统一处理方案，他的运行与监

控的工作将由JobKeeper调度平台进行统一的配置管理。

A存储层：用来存储数据存储层的处理结果集或者其他中间结果集的单元。

A虚拟化资源层：将实体的机器进行虚拟化，形成更大范围的服务集群。

JobKeeper调度平台是建立于虚拟化资源层之上，统一调度，统一配置的

管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载

均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干

预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。

图4-12JobKeeper调度平台任务流程

>JobKeeper调度平台任务流程如上图，它是由一组管理节点(Master

Node)和一组处理节点(TaskNode)组成，管理节点组是一组基于

Webserver的RPC(注：RPC采用客户机/服务器模式。请求程序就是一个

客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个

有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程

保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得

进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客

户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行X

＞服务器节点组，负责对处理节点的系统信息以及任务处理信息进行实时的跟

踪和保存，对应的信息镜像存储在基于cstor或者NFS服务的存储系统上,

保证每个管理节点中的镜像信息的实时同步。同时架设在管理节点上的

ZooKeeper服务（注：ZooKeeper是一个分布式的，开放源码的分布式应

用程序协调服务，包含一个简单的原语集。分布式应用可以使用它来实现诸

如：统一命名服务、配置管理、分布式锁服务、集群管理等功能），用于对

整个管理节点组进行统一的配置化管理。

＞处理节点组通过RPC的远程调用获取各自节点的任务处理目标，并实时的

和处理节点上的任务处理目标进行对比，控制程序的执行和结束。处理节点

组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活

状态。如果在若干个小跳间隔后管理节点组仍然没有获取到处理节点跳报

告，那么该处理节点将会被踢出处理节点组，同时该节点处理的所有处理任

务也会被重新调度。随着集群处理数据量的不断增大，处理节点组提供了简

单高效的自动化部署方案，当新机器加入处理集群后，会主动的与管理节点

组同步心跳信息，从同一配置服务器ZooKeeper上获取相关配置信息，通

过Webserver服务获取任务列表，开始执行数据处理工作。

JobKeeper调度平台提供了一套基于Web的管理化界面，可以实时的观察

各个处理节点的任务运行状态，以及任务列表的分配情况，机器的负载情况等。

用户在管理系统界面上可以完成所有的工作，如新任务的添加，任务的手动调度

以及集群日志的查看与分析等。

任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务

处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理的任务

列表，并和本机正在处理的任务列表进行比对，完成相关的任务调度工作。若一

个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系，那么管

理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任

务的重新分配和执行。

4.4eProc云处理

4.4.1eProc简介

eProc是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据

集的并行计算。eProc通过把对数据集的大规模操作分发给网络上的每个节点实

现数据处理，每个节点会周期性的把完成的工作和状态的更新报告回来。随着节

点的增多，eProc的处理能力将成倍数增长。

4.4.2eProc主要优势

＞实时性：平台在高效率并行分布式软件的支撑下，可以实时完成数据计算

和分析工作，如数据计算、数据查询、和统计分析等。数据计算不会出现数

据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效

性。

＞高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计

算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，

而且不会出现丢失数据的现象。

＞可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少

节点，平台的处理能力自动缩减。这样，可以做到与资源池的无缝对接，根

据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。

＞高性价比：采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件

容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商

用数据库方案节省10倍左右的成本。

＞全业务支持：采用NOSQL+关系数据库混合模式，绝大部分海量数据存放

于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数

据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑

深度数据挖掘和商业智能分析业务。

4.4.3eProc系统架构

云存储层包括公司自主研发的云储存系统cStor和apache开源云储存系统

HDFS;而在数据管理层中，包含数据立方、Hbase;数据处理层包含JobKeeper

和MapReduce;最后的监控协调层则包括zookeeper和Chukwa来实现对整

个系统的实时监控和数据管理。

下图为eProc云处理平台架构：

应用层

虚拟资源层

通过数据立方，可以对元数据进行数据分析、清理、分割。

对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名也

由此而来。数据立方是独立于eProc云处理平台的技术架构，用户可以选择性

采用数据立方，也可以单独采用Hbase、Hive等技术框架，通过数据立方或

Hbase,可以将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型

数据库一样，上层应用无需修改，完全符合用户原来操作习惯。

对于非结构化数据，eProc云处理平台采用公司自主研发的超安存算法，对

这些数据块进行分割，散乱存储到云储存系统上，然后采用分布式并行处理，对

数据进行实时处理，eProc云处理平台的处理性能随着节点的增多而成倍数增

长。

eProc云处理平台拥有以下特点：

1）对任意多关键字实时索引

2）支持类SQL复杂并行组合查询

3）分布式万兆实时数据流秒级处理

4）高可靠性，系统无单点，确保意外情况下，系统的正常运行

以上特点由云创公司自主研发的下面几大功能来提供保证，分别是数据立

方，分布式数据处理,调度均衡器、数据传输接口等。

数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据

结构，该结构成功解决了海量数据的快速索引和查询问题，使得百亿条记录级的

数据能够秒级处理。

分布式数据处理是云创公司研发的处理海量数据的处理框架，用于对大规模

数据集的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用先进

的容错技术，确保处理任务的可靠性，即使在异常情况下，如机器宕机、断网的

情况下，确保处理任务的实时性和准确性。

调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内的

单点问题，确保某机器的应用程序状态在宕机或断网时，可将状态从异常机器转

移到其他机器上，中间无数据丢失。

数据传输接口是云创公司经过多年积累，专门针对地面数据传输研究出高性

能可靠文件传输协议，采用并行流水线方式、将传输与存储作联合优化，并支持

多点中继高效传输。经过多项实地远程传输试验，结果表明该技术的传输效率在

IGb/s光纤线路上达到了带宽的80%左右，处于国际最高水平。

几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度

快，处理结果准确。

4.5cStor云存储

4.5.1cStor简介

cStor云存储系统是南京云创存储科技有限公司自主研发的高科技产品，是

一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国

际上知名的云存储技术相比，具有超高性价比、高可靠、通甩免维护的优势，

可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、

银行等领域\特别地，cStor每个标准机架的最高容量可达1024TB以上，是

国际最高水平的3倍，拥有成本和运营成本都仅为同类产品的几分之一。

下图1-1为cStor云存储产品C1000系列存储机柜。

图4-14cStorC1000系列产品存储机柜

4.5.2C1000系列产品特性

C1000系列云存储产品是南京云创存储科技有限公司的第一代云存储产

品，它具有如下特性：

高可靠性

系统中采用廉价的大容量存储服务节点，通过cStor系统软件实现统一管理

和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节

省5-10倍以上，且规模越大，优势越明显。在降低系统的构建成本的同时，系

统的可靠性不仅没有收到影响，相反，通过一系列的可靠性保障机制，使