




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、 城市智能交通承载网络及数据中心方案设计目录 TOC o 1-2 h z u HYPERLINK l _Toc44792220 第 一 章 背景及需求 PAGEREF _Toc44792220 h 3 HYPERLINK l _Toc44792221 1.1 形势与背景 PAGEREF _Toc44792221 h 3 HYPERLINK l _Toc44792222 1.2 规划定位 PAGEREF _Toc44792222 h 4 HYPERLINK l _Toc44792223 1.3 规划目标 PAGEREF _Toc44792223 h 5 HYPERLINK l _Toc44792
2、224 第 二 章 承载网络设计 PAGEREF _Toc44792224 h 8 HYPERLINK l _Toc44792225 2.1 通信网络总体需求 PAGEREF _Toc44792225 h 8 HYPERLINK l _Toc44792226 2.2 IP地址规划原则 PAGEREF _Toc44792226 h 8 HYPERLINK l _Toc44792227 2.3 接入技术要求 PAGEREF _Toc44792227 h 9 HYPERLINK l _Toc44792228 2.4 汇聚技术要求 PAGEREF _Toc44792228 h 10 HYPERLINK
3、 l _Toc44792229 2.5 核心网技术需求 PAGEREF _Toc44792229 h 10 HYPERLINK l _Toc44792230 2.6 高可靠性需求 PAGEREF _Toc44792230 h 11 HYPERLINK l _Toc44792231 2.7 安全性需求 PAGEREF _Toc44792231 h 11 HYPERLINK l _Toc44792232 2.8 管理性需求 PAGEREF _Toc44792232 h 11 HYPERLINK l _Toc44792233 2.9 通信网络设备技术指标要求 PAGEREF _Toc44792233
4、 h 12 HYPERLINK l _Toc44792234 第 三 章 数据中心系统设计 PAGEREF _Toc44792234 h 15 HYPERLINK l _Toc44792235 3.1 交通数据中心总体架构设计 PAGEREF _Toc44792235 h 15 HYPERLINK l _Toc44792236 3.2 数据流程设计 PAGEREF _Toc44792236 h 17 HYPERLINK l _Toc44792237 3.3 交通数据中心系统组成 PAGEREF _Toc44792237 h 18 HYPERLINK l _Toc44792238 3.4 云存储
5、系统 PAGEREF _Toc44792238 h 18 HYPERLINK l _Toc44792239 3.5 大数据系统 PAGEREF _Toc44792239 h 43 HYPERLINK l _Toc44792240 3.6 运维系统 PAGEREF _Toc44792240 h 58背景及需求形势与背景机动车出行需求不断增加,时间与空间分布模式转变公众机动车出行需求不断增加、时间与空间分布模式转变、交通拥堵范围与程度扩大,需要ITS构建宏观调控手段。城市化进程加快,交通建设与管理并重城市化进程加快,交通建设与管理并重,在大规模进行城市交通基础设施建设的同时,需要ITS软环境为城市
6、交通可持续发展提速。打击多样化交通违法行为,维持交通管理秩序面对日益严峻的交通管理需求,通过开展多种专项整治活动,打击机动车闯红灯、行人闯红灯、机动车斑马线不礼让行人、非法占用公交车道、道路逆行压线等行为,规范出行交通新秩序。打造绿色交通、节能减排的人居城市打造绿色交通、节能减排的人居城市,引进先进的IT手段,通过交通物联网等技术,缓解交通拥堵、提高出行效率、减少交通事故、降低交通污染,实现“智慧交通、低碳出行”。ITS信息服务体系形成新架构城市交通信息服务,借鉴国外先进经验,提出“智慧交通、低碳出行、感知全程”的公众出行服务理念,全力打造城市ITS信息服务体系新架构。构建人性化执法服务环境,
7、合理规划勤务信息以人为本,构建人性化执法服务环境,确保道路执勤、执法、现场事故处理等工作的安全、严谨和规范性,并做到“警力跟着警情走”,合理规划勤务信息。规划定位强化指挥中心职能,紧密围绕“六大业务核心”开展城市ITS建设指挥中心智能交通信息平台,作为城市ITS发展的基础,其依托作用是显而易见的。城市ITS建设将依托指挥中心智能交通信息平台,围绕秩序管理、事故管理、路网管理、特勤任务、交通肇事逃逸追捕、城市交通服务这六大业务核心,建设交通运行指挥中心、交通监管指挥中心、城市交通信息管理服务中心;建设/改造15个子系统,即交通固定点监视系统、交通制高点监视系统、交通违法手动抓拍系统、车辆监测及参
8、数采集系统、交通事件视频检系统、公路车辆智能监测记录系统、闯红灯自动记录系统、违法占用公交车道监测记录系统、城市道路违法停车监测记录系统、机动车超速监测记录系统、机动车区间测速系统、人行横道智能监测系统、动态交通诱导系统、交通信号控制系统、执法车辆车载取证系统执法系统。依托城市已建成及规划格局,细分业务重点,构筑城市ITS感知网格城市ITS感知网格的合理建设,依托于对城市已建成及规划格局的深入解读,综合考虑城市出入口、工业聚集区、商业聚集区、市民居住聚集区、道路分布、铁路分布、水路分布、客(货)运交通枢纽、建筑物空间分布及高度等因素,同时结合城市发展历史,不同阶段的发展需求和侧重点,进行科学的
9、点位设置和前端感知设备类型选择,构筑“点、线、面、空”多维度一体的城市ITS动态感知网格。“打基础、上业绩、出成效”三年三大步,合理推进城市ITS进程城市ITS建设,主要通过三个阶段(分三期工程建设),即第一期改造工程(2017年 至 2018年),打基础、快速见效;第二期扩建工程(2018年 至 2019年),突出重点、上业绩;第三期提升工程(2019年 至 2020年)再创新、出成效。按城市ITS发展阶段性的需要和发展重点的不同,进行科学的规划、建设、实施,以“打基础、上业绩、出成效”三年三步走的原则合理推进城市ITS发展进程。以人为本,推进人、车、路、环境协同发展实现以人为本,人、车、路
10、、环境协同推进的发展模式,通过实时动态掌控交通出行热点的分布、出行方式选择、交通流在路网上的动态分配、交通出行在时间上的动态分配等信息,将人的交通出行行为与实时道路交通信息进行对应关联,构建数据、信息、知识、智慧的信息交互体系,推进人、车、路、环境协同发展。规划目标提升全城路网实时态势监控和交通秩序监管水平依托全城道路监控系统,根据路口、路段和全城态势不同级别的路网监控要求,实现“点、线、面”综合三位一体的全城路网态势综合监控,提升综合态势监管水平。打造全城一体的城市智能交通数据中心紧跟“公安交通集成指挥平台”建设改造脚步,建设以海量数据存储为基础、结合数据清洗、分析和融合的大数据系统和深度结
11、构化云分析系统和保证业务系统健壮性的云运维系统,实现标准的数据采集接入以及业务数据应用的城市智能交通数据中心。提升交通管理分析的智能化程度,加强涉牌违法目标车辆的打击能力针对城市涉牌违法车辆(1、未悬挂号牌;2、光盘遮挡号牌;3、防撞梁、备胎遮挡号牌;4、泥浆、油漆污损号牌;5、翻转号牌架;6、胶贴、涂抹号牌等车辆)管理的管理难点,提升业务平台的智能分析能力,整治城市涉牌违法车辆,提升非现场执法和秩序管理能力。提升应急指挥协作水平,加强应急处突综合调度能力针对当前交管难度和路面执勤民警资源短缺的矛盾现状,通过三步走战略,即1、补齐路面一线民警的可视化指挥调度终端,2、打通前后端指挥调度体系,3
12、、整合城市交警应急指挥资源,实现“警力跟着警情走,事件跟着预案走”的目的,并打造具备城市特色的特勤安保任务管理体系!提升道路科学辅助决策能力,优化路网渠化、信号配时等交通管理措施依托于交通数据中心的数据分析能力,研发交通流、交通违法行为以及交通事故事件等城市交通综合态势评估系统,提供专项整治辅助分析和决策系统,提升道路管理科学辅助决策水平,优化路网配置、路口渠化、信号配时等交通管理措施。增加互联网+智能交通应用,增加道路交通信息交互能力,提升城市交通形象转换交通管理理念,从管理者角度转变为出现服务者角度,增加路面信息交互设施,提高交通信息交互能力;依托于互联网+智能交通的应用模式,横向打通交通
13、态势监控可视化与路网综合分析能力,提供交通出行者可视化出行的服务能力,提升城市交通形象。提高系统运维和数据运维的自主分析能力,提高智能交通系统健壮性加强交管系统的运维体系建设,依托于数据中心对异常数据的自主分析和系统自运维能力,以数据运维、设备运维和网络运维为交叉验证的系统综合运维体系,结合运维端的远程化管理和会诊协同的需求,提供智能交通系统的健壮性。提升业务需求迅速转换为实际系统建设落地的能力,打造城市交通管理亮点参考NGN思想,依托开放型的交通业务管理平台,将业务和基础数据与基础能力平台相分离,实现新需求、新功能(算法)以及新业务迅速植入系统能力,与当地的交管问题相结合,打造城市交通管理亮
14、点。承载网络设计通信网络总体需求根据GA/T 50314标准建议,IP监控网络需要满足以下参数需求:度量参数高清实时视频监控点播监控存储语音时延150ms150ms1000ms500ms150ms抖动10ms10ms100ms30ms30ms丢包0.05%0.10%0.10%3%3%净荷带宽316M128K4M128K8M128K8M8K64K实占带宽4.222M250K10M250K11M250K11M24K,80KIP监控网络要求表根据公安部T.669推荐标准中所示,IP监控网络的传输质量(如传输时延、包丢失率、包误差率、虚假包率等)应符合如下要求: 1)网络时延上限值为400ms;2)时
15、延抖动上限值为50ms;3)丢包率上限值为110-3;4)包误差率上限值为110-4。因此,IP监控传输网络需总体按以上运行参数设计。IP地址规划原则IP地址的合理设计是数据中心网络设计中的重要一环,视频监控网络必须对IP地址进行统一规划并得到实施。IP地址采用RFC1918规定的地址段(不包括外联区域IP地址)。根据选择的IP地址段和数据中心的业务功能模块进行映射。IP地址的分配应遵循以下几个原则: 唯一性:一个IP网络中不能有两个主机采用相同的IP地址 ;简单性:地址分配应简单易于管理,降低扩展的代价,降低路由设备负担;连续性:连续地址在层次结构网络中易于进行路径叠合,提高路由效率 ;可扩
16、展性:在每一层次上地址都要留有余量,保证网络可扩展;灵活性:地址分配有灵活性,以满足多种应用策略,充分利用地址空间;此外,IP地址的分配需要符合VLSM规范,方便后续进行路由聚合和超网,方便部署灵活的路由策略。接入技术要求视频监控网络有别于其他业务的网络应用需求,在设备接入层面需满足以下几类不同设备的接入需求:前端监控点位(监控点位、卡口、电警):需支持包括电口(RJ45)、光口(SFP、光端机)、EPON(ONU模块或ONU设备)、ADSL、LRE+PoE、EPCN等多种接入方式,具体技术选择需结合实际的传输距离以及所需传输码流的带宽大小进行确认;车载等系统:可采用运营商3G/4G网络系统接
17、入,如若小范围内传输,则可以采用WLAN传输的方式,需采用802.11n协议,传输带宽不得低于450M。核心机房服务器、存储:需采用机房综合布线接入系统,采用超5类线接入,针对高业务数据设备(如存储、流媒体服务器)需充分考虑带宽的压力,特殊情况时需考虑采用双网口链路捆绑聚合的方式接入(原则上考虑支持LACP协议,视条件支持静态链路捆绑);全网需接入的监控系统设备需主要考虑上行带宽的需求,满足实际传输网络需求并考虑留有冗余,实际部署时按网口设计带宽的80%进行实施;举例而言:汇聚交换机实际网口为千兆网口,那么上行流量所占带宽不得超过800M。此外若考虑部署视频组播网络,接入层设备则不需依赖于视频
18、前端的组播特性,需同时支持IGMP协议、IGMP-SNOOPING协议等。汇聚技术要求视频监控网络在汇聚层的要求有别于常规网络设计,在设备汇聚层需要满足以下几个条件:接入层交换机上行采用千兆链路接入,故网络端口必须为千兆或者更高接口,需支持端口自协商;背板带宽不高于上行流量设计的总带宽的80%;支持流量QoS控制,支持对视频监控业务(实时媒体流、视频存储流、录像回放媒体流、控制信令)数据支持不同优先级的转发调度;支持设备堆叠,保证重要业务数据部署时汇聚设备的稳定性和可靠性;需支持多种防环设计协议,包括RRPP环网、RPR环网以及MSTP协议,支持大规模网络设计时防环设计。支持丰富的路由策略,包
19、括采用动态路由协议RIP、OSPF、IS-IS以及BGP协议,和静态路由策略进行路由最优路线选择和路由备份设计。在汇聚层需要按最优带宽方式进行网络路由设计。组播部署时,需支持PIM-SM协议和IGMP协议,作为C-BSR设备进行组播交换机备份。组播表项转发条目不少于1万条。核心网技术需求核心网络设备作为视频监控设备的核心管理调度建设需求,需在安全性、可靠性、包交换速度、以及稳定性方面进行重点的部署。需按如下几个方面进行设计:部署位置需在核心区域,路由条目较少,选路简单,只负责核心路由的选路,慢足网络稳定的需求;核心网设备需考虑部署IRF堆叠,保证转发的带宽以及包交换速度满足业务需求;同时在稳定
20、性方面对设备进行热备,防止单点瓶颈和单点故障。部署组播网络设计时,核心交换机需要作为C-RP以及C-BSR设备作为组播调度的核心设备,需支持PIM-DM、PIM-SM以及IGMP协议,组播转发的条目不低于10万条。高可靠性需求为了确保视频监控网络运行的稳定,系统组网时需满足高可靠性的需求。部署的设备需要支持RRPP环网保护,RPR环网保护,对于双上行链路需要结合Monitor Link+Smart Link技术对设备以及链路进行热备。对于核心设备采用一体式机柜+业务板卡的模式,对于核心板卡部署HA(High Availability,高可靠性)技术,保证业务板卡的热备需求。安全性需求为确保视频
21、监控网络的安全性,应在各个不同层面,对设备安全性进行设计:接入端网络设备需支持端口认证、MAC地址绑定、以及ACL访问控制策略的模式限制前端设备接入、后端管理设备访问的安全性;汇聚层网络设备需支持视频网络的NAT穿越特性,支持视频应用与调度分离时的内外网调度的问题。在一些特殊的视频应用环境中(如视频级联时)需支持NAT ALG的功能。保证上层应用数据的正常转发。核心层网络设备需采用特殊的访问控制和登录管理方式,保证核心设备配置不被轻易改动;同时需支持包括防火墙功能,对不同的访问数据进行过滤。全网设备若部署在公网时需满足通过VPN进行网络传输的需求,需支持业内通用的GRE、L2TP、IPSec等
22、业界主流VPN,并对不同的的业务数据进行安全策略选择。采用VPN传输时,引入额外延时不超过500ms。管理性需求视频监控网络在设计时为了方便后续的维护管理,需支持通用的网络管理协议。包括如下几个需求:全网设备需支持标准的SNMP简单网络管理协议,采用标准的查询、管理报文以及标准的MIB库,方便不同的网络设备进行统一管理;全网需支持统一时钟校时,采用标准的NTP校时协议;如有实际需求可部署集群管理,保证网络系统的可管理性。通信网络设备技术指标要求接入层交换机技术要求处理器主频200MHz,DDR内存64MB,Flash Memory16MB;交换容量64Gbit/s;包转发能力6.6Mpps;2
23、4个10/100Base-TX;2个千兆Combo 口(10/100/1000Base-T或100/1000Base-X);支持接口流量控制、链路聚合、Trunk内各链路流量的负载分担;支持端口隔离、端口转发限制、流量抑制;支持Access、Trunk、Hybrid接入方式;支持default VLAN、VLAN mapping;支持MAC地址自动学习和老化、源MAC地址过滤、接口MAC地址学习限制;支持STP、RSTP、MSTP,提供BPDU保护、Root保护、环路保护,提供局部STP、BPDU隧道;支持接口限速;命令行分级保护,未授权用户无法侵入;支持SSH v2.0,支持RADIUS用户
24、登录认证。汇聚层交换机技术要求处理器主频500MHz,DDR内存256MB,Flash Memory32MB;交换容量256Gbit/s;包转发能力107Mpps;48个10/100/1000Base-T;4个千兆SFP接口;冗余电源;支持接口流量控制、链路聚合、Trunk内各链路流量的负载分担;支持端口隔离、端口转发限制、流量抑制;支持Access、Trunk、Hybrid和QinQ接入方式;支持default VLAN、VLAN mapping、灵活VLAN Switch;支持MAC地址自动学习和老化、源MAC地址过滤、接口MAC地址学习限制;支持IGMP、PIM-SM协议,支持组播路由;
25、支持STP、RSTP、MSTP,提供BPDU保护、Root保护、环路保护,提供局部STP、BPDU隧道;支持RRPP保护倒换,支持RRPP单环、RRPP相切环、RRPP相交环,支持RRPP环和其他环网混合组网;QoS方面应支持流分类、队列调度、拥塞避免、接口限速;命令行分级保护,未授权用户无法侵入;支持SSH v2.0,支持RADIUS用户登录认证。核心层交换机技术要求一体化总装机箱1个,应配置2块主控板,2块直流电源;处理器主频700MHz,DDR2内存1GB,NVRAM512KB,Flash Memory64MB;交换容量6Tbit/s,背板容量18Tbit/s;包转发能力1440Mpps
26、;业务板插槽数6;配置冗余电源,支持热插拔;平均无故障时间(MTBF)24年,平均修复时间(MTTR)0.5小时;支持端口流量控制、端口捆绑成Trunk、Trunk内各链路流量的负载分担、LACP进行链路聚合、LLDP进行链路层发现、持端口隔离、端口转发限制、广播风暴抑制;支持Access、Trunk、Hybrid接入方式;支持default VLAN、1:1 VLAN Mapping、N:1 VLAN Mapping,支持基于802.1p的VLAN Mapping,支持基VLAN-Switch,支持Smart link协议;支持静态、动态ARP,支持VLAN上应用ARP,支持ARP表项老化;
27、支持单向链路检测、虚拟电缆检测;支持多种 VPN; 支持STP、RSTP、MSTP、BPDU保护、Root保护、环路保护、BDPU Tunnel;支持RRPP、RRPP多实例、环路检测功能;支持IGPM、PIM-SM协议,支持组播路由管理;支持接收和发送IPv4单播数据报文、IPv4单播静态路由;支持RIP、OSPF、IS-IS、BGP动态路由协议、DHCP snooping、DHCP Server/Relay;QoS方面应支持流分类、队列调度、拥塞避免、流量监控、接口限速;命令行分级保护,未授权用户无法侵入;支持SSH v2.0,支持RADIUS用户登录认证。数据中心系统设计交通数据中心总体
28、架构设计交通数据中心平台总体架构设计 交通数据中心架构设计如上图所示,整个系统的业务逻辑架构如下:系统自下而上由一体化机房/云柜、数据接入集群单元、云存储系统、大数据系统、云分析系统以及传统的关系型数据库和基础业务处理平台组成,辅以全网运维系统进行设备和数据的管理监测;系统逻辑上是由接入云接收数据,通过预处理系统进行初步的标准化改造和高清化改造、由高速数据转发总线进行转发。需要实时进行处理的数据则直接由各业务子接口直接进行调用,例如稽查布控、视频实时预览、即时指挥调度等;非实时性处理业务则上送到数据存储和二次分析系统,即结构化数据存储到大数据的分布式数据库;非结构化的数据存储到视频图片混合云存
29、储系统;两者之间则通过算法的互相作用实现数据的共享和交换。例如视频存储资源的关键录像标签通过云存储系统中的录像检索算法将结构化数据转发给大数据系统;核心的智能算法容器则大部分放置在云分析智能工具集,包括过车图片的二次识别、车辆模型的非特征结构化预处理等;此类数据同样会与大数据系统和云存储系统互相交换;接入云采用虚拟化技术,通过标准的分布式可扩展框架和接口规范,实现所有交通基础数据的云接入;数据服务接口则通过虚拟的角色实现不同业务平台对数据读取的接口和权限控制,同时提供业务平台数据返回通路,实现应用数据重新进入数据中心进行数据回归分析。通过Sqoop等ETL工具实现关系型数据库与大数据之间的数据
30、迁移和协同运行,确保稽查布控、违法审核、手动抓拍、集成指挥等子业务平台的正常运行。全网的运维体系分为设备运维和数据运维两个维度实现,尤其是数据运维,通过判断正常数据与异常数据的对比确定系统的异常点和异常程度;例如同时发现过车数据的抓拍率较低,过车图片的夜间质量较差,则判断是否为补光灯异常等原因;整个数据中心系统定位为基础数据采集和服务平台,首先实现的交通管理所有的原始数据接入,汇聚成统一的数据资源池(包含现有的视频监控系统、车牌识别系统、电子警察系统、流量采集系统、事件检测系统等)。在此之上通过数据比对和分析的结果提供类似涉牌车辆实战分析和交通管理辅助决策等业务功能;数据中心系统在设计上采用业
31、务和数据分离的原则,并且有非常明确的层级架构,数据统一接入、统一存储、统一读取。具备很好的开放性和可扩展性。数据流程设计交通数据中心数据流程图基础数据流向说明交通数据中心的数据流程如上图所示,实时交通数据(过车、违法、流量等结构化数据)由数据接入云配合大数据的kafka数据总线进行统一接入,并写入到大数据的分布式数据库;历史数据则由ETL数据迁移工具写入到大数据的分布式数据库;过车图片和视频则通过流直存技术写入到云存储系统,再由中心平台调度云分析业务,由“猎鹰”、“刀锋”等云分析设备进行图片视频的二次结构化分析和预建模处理。其后由数据中心平台调用数据实现车辆的以图搜车、车辆研判、流量态势评估等
32、业务功能。交通数据中心系统组成云分析系统是交通数据中心的分析引擎,其包括两大类,分别为图片云分析系统和视频云分析系统。云分析可以采用的工作模式主要包括主动工作模式和被动工作模式。目前采用的是被动工作模式。主动工作模式的特点是中央强力控制,即由中心管理服务下派任务到指定的计算节点,计算节点没有发起任务申请的权利。被动工作模式则相反,由计算节点主动向中心管理服务发起申请,申请获得批准后获得执行任务,然后开始任务执行,任务执行过程中与中心管理服务保持实时更新,确保任务能够正常完成。被动工作模式相比主动工作模式而言能够突出计算节点的优势,管理单元越小,管理的难度也就越小。如果按照主动工作模式,由中心管
33、理服务全部承担任务分派、任务调度等功能,负载、责任过大,容易造成单点失败。即便采用集群方式或者单点灾备模式,依然没有真正解决负载过重、任务调度节点易失败等情况。被动工作模式把任务申请职责交给了计算节点,各个计算节点按照自己的实际情况决定是否发起任务申请,这样可以有效地避免计算节点出现计算资源使用率频繁切换、异常波动,同时,降低了中心管理服务的压力。任务调度方面,云分析通过接入数据中心管理平台,实时获取执行任务信息,然后通过中心服务管理动态调度任务的方式达到高优先级任务优先执行的目的。对于计算节点来说,它申请获得任务没有优先级之分,一旦申请成功,立即转入工作状态。同时,由于云分析节点是分布式部署
34、,系统高并发执行的效果可以有效的提高分析执行效率、优化网络带宽的流量压力,使得整个监控系统的性能得到更大的提升。云分析系统在技术路线选择上不约而同地选择了深度学习+GPU的方案,利用高密度GPU以及深度学习算法提供强大的图片和视频结构化分析能力,提供交通数据中心所需的结构化数据资源。云存储系统云存储系统,是交通数据中心存储资源池,负责视频、图片等海量资源的核心存储。云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数
35、据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。视频监控云存储系统架构采用分布式集群技术,由云管理平台、存储服务器集群网络、统一应用的API接口,通过虚拟化、云结构化和高精确视频应用存储构成。运用集群构架、负载均衡、结合视频、图片数据特点,面向应用地满足了视频监控业务高可靠性、不间断的海量存储需求。采用分散存储技术加速大数据智能分析快速提取和分析效率。系统使用存储虚拟化技术对具有海量存储需求的用户提供透明存储构架、高可扩展性的云存储服务。同时开放的集成构架可兼容已购买的存储设备,保护用户现有存储投资。视频云存储调度子系统将信令与业务承载码流相分离,视频
36、调度后台软件只处理控制信令而不处理视频数据,实时视频数据直写到存储设备。视频云存储管理软件在各中心机房以集群方式进行部署,通过监控管理统一平台软件实现全市所有监控点的统一管理。云存储互联管理集群按照策略设定多云间的备份切换机制。视频云存储系统,采用抓拍机产生的图片直写存储设备;采用集群方案解决单节点失效问题,并利用负载均衡技术充分利用各存储节点的性能;采用统一接口与平台对接,降低平台维护和用户管理的复杂度。云储存系统架构图视频图片混合云存储系统架构图云存储逻辑架构图云存储系统采用分层结构设计,整个系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。云存储逻辑架构图设备层设备层是
37、云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的IP-SAN、FC-SAN存储设备。在系统组成中,存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。存储层在存储层上部署云存储流数据系统,通过调用云存储流数据系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据的高效的写入、读取和调用等服务。管理层在管理层,融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发,以及硬
38、件设备的状态监控和故障维护等;实现整个存储系统的虚拟化的统一管理,实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。接口层应用接口层是云存储最灵活多变的部分,接口层面向用户应用提供完善以及统一的访问接口,接口类型可分为Web Service接口、API接口、Mibs接口,可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。实现和行业专属平台、运维平台的对接;实现和智能分析处理系统之间的对接;实现视频数据的存储、检索、回放、浏览转发等操作;实现关键视频数据的远程容灾;实现设备以及服务的监控和运维等。应用层从逻辑上划分,除了应用层外,剩下的四层都属于通常云存储的范畴,但
39、是在视频云存储系统中,为了与视频监控系统的建设和应用更加紧密的结合,更加符合用户的业务需求,将应用层纳入了整个系统架构中,从根本上提高视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接,实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs 接口,对云存储系统以及服务进行监控管理,及时将产生的告警传递给用户。将智能分析平台可与云存储系统进行对接,实现基础数据的读取,
40、以及经过存储的二次分析后的片段信息,文本信息写入和检索。云存储系统软件互联云存储管理软件互联云存储管理软件是处于视频云存储系统之上的,对可互联互通的多个云存储系统之间,进行业务故障管理。当云存储系统发生异常时,互联云存储管理软件提供按策略自动或手动业务切换功能,将异常云存储系统中的业务切换到另外一个正常运行的备份云中,以保证录像计划的不间断执行。软件包括展现层、业务层、系统交互层、数据库多个软件模块层次,提供多云管理和业务容灾功能。互联云管理软件架构云信息录入和获取互联云存储管理软件支持录入多套云存储的系统信息,连接云存储系统进行通讯,验证用户名和密码,并进行云信息的获取,包括云资源情况、录像
41、池、录像计划、存储设备等信息。备份策略制定备份策略的制定需要选择工作云、工作录像池、监控点、备份云、备份录像池等信息,当用户执行此策略时,多云管理平台根据策略进行录像计划的下发,完成切换任务。备份策略执行备份策略的执行为整个系统中的关键流程,当管理中的一套云存储确认已出现异常,必须进行业务切换,可按策略进行自动切换或者由用户点击手动策略切换,在原工作云中删除业务工作计划(删除动作可选),在备份云中添加业务工作计划,同时记录切换时间和状态,完成整个切换。备份策略撤销备份策略已被执行,若工作云恢复正常,则需要恢复以前的业务工作计划在执行撤销策略时,用户也需要确认工作云已经恢复正常,能够进行正常工作
42、,点击撤销操作,互联云管理软件根据策略将备份云的中业务工作进行删除,同时将业务工作计划添加到工作云中(添加动作可选),并记录完成时间,同时生成一条数据恢复任务,以便下一步执行数据回传操作。备份数据回传恢复当云存储恢复正常后,同时需要将视频备份数据也进行恢复,以便正常的进行录像查询回放下载业务,互联云管理软件根据策略生成的备份任务连接工作云进行任务下发,对备份数据进行锁定,防止数据被覆盖,同时控制备份任务的执行数量,防止底层任务过多,造成系统压力过大,影响正常的录像业务运行,待任务完成后,平台需解锁备份云中的录像数据,释放空间,以便后续业务继续进行。视频云存储管理软件视频云存储管理软件:主要功能
43、包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块,分别为:索引管理模块、调度管理模块、集群管理模块、计划管理模块、资源管理模块、辅助管理模块,整体软件架构如下图所示:视频云存储管理软件架构索引管理模块索引管理模块集群化管理集群中的全部管理节点,能并发响应用户的检索、插入、修改和删除操作情况,提供一体化、高并发、快响应的索引服务。同时,索引管理模块提供视频索引、标注索引服务,支持以通道号、时间段、录像类型和锁定状态为条件的视频信息检索服务,支持以通道号和时间段为条件插入、修改、删除和检索标注的功能,以及根据标注关键字检索视频的特色功能。调度管理模块
44、调度管理模块根据集群中设备的负载状况,灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法,提供资源分配调度、分散策略调度、循环覆盖调度、录像计划调度等服务。集群管理模块集群管理模块统一管理集群中分布式设备节点,包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步,保证集群中不同管理节点信息的一致性,无差异化的对外提供服务。同时也负责管理存储节点,将存储节点加入到集群中作为存储资源的一部分,集群管理模块维护集群中设备节点的实时状态信息,对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。计划管理模块计划管理模块负责录像计划的管理、
45、下发、切换,保存监控平台下发的录像计划,调度系统中的录像计划并执行录像计划,当接入服务器异常时负责动态切换录像计划到其它接入服务器。 资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进行统一管理,根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量,负责创建、删除录像池,为存储业务分配合适的存储资源。同时能动态的调整录像池的大小,弹性的对录像池进行扩容或者缩减,将集群存储空间切分成细小独立的存储单元,再根据用户需要,将很多个存储单元有机组合后虚拟化成录像池对外提供存储服务。辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能,日志管理为其他模块提供日志打印服务,对外
46、具备日志查询和日志文件下载功能,包含调试日志、事件提示日志、错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口,供运维平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本视频云存储系统中保存的功能。视频云存储软件视频云存储软件:CVS(Cloud Video Storage)是视频云存储系统中的重要模块,主要负责执行具体的视频数据读写操作。CVS集成在视频云存储节点(CVSN)上,每一台存储设备上都必须装载该软件模块。视频云存储软件(CVS)接受视频云存储管理软件(CVM)的管理,从视频云接入软件(CVA)接收海量视频数据,高效无误的存放在本机指定的数据
47、块中。在一套视频云存储系统中,视频云存储存储管理软件(CVM)会均衡分配多台视频云存储软件(CVS)的业务负载量,使整个系统的读写性能达到最佳。视频云存储软件按照功能模块化设计,整体软件架构如下图所示:视频云存储软件架构通信模块本模块主要是负责和CVA及CVM进行数据信息的交互,采用多线程并发接收和发送数据的方式,高效完成跨机器的数据交互。运维管理本模块主要是负责和视频云运维软件进行交互,采集系统数据及程序运行数据,并按照特定协议格式发送给视频云运维部件,方便平台对整个云存储系统运行状态进行实时监控,如有故障出现,及时报警提醒相关人员进行处理。视频接入本模块主要是负责处理从CVA传输进来的视频
48、数据,并按分类进行一定的逻辑处理。采用多线程的处理方式,可同时支持数百路的视频数据接入。日志管理本模块主要是负责对CVS的日志进行统一管理,记录一些重要事件,方便事件回溯,对外提供日志查询和日志下载功能。视频文件系统本模块根据视频的特性,定义流式存储结构,主要是负责视频数据的高效读、写。数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存,可以方便的以SQL接口提供插入和查询,简化数据存放和获取的机制。视频云存储接入软件视频云接入软件CVA(Cloud Video Access)也是整个云存储系统的重要组成部分,主要包括录像任务管理、录像服务、设备状态管理和部分流媒体
49、转发服务等功能。视频云接入软件支持定时录像、移动侦测录像和事件录像(如:手动录像),其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录像计划任务信息表,当接入软件检测到有通道需要执行录像任务时,接入软件首先通知流媒体服务从前端设备读取视频数据,然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计,软件包括六大功能模块:录像任务管理、流媒体服务、设备状态管理、负载信息管理、录像服务、视频帧分析。整体软件架构如下图所示:视频云接入软件架构录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管理等功能。定时录像和移动侦测录像是用户设
50、置的计划录像,事件录像是用户计划外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、执行录像、停止录像和停止从前端设备取流等操作。移动侦测录像,录像管理功能首先需要对前端设备布防,并监控前端设备的报警状态,同时还可以根据用户的需求提前从前端设备获取视频数据,通过预先获取数据流保证了视频的完整性,当接入软件收到前端设备的移动侦测报警命令后,立即执行录像。事件录像,录像管理功能接收到事件录像命令,首先检索当前通道是否有定时录像或移动侦测录像,如果没有上述两种录像,立即执行录像,事件录像的优先级要高于移动侦测录像和定时录像。流媒体服务流媒体服务主要包括流媒体转发模块和流控制管理模块,流媒
51、体服务具有稳定和高效等特点,整个系统提供持续的视频数据支持。流媒体服务传输视频数据支持RTSP、TCP和UDP协议,可以根据不同环境选择合适当前网络性能的传输方式。流媒体服务视频流转发功能:流媒体服务从前端设备获取到视频流后可以根据用户的需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设备的压力,节省了网络带宽,极大的提高了系统性能。设备状态管理设备状态管理是云存储接入软件的基础功能,它主要包括监控前端设备状态、布防状态和取视频数据流的状态。前端设备状态监控:状态管理功能实时获取前端设备的状态,当检测到前端设备异常,接入软件会及时上报。设备布防状态监控:状态管理功能实时监控前端设备
52、的布防状态,当前端设备布防失败,接入软件会及时上报。读取视频流状态监控:状态管理功能实时监控流媒体服务的工作状态、如果流媒体服务取视频流时发生异常,接入软件会及时上报。负载信息管理负载信息管理功能主要是接入软件实时监控当前服务器的内存和CPU使用情况,并定时上报当前资源使用信息,云存储管理软件(CVM)根据上报的资源使用信息均衡分配录像计划到云存储接入软件(CVA)。录像服务录像服务包括取流管理模块和执行录像服务模块两个部分。录像服务接收录像任务管理模块下发的录像信令,当录像服务接收到录像任务管理模块开启录像信令后,首先通过取流模块向流媒体服务发送取流信令,然后将流媒体转发的视频数据发送到云视
53、频存储软件为一次录像的开始。当录像服务接收到录像任务管理模块下发的停止录像信令,录像服务首先向流媒体服务发送停止取流的信令,然后通知云视频存储软件停止录像为一次录像的结束。视频帧分析帧分析模块主要是对流媒体服务读取的视频数据进行帧分析,从视频数据中分析出关键帧等信息,为系统提供关键帧查询和关键帧回放提供技术支持。云存储系统特点统一互联的多域管理海康威视视频云存储系统具备通过云统一管理中心实现对多云域计划调度,和统一,突破传统云间孤立的难题,同时解决当云域中单个云瘫痪,其他云解决,可保证云业务不中断,增强了系统的可靠性。域间资源的统一调度视频云存储系统中云统一管理中心负责多云间资源统一注册,统一
54、管理,实现业务统一调度。域间故障的一键切换视频云存储系统中,当某一个子云存储系统完全故障,可通过云统一管理中心实现一键业务切换,将故障云存储系统业务切换到运行状态良好的云存储系统中保持业务继续,当故障云存储系统恢复后,还可以通过业务一键回迁将故障期间的数据回迁至原云存储系统中。高效灵活的空间整合海康威视视频云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾,在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,大大地提高了系统的整体性能。存储资源的虚拟化对存储空间的管理方面海康威视视频云存储系统将全域各存储
55、节点的资源进行虚拟化后,向用户呈现出一个持续的、超大的数据资源池,将其称之为存储资源池。存储资源池的整合过程完全透明,由系统算法自行完成,将用户从繁琐的空间管理和配置中解脱出来,提高了管理效率。存储资源的在线扩展当存储资源无法满足用户的容量需求,需要进行存储资源的扩展时,海康威视视频云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的IP地址,系统会自动辨别新增设备,对新增设备进行虚拟化整合,这样新增设备的容量就能融入集群,并作为集群内全部存储资源的一部分为用户所用;同时,在整个存储资源的扩展过程中,视频云存储系统的录像业务正常运行,保障用户不会因为系统的扩容而中断正在进
56、行的正常业务,从而实现存储资源的在线扩展。云存储的系统架构保证了存储资源在线扩容的同时,可以满足容量与处理性能的线性增长,从而提供了无限制的容量增长能力。虚拟空间的灵活使用用户对存储资源池的使用完全可以做到随心所欲,可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配,分配后的存储资源称为录像池。录像池的划分采用灵活策略方式,对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活,不但能够做到将录像池进行扩大,同时也能非常灵活的支持将录像池进行缩小,而这点在传统存储中则非常困难。数据类型的多样化混合存储海康威视视频云存储系统实现对视频、图片、对象文件的统一
57、混合存储。一套云存储即可解决传统数据存储需部署多套存储分别存储不同类型的数据的问题,不仅解决数据混合存储,实现数据统一管理,而且实现在项目存储架构简化、项目存储投入优化。持续可靠的数据服务海康威视视频云存储系统为用户能够提供7X24小时不间断高效可持续的数据服务,充分保护数据安全和可靠性。集群化管理节点设计海康威视视频云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上,不但能够使系统整体性能提升,还可以使得单台节点的压力下降。通过这种方式单台视频云存储管理节
58、点的系统消耗更小,也就使得使用寿命更长,可能出现故障的概率降低。即使视频云存储管理集群中部分(一台或多台)节点出现故障,也不会影响到视频云存储系统的服务,因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作,继续为视频云存储系统提供管理服务。持续并发业务存取在数据存储层面同样由于视频云存储节点也采用的集群化部署,所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时海康威视视频云存储系统采用离散存储算法,可以为用户提供系统级分散存储服务。支持将同一IPC提供的数据流按照分片的方式分布式存储在不同视频云存储节点上。这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。
59、在存储节点内运行管理和业务软件也可用对数据进行合理分配,同时高效的 Raid技术在设备层面也能保证数据的高安全和可靠性。高可靠的录像功能海康威视视频云存储系统在存储节点上内置视频云接入软件,所提供的录像服务和流媒体服务也是由视频云存储管理节点统一进行调度的,每套视频云接入软件负责一部分前端的录像工作。当这台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配,保证业务的不中断。灵活的四级数据安全机制海康威视视频云存储系统实现在一套云存储可根据用户对不同数据安全性要求,通过传统单机RAID5、网络RAID、云内多副本技术、云间数据备份等四级数据安全机制,根据
60、需求灵活选择。高可扩展的应用支撑海康威视视频云存储系统是一套为视频、图片等监控行业而设计视频云存储系统。其先天的基因中就融入了面向应用的特质,在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。数据应用性能支撑由于视频数据具有持续时间长、数据量大等特点,在存储和读取上对存储设设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储/读取慢、前端支持路数底的瓶颈。而海康威视视频云存储系统就能够很好的解决这些问题。流数据存储结构设计海康威视视频云存储系统的集群化、分布式设计使得系统的性能有很大的提升,能够并发服务以满足视频数据的高速读取需求。海康威
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年陶瓷纳米粉体材料项目可行性研究报告
- 2025至2030年中国变速器运送头数据监测研究报告
- 陶瓷酒瓶日用瓷项目可行性研究报告模板
- 2024-2025学年高中政治第三单元收入与分配第八课财政与税收课时2征税和纳税课时精练含解析新人教版必修1
- 2025年电能供应行业深度研究分析报告
- 2025年自发光标志牌项目投资可行性研究分析报告
- 2025年度商铺租赁合同:包含装修补贴及经营指导服务协议4篇
- 2024山东水利管理业市场前景及投资研究报告
- 2025年度特色小吃车租赁合同规范
- 中国静注人免疫球蛋白行业全景评估及投资规划建议报告
- 四川省成都市2023年中考道德与法治真题试卷(含答案)
- 【初中生物】病毒课件2024-2025学年人教版生物七年级上册
- 企业愿景和未来三年规划
- 发酵馒头课件教学课件
- YAMAHA(雅马哈)贴片机编程培训教材
- JGJ162-2014建筑施工模板安全技术规范-20211102195200
- 公司解散清算的法律意见书、债权处理法律意见书
- 2024-2025学年初中信息技术(信息科技)七年级下册苏科版(2023)教学设计合集
- 中华小厨神(教学设计)-五年级下册劳动人教版1
- 世界建筑史学习通超星期末考试答案章节答案2024年
- 公路桥梁工程施工安全风险评估指南
评论
0/150
提交评论