基于视频结构化图侦系统的应用

./基于视频结构化图侦系统的应用目前,视频监控系统已经成为治安防控、侦查破案的重要手段。但是,面对海量的视频信息、非结构化的数据形式和内容的多义性,在案发后人工调阅方式耗时耗力,大量视频未经梳理而流失,严重影响了监控系统的建设成效。目前在安全防范领域中,有效分析、组织和管理视频数据,研究基于内容的视频应用系统取代人工方式,已经成为警务信息化应用的研究重点。本文分析研究了视频数据的规范化采集、结构化存储和全局性共享等问题,提出基于视频内容结构化分析技术,按照"一个证据中心,两个核心应用"方式来构建图侦系统的技术方案和应用模式。主要工作包括：〔1分析了当前公安图侦工作的困难和制约,研究了视频图像从采集、研判,到管理、应用的一体化工作模式,基于视频内容结构化分析技术,提出了"视频证据中心、视频图像取证、视频研判分析"为框架的网侦系统研发思路。〔2从警务一体化的角度,以视频采集、证据管理、研判应用为业务主线,研究了基于视频结构化图侦系统建设的总体技术方案、基本功能点,设计了系统研发的体系架构、逻辑架构、数据架构,以及与外部系统之间的关系。〔3分析了视频结构化建库的主要任务和核心问题,从视频人、车、物基本要素入手,进行了视频证据中心的模型设计,包括证据中心的体系结构、视频对象结构化定义、对外数据交互视图,以及证据中心实体-关系图〔ERD。〔4从工作模式和核心应用出发,分析了图侦业务的主要角色和主要环节,设计了图侦工作的业务流程、关键业务交互顺序、摘要索引业务流程和基本功能点,整合运用视频结构化、视频摘要、视频索引等先进技术,进行了软件的设计和实现。使用结果表明,基于视频内容结构化开发的图侦系统,能够实现视频监控信息的全程筛选,防止有用信息的流失,再造了视频监控及研判应用的信息流及业务流,能够有效支撑了图侦工作机制的转型发展。第一章绪论1.1.研究的背景和意义随着国家经济、社会的快速发展,人民群众的安全防范意识不断提高。特别是2005年以来,公安部大力推动"3111"工程和城市报警服务与监控系统建设,以"天网工程"、"平安城市"项目为引领的社会治安视频监控系统建设迅猛发展,保守估计全国各级公安机关可直接调控的视频监控摄像机已超百万支[1]；各行各业、各重点企事业单位社会也广泛开展视频监控系统建设,加强对重点部位、重要场所的实时监控。视频监控系统已经成为维护社会稳定、治安安定和创新社会管理的重要手段,在指挥决策、治安防控、侦查破案和执法监督等方面发挥着积极的作用。当前,视频监控系统已经成为治安防控、侦查破案的重要手段。但是,由于视频数据量庞大且格式复杂,存储代价昂贵且难以管理,面对海量的视频信息、非结构化的数据形式和内容的多义性,在案发后人工调阅方式耗时耗力,大量视频未经梳理而流失,严重影响了监控系统的建设成效。2012年2月公安部下发《全国公安机关视频图像信息整合与共享工作任务书》,要求充分利用先进的视频监控、图像处理技术,深入开展视频图像信息共享应用平台建设。目前在安全防范领域中,有效分析、组织和管理视频数据,研究基于内容的视频应用系统取代人工方式,提升监控系统建设成效,已经成为警务信息化工作的研究重点。为此,必须充分运用先进的图像处理技术,突破视频监控系统联网、整合与共享工作中存在的发展瓶颈。原有监控工作模式的不足,主要表现在"视频图像采集"、"视频图像检索"和"视频要素建库"这三个环节。〔1视频图像采集不规范按照公安机关对视频监控系统建设的相关规定,一般要求视频监控系统具备至少30天连续视频图像存储能力,并能自动循环覆盖存储。在实际工作中,由于视频图像采集速度慢且过程繁琐,原始视频数据量庞大且格式复杂,备份海量视频需要海量存储空间等原因,难以建立起一套有效的视频图像信息采集机制,只有在查处大要案事件时,办案部门才会调阅视频监控资源,查找嫌疑人或可疑物品,并随案保存相应视频资料,99%以上的视频图像被自动循环覆盖而没有经过图像信息的梳理采集并保存使用,存在有价值的视频图像信息被覆盖、被流失、被放弃等问题,严重降低了视频监控系统的建设成效。在传统的视频监控系统,即使建设了大量的摄像镜头,但是缺乏对数据的有效分析和利用,大量的有价信息被丢弃或湮没于数据海洋中,成为数据垃圾,投资大、成效低。图1-1描绘了原有视频监控图像信息的完整生命周期,仅有不到1%的视频信息经过梳理研判,绝大部分的视频监控信息没有经筛选而直接流失。因此,充分运用先进的图像处理技术,特别是视频信息的结构化分析技术,建立成熟、规范的视频图像信息采集、管理和研判、应用机制已经十分紧迫。图1-1传统视频监控图像信息的完整生命周期分析在日常网上监控巡逻工作中,由于缺乏一个可操作性的工作平台,也没有建立健全视频图像信息的采集、管理机制,视频监控有"巡"无"查",监控操作人员缺乏有效的可操作性工作指标。因此,构建规范化的视频图像采集机制对于提升视频监控系统运用价值具有积极意义。〔2视频图像检索困难当前,视频监控系统深度运用的另一个瓶颈是视频调阅耗时耗力,以人工方式进行检索,效率低下。主要表现在：在案发后对海量涉案视频信息的调阅过程耗时严重,所需人员投入量巨大并随着案情的复杂程度递增；原始涉案视频质量参差不齐,有时还需要另外工具和受过专业图像处理训练的人员。因此,对海量涉案视频的调阅,对人的体能和精力都是极大的考验,从而直接导致检索效率下降,无法有效地快速浏览视频、定位目标。运用视频图像转码技术,可以将非标格式图像转换成标准格式,便于开展统一视频图像信息采集和建库管理；基于视频摘要技术处理后,整合形成的摘要视频远远短于原始视频,从而缩短了人工调阅的时间,便于快速锁定目标,快速提取线索信息,截取可疑目标出现和消失的视频片段,并与警务数据库进行图片或视频的关联标注保存。这样当有案件需要检索线索时可直接查看标注图片或截取视频,提高了检索线索的效率。〔3视频对网络带宽的瓶颈制约随着视频监控的联网发展,警务人员在需要倒查录像的时候,都会采用联网下载的方式,这样虽然提升了办案的效率,但也带来了一些弊端,例如对网络带宽的依赖,在倒查录像的时候需要对录像进行下载或者以流媒体的方式进行查看,无论采用何种方式,都会占用非常巨大的网络带宽资源,如果网络无法正常工作或者出现网络堵塞等情况,录像文件往往还有可能出现数据丢失的情况,如何摆脱或者降低对网络的依赖以成为了当前视频监控市场一个迫切需要解决的难题。〔4视频结构化建库不足目前,各地都在积极探索建立视频信息库,对各部门、警种关注的视频图像信息进行整理、分类存储。但是,在实际工作中,由于视频信息的非结构化、多语义性,所建的视频信息库,只能对案件进行简单标注,各地仍然以人工查看为主。近年来,视频特征提取、视频结构化分析、视频索引、视频检索等技术已经取得了明显的进步,但在整合应用上还有距离,还没有形成一个成熟的工作平台和应用体系。因此,充分利用视频结构化分析、视频摘要等图像处理技术,从案事件证据的角度,建立案事件视频证据库,用来存储从视频监控系统中提取的视频片段和图像特征信息,构建以视频图像共享应用为核心的工作平台,对强化公安机关视频图像信息资源的综合开发利用,提升公安机关的核心战斗力具有积极的现实意义。图侦系统是吴江市"1+X"视频监控系统项目建设的核心系统,系统建设的部分成果,例如视频摘要子系统、视频检测子系统等,已经在吴江市公安局进行试用,效果满足公安实战需要,有关基层公安机关视频巡逻、视频取证、视频研判、新机制也在逐步推进之中。1.2.项目研究的目的本文将整合运用视频结构化、视频摘要和数据挖掘等先进技术,研究构建视频图像信息共享侦查应用系统〔以下简称"图侦系统",提供覆盖视频业务从"采集"、"研判"到"保存"、"管理"、"应用"的全局能力支撑,使视频图像成为重要的案件侦破手段和情报来源,前瞻性地推进视频监控系统建设由"信息"到"情报"的演进,并将最终为基层公安民警提供一个"贴近实战、研判高效、管理有序"全局性的视频研判作业环境。主要目标如下：1、对接视频监控联网系统,实现对联网监控视频图像的统一采集、调取,进行案事件视频处理、研判、统一管理、图像要素布控等提供技术手段。2、满足案事件现场移动视频图像采集,实现案事件现场视频图像处理、现场研判；能够快速对现场周边图像进行采集、视频转码播放、视频属性编辑等。3、能够实现视频的结构化分析,具有视频摘要、视频索引、视频检索、视频编辑、图片处理等多种视频图像处理手段,提高视频自动分析能力。4、实现基于PGIS系统资源,实现案事件视频图像轨迹标注、作案路线推演。同时通过电子地图,快速调取需要关注的监控点、监控区域图像以及警务资源。5、对接警务综合信息系统,建立视频图像信息证据数据库,为全警日常警务工作中收集到的可疑或涉案图像资源提供统一的资源管理及存储空间。为重要信息的收集与查询、关联资源的碰撞、串并案分析研判提供基础环境。总之,通过构建和部署应用图侦系统,要求能够：〔1快速锁定突发事件的嫌疑目标；〔2快速标定嫌疑目标的运动轨迹；〔3发现潜在破案线索—可以有更多的机会审视更长的录像文件,发现更多的破案信息。从而,使公安机关能够：〔1缩短破案时间,节省办案人员；〔2降低警员劳动强度,降低办案成本；〔3极大提升办案效率。1.3.国内外应用研究现状在形式上,视频数据具有非结构化、内容多义性和流媒体传播的特征。因此,视频数据不同于传统数据库所处理的数据类型,它不是一种简单的数值或字符型数据,传统数据库中对字符或数值型数据的处理方法己经完全不能适应对视频数据的处理要求。长期以来,人们只能以流媒体的方式按时间段来存储视频数据。同时,由于数据量庞大、非结构化形式,视频数据存储代价昂贵难以长期保存,也不具备传统数据库的结构化管理能力,严重阻碍了用户的交互操作使用。为此,随着视频监控系统在社会治安防控体系中应用的日益广泛,视频监控系统的深度应用研究越来越成为人们的关注和研究的热点,国内外许多研究机构和单位开展相应的研究。1.3.1国外应用研究现状在国外,对视频结构化分析、摘要技术的研究起步稍早一点,1994年,卡内基梅隆大学就己经开始研发视频数据库系统,该系统在视频摘要方面有非常系统而深入的研究。它更注重缩略视频的生成,即怎样从一段长视频中抽取出视音频信息生成能够表达原视频语义内容的精简视频。特别地,它运用了熟知的TF-IDF方法从脚本中抽取文字。之后,Mannheim大学也做了与hiformed系统类似的研究。他们研究出的系统MOCA主要针对的是电影,能生成电影的精彩场景亦或是预告片[2]。近年来,国际上有许多研究机构开展了深入的研究,有微软研究院<张宏江、马宇飞和YongRui等人>、IBM研究院<JohnR.Smith等人>、北卡州立大学<JianpingFan等人>、南洋理工大学<Yap-PengTan等人>等,并产生了一些"基于内容"原型系统。例如,IBMAlmaden研究中心研究开发的QBIC系统[3],是"基于内容"检索系统的典型代表。QBIC系统允许使用例子图像、用户构建的草图和图画及其选择的颜色和纹理模式、镜头和目标运动等图形信息,对大型图像和视频数据库进行查询。QBIC技术集成语音识别的成果,形成CueVidco系统。WebSeek系统[4]是美国哥伦比亚大学研究开发的一种基于内容的多媒体搜索引擎的原型系统,它通过提取图像/视频的颜色、纹理以及文本等特征实现了运行于网络环境下的基于内容的图像/视频检索[5]。目前,国外视频内容结构化技术在警务工作中普及应用、成熟应用的案例仍鲜见报道。1.3.2国内应用研究现状对于国内来说,关于基于内容的视频结构化技术的研究起步比较晚,从20世纪90年代后期开始,才逐渐受到多媒体研究领域的关注,因此,相应的技术水平较国外有一定的差距。近年来,为满足案件侦查、治安管理工作的需要,国内一些公安机关还专门组建了视频侦查部门,探索建立视频数据库,对视频图像信息进行整理、分类存储。但是,目前由于视频的非结构化、多语义性和大数据量,加上案事件侦查对智能化手段应用的严密性、成熟度要求高,在实际工作中仍然以人工调阅为主,在视频信息的结构化、体系化共享、整合应用上还在探索、实践阶段,相关的产品和案例不多,还没有形成统一的平台应用模式。具体表现在：〔1在视频数据采集上,大量的视频数据主要在案事件发生以后,根据案件进行事后视频调阅、查看采集为主,而在线实时采集主要运用于道路通行车辆的车牌抓拍识别,对其他方面的识别运用较少。〔2在视频数据库建设上,目前各地所建的视频数据库主要是对截取的视频片段进行简单的案件关联标注,以原始视频媒体的方式存储,只能通过案件进行关联查询,视频检索仍然靠人工查看方式。〔3在软硬件产品上,受制于图像识别、成像环境等的复杂性,目前国内基于视频图像系统的设备大都以图像传输为主的,用于视频摘要、证据提取上的产品较少。目前,主要有XX省公安厅研发的VCS视频图像采集摘要比对器[1]、北京能通公司的S80视频取证终端、XX索贝科技公司的i3DSP视频侦查器等产品。〔4在应用平台建设上,目前各地都在积极整合运用先进的视频特征提取、结构化分析、视频摘要等技术,结合警务工作,探索建立规范化、系统性视频信息共享工作平台。例如,XXXX、XX等地公安机关已经在探索建立图侦系统,XX吴江市公安局研发的视频图像智能分析系统,能够对1小时普通视频录像,经处理形成不到5分钟的摘要视频,且不会丢失有效运动对象,便于快速定位嫌疑目标。2000年以来,国内大学、研究机构积极开展视频内容结构化领域的理论与实践研究,取得了一些积极成果。比较典型的视频检索系统有:国防科技大学研制开发的NewVidcoCAR和MIRC系统[6],主要用于对对新闻节目和多媒体数据库进行查询和检索多媒体信息；由清华大学研发的TV-FI系统[7],是一个视频节目综合管理系统,提供浏览、查询等多种模式的视频数据访问方式；中科院计算技术研究所开发的MIRES<MultimediaInformationRetrievalSystern>系统[8],是一个基于特征的多媒体信息检索系统,该系统实现了基于内容的图像检索及文本检索,同时还可以应用于视频检索等相关应用领域。目前,国内"基于内容"视频数据检索方面,已经形成了由视频特征提取、结构化分析、视频摘要,以及视频检索和浏览等五项关键技术组成的视频数据检索系统,其处理流程如图1-2所示。图1-2基于内容的视频数据检索系统处理流程1.4.主要工作本文对视频信息的规范化采集、结构化存储和全局性共享等问题进行了研究与分析,提出基于视频内容结构化分析理论,整合先进的视频特征提取、视频结构化、视频摘要、视频索引等图像处理技术,按照"一个证据中心,两个核心应用"方式来构建图侦系统的技术方案和应用模式,使图像处理技术成为案事件的侦破手段和情报来源,推进视频图像监控系统建设由"信息"到"情报"的演进。主要工作包括：〔1分析了当前公安图侦工作的困难和制约,研究了视频图像从采集、研判、管理的一体化应用工作模式,基于视频内容结构化分析技术,提出了"视频证据中心、视频图像取证、视频研判分析"为框架网侦系统研发思路。〔2针对当前图侦工作信息化的迫切需求,结合警务实际,以视频采集、证据管理、研判应用为业务主线,从各个层面研究图侦系统建设的总体技术方案,设计了系统研发的体系架构、逻辑架构、数据架构、基本功能,以及与外部系统之间的关系。〔3针对非结构化视频建库的不足,从警务一体化的角度和人、车、物基本要素入手,研究并设计了视频结构化证据库的建库模型,包括证据库的体系结构、视频数据结构化定义、对外数据交互方式,以及证据库管理的基本功能。〔4为提升图侦手段的应用水平,研究分析了图侦工作的关键业务角色、业务环节和主要业务流程,明确了视频取证、情报研判对图侦系统的基本功能需求,整合运用视频结构化、视频摘要、视频索引等先进技术,进行了应用软件的设计和实现。使用结果表明,基于视频结构化开发的图侦系统,能够实现视频监控信息的全程筛选,防止有用信息的流失,再造了视频监控及研判应用的信息流及业务流,有效地支撑了图侦工作机制的转型发展。第二章基础技术概述2.1.视频结构化理论综述视频数据在形式上是一种完全没有结构性的数据,但是在内容上它又有着很强的逻辑结构。一般来说,一段视频由一些描述独立故事单元的场景<也称作故事单元>构成：一个场景由一些语义相关的镜头组成,它们一般发生在相同的时间和地点,出现相同的人物或事件；一个镜头是由一些连续的视频帧构成,它由摄像机一次摄像的开始和结束所决定。视频结构化分析是指将视频序列按照其语义内容分割为镜头、镜头类、场景等语义单元,从而实现视频序列的层次化组织,使之便于随机访问。根据内容粒度的大小,视频数据一般被结构化为从大到小的4个层次：视频、场景、镜头和图像帧,如图2-1所示。图2-1视频内容的层次组织结构在层次组织的结构化视频中,各层次的含义和属性分为为：<1>视频帧<Frame>：视频流中的一幅静态图像。帧是视频数据的最小视觉单位,时间上连续的帧合成动态图像序列。帧的属性有：直方图、轮廓图、DC和AC分量图等。<2>镜头<Shot>：摄像机在一次从打开到关闭的操作过程中记录的一组连续图像帧。镜头是视频数据的基本单位。镜头属性有：持续时间、开始帧号、结束帧号、代表帧集合、特征空间等。<3>场景<scene>：在时间和空间上连续的视频背景,由多个连续的镜头组成,描述一段具体的语义内容。场景也称为故事单元<StoryUnit>。场景的属性有：标题、持续时间、镜头数目、开始镜头和结束镜头等。<4>视频<Video>：原始的视频数据。可以包含一个或多个场景。视频流的属性有：场景个数和持续时间等。从时间轴上看,视频是由一系列连续的图像帧和相应音频构成的集合,集合中的基本元素是图像帧。视频数据的结构化就是对视频在时间上的层次分割,完成原始的非结构化的视频流到结构化的视频实体的转换。结构化将视频基本元素图像帧划分为多个子集,成为不同层次上的结构实体。其中,视频文件和帧是视频数据本身所拥有的物理层次,而场景和镜头则是概念上的层次。划分的基本问题是镜头边界和场景边界检测问题<scene-change-Detection,SCD>,镜头检测使用颜色直方图、边缘、运动以及统计信息的方法来识别摄像机的运动；场景识别可以通过镜头背景相似度和音频特性的内容来识别。越是高级层次的划分越是困难,例如：故事单元的划分,其物理特征的区别并不明显,需要一些高级语义的辅助,其划分的有效性依赖于知识库以及基于知识的判断等人工智能技术的发展。视频的组织过程是从最底层的图像帧开始,借助于镜头检测,将图像帧组合聚合为镜头；通过背景、音频等特性将一系列语义相关、时间相邻的镜头组合为场景；再通过一些高层的语义知识将场景结合为故事。可见,视频数据的组织划分过程就是视频流的不断抽象的过程。2.1.1基于镜头的结构化分析1993年Zhang[12]首次提出了镜头边界检测的思想,奠定了镜头边界检测的基础。基本可以概括为三个步骤:视频帧的特征提取,帧间差的计算,选取准则确定这些差异并判定镜头边界,包括选取适当的阀值。直方图特征的提取是应用最为广泛的特征,在多种颜色空间中,例如RGB,YUV或是HSV,把每一维的信息量化为N个槽<bin>,然后统计属于每个槽内的像素个数,然后进行归一化便得到帧的颜色直方图特征。由于直方图特征的统计特性,对颜色分布的很好描述,所以帧间差的计算方法多大依靠直方图特征。一般情况下,当差值超过某一阈值时,认为存在一个镜头边界。颜色直方图的比较有如下比较方式,如式<2-1>,式<2-2>和式<2-3>所示。2.1.2基于关键帧的结构化分析关键帧具有代表性,利用关键帧来描述镜头、场景或是整段视频,以作为结构化分析的基础。这样能保留视频内容的主要信息,可以减少冗余信息的计算。Taniguchi[16]采用等间隔采样的方法,按照一定的时间段抽取关键帧。这种做法的优点是计算简单、速度快,但是造成选取的关键帧过多,且不具有代表性的缺点。后来,他[17]又直接选取每个镜头的第一帧或是最后一帧作为镜头的关键帧。Yeung[18]等人提出在一个镜头中先将第一帧作为关键帧,随后的帧与当前的关键帧进行颜色特征的比较,超过某一阈值的,则再选取一个关键帧,重复上面的比较,就可完成镜头内的关键帧的抽取。2.1.3基于场景聚类的结构化分析场景就是具有相同语义特性的镜头组,许多研究者利用比较镜头相似度的方法,把相关的镜头聚类成场景[19],来进行场景分割。时间固定的镜头聚类算法[20]和时间自适应分组法[21],也是场景分割算法的代表性工作。前者在一个特定时间窗口内,利用里边的视频帧来计算镜头的相似性,而窗口外的镜头的相似性则不予考虑,聚类效果由于时间的限制具有不完全的确定。后者提出了时间自适应分组法,克服了固定时间聚类算法的不足,把两个镜头之间的时间距离也作为镜头相似度的考虑因素,距离越大,相似度越小。另外,AlanHanjalic和WallapakTavanapong采用了图像分块的方法来计算镜头相似性度量,从而聚类算法来构造场景,因为图像的每个区域都从不同角度体现视频场景的特征。Hanjalic对镜头的关键帧图像合并,得到新的一幅图像,并对其进行分块,以块为最小单元,这样代表两个镜头的两幅新图像,求出他们中距离相似度最大的N个块的距离值,平均后作为镜头之间的相似度,镜头聚类是基于重叠链接的算法<OverlappingLinksConnectingSimilarShots>。他还介绍了一种用于自动提取视频摘要的聚类方法。类似的,WallapakTavanapong则直接把静态帧图像分成几个区域,然后通过依次比较对应区域之间的相似度来确定镜头的相似度,也利用镜头链算法提取场景。Chong-wahNgo等[26]使用张量直方图提取运动特征,再利用K-means算法来对体育视频进行了聚类和检索。Vailaya等提出了基于类别的视频块检索方法。胡晓峰等[28]提出了基于HSV颜色直方图特征提取的自校正镜头聚类算法。目前,国内外学者对基于场景聚类的结构化分析方法,如颜色、纹理、形状、动态、频度等视频图像特征,已经进行了广泛而深入的研究,取得了重大进展,为视频内容的结构化分析技术的广泛应用奠定的强有力理论及技术基础。2.2.视频摘要技术综述所谓"视频摘要技术",简单地说,就是通过计算机自动处理技术,对视频的内容和结构进行分析,并从原视频内容中提取出用户需要的信息,通过再整合后形成摘要视频。摘要视频远远短于原始视频,如果一个视频摘要能够做到尽量准确和充分,那么就能够让用户在最短时间内获得最关键的信息,极大地提高效率。这样,当发生重特大案事件时,需要调取大量监控摄像头的视频录像,按照原来人工的方式,需要安排数十上百民警不分昼夜连续观看成千上万小时的视频录像,以期发现短短几秒的视频线索,工作强度和压力是巨大。近年来,国内外在视频摘要技术等方面的研究取得了快速进展,许多新技术应用日益成熟。例如,顾诤、智敏、刘彩云等分别提出了一种新颖的基于近邻传播聚类和频繁镜头、基于场景、对象的视频摘要生成方法。依托先进的视频摘要技术,可以大大缩短视频查看时间,可以快速提取线索、锁定可疑目标。联想在自然语言处理<NLP,NaturalLanguageProcessing>研究领域,"主题"是表示文本内容的重要方式,文本的主题抽取在NLP中是的基础性的工作,即从文本中抽取出特征词组成若干主题句,用以概括文本的主要内容。在视频处理领域与文本的主题抽取类似,视频摘要<VideoSynopsis>,又称视频主题抽取<VideoAbstraction,VideoSummarization>,即用一段很短的视频对原始视频中的内容进行高度概括,通过观看这段短视频,就能知道整个视频的大概内容。根据摘要信息表现形式的不同,可以把视频摘要技术分为静态图像摘要<VideoSummary>和动态图像摘要<VideoSkim>两种基本类型[32]。经过摘要以后的缩略视频由于含有丰富的时间以及音频信息,因而更加符合用户的感知。2.2.1静态视频摘要形式静态视频摘要是从原始视频中剪取或生成的一小部分静止图像的集合,这些代表了原始视频的图像称为关键帧<KeyFrame>。<1>标题<Titles>：是对视频内容的一段简短的文字描述,这种文本方式的视频摘要是最简洁的形式,便于理解和建立索引,也是一种高度抽象的表达形式。标题形式的视频摘要往往需要人工来完成,计算机不能自动生产能够准确概括视频片断内容的文字描述。通常也可以通过计算机自动字幕识别和视频伴随语音识别,来进一步分析生成摘要文字。<2>关键帧<KeyFrame>．是指从原视频中抽取或生成一幅或几幅静态图像,能够部分地表达视频的语义信息。基于关键帧的摘要比标题形式的摘要更能从视觉的角度为用户提供更加直观的可视信息。但这种方式只能反映某一时刻视频的静态内容,不能展示视频的时间和动态特性。因此,它一般适合于表现景物内容相似的镜头和场景的视觉特征。另外,关键帧形式的摘要对其他形式的静态视频摘要以及动态的缩略视频的生成也有很大的参考价值,因此,多年来一直受到研究人员的关注。<3>故事板<StoryBoard>：将多帧从视频片段中抽取出的图像及标题按时间顺序排列起来就形成了故事板。它可以向用户提供视频的总体描述,在浏览过程中也可以方便地定位到视频中感兴趣的部分。故事板不仅能表达视频视觉上的信息,同时还能反映视频的时间信息,更能体现视频的丰富内容。在实际应用中故事本通常与文本标题相结合,更利于浏览和检索。<4>场景转移图<STG>。场景转移图反映了视频内容的场景转移,它用一种简洁可视的方式来表现视频数据,可以对视频进行层次化的非线性浏览。场景转移图是一个有向图,节点代表含有相似镜头的聚类,两个镜头之间的关系用边来描述,表示镜头的先后顺序。节点与边共同构成了场景图,反映视频内容的场景转移。场景转移图仅仅对视频内容进行了有效的静态描述。<5>幻灯片<SlideShow>：音频对于用户理解视频的内容有着非常重要的作用,幻灯片是伴随音频的时间序列帧,它们是关键帧集合的子集。幻灯片提供了一种相对动态的摘要机制,相对其他动态视频摘要,比较适合在低带宽的网络环境下使用。2.2.2动态视频摘要形式动态视频摘要是由一些图像序列以及对应的音频组成,它本身就是一个视频片段,同时比原始视频短的多。<1>缩略视频<VideoSkim>：是对原视频内容的剪辑。它本身也是一段视频,由原视频中的一些片段拼接而成。缩略视频保留了原视频的基本风格,具有更好的动态性和连贯性。缩略视频是动态视频摘要的主要形式,一般包含了原视频中主要人物、主要事件片断,故事的开头和结尾和精彩片段,也会包含关键的字幕内容。缩略视频广泛应用于影视预告片、网络视频点播、交互电视和新闻节目制作等领域。<2>多媒体影片摘要<MultimediaFilmsSummary>：是在缩略视频摘要的基础上加入了文字、镜头图像等其他信息,是一种由多种媒体形式组成的影片内容表现方式。例如,在一个电影的主题网页中,可能包含文字形式的简介、声音形式的精彩对白、视频形式的精彩片段等。这种形式提供了更加丰富的影片内容表现,同时也为用户提供了多种浏览和检索影片的方式。2.2.3视频摘要的生成过程尽管视频摘要的形式有多种多样,采用的算法也不相同,但视频摘要的生成通常都经过这样几个步骤：<1>视频数据的结构化分析：将原始的视频流划分为合理的结构单位,形成视频内容的层次模型,并得到视频内容对象的相关描述。比如视频数据采用不同的边界检测算法被分割为镜头、场景等。<2>视频内容的提取：视频中包含了许多能够为人类感官直接认知但不能被计算机直接识别的内容,例如字幕、语音、人脸等等。还有一些是需要借助人类的高级思维才能被认知的信息,例如情感、气氛等等,对这些信息,计算机更是无能为力。视内容的抽取,就是采用模式识别或视频结构探测的方法,获取能够被计算机直接处理,或能够被人的感观直接感觉到的信息,是获得视频摘要的基本条件。目前,视频内容抽取技术主要包括自动语音识别技术、人脸探测与人物识别技术、字幕探侧与识别技术、镜头运动探测技术、徽标探测与识别技术等。经过多年的研究,这些领域均取得了一定的进展。例如,自动语音识别技术的一些产品比如Microsoft的speechSDK等,对于干扰较少、发音标准的语音已经有了比较高的识别率;人脸探测、跟踪与识别的研究更是开展得十分广泛,技术也趋于成熟。<3>视频内容对象重要度的评判：以自动或人工提取的视频内容为基础,通过建立一定的重要度评判标准或评判模型,对视频对象重要程度进行分级评判。根据不同需求,视频内容重要度的判定也有所不同。一般在生成视频摘要的过程中,往往先对视频进行结构化分析,形成关于视频内容的层次模型,并得到关于一些对象的描述,然后根据具体的需求结合我们某些领域知识,对视频内容对象的重要程度进行判定,选取某些相关度高,概括性强而又重要程度高的视频内容形成缩略视频。重要度的判定是一个比较主观的过程,很难用一种定量的方法来描述摘要效果的好坏。目前研究的原型系统中,大多采用了用户评估的方法。这种方法费时费力,能否找到一种合理的定量的视频摘要评价标准,是一个值得研究的问题。<4>视频摘要合成和表现：将选择的重要视频内容对象以一定的方式组合起来,形成某种形式的视频摘要,并以可视化的形式将摘要展现出来。以上四条就是视频摘要的基本步骤,有关视频摘要的研究都是围绕着这几个步骤展开的。例如,在视频分割当中包含镜头探测、场景聚类、故事单元探测等技术;在视频内容提取当中包含字幕识别,人脸识别等技术。它们为后续的摘要工作提供铺垫。它们涉及了自然语言处理、人工智能甚至心理学领域的知识,所用技术也相对比较复杂。2.3.视频检索技术综述所谓"视频检索技术",就是通过对视频内容的分析、表示,提取视频特征信息,建立视频结构化数据库和特征索引,利用被检索的图像特征值与数据库中图像的特征值进行特征的相似性匹配,从而达到对图像检索的目的。因此,基于内容的视频图像检索技术首先要解决的问题就是视频中图像内容的分析和表示[34]。视频中图像内容的分析和表示指的是首先提取视频段中的关键帧,关键帧是这一段视频中能反映视频段主要信息的图像,通过对这张图像像素的颜色、纹理、形状信息以及像素的相互关联进行分析,从而可以得到一系列数字特征或者描述特征,通过这些特征可以在一定程度上对图像本身的内容进行描述。然后,利用这些特征值可以对图像建立索引,利用被检索的图像特征值与数据库中图像的特征值进行特征的相似性匹配,从而达到对图像检索的目的。因此,图像内容的描述问题实质上是一个图像特征值的提取问题。2.3.1视频特征的提取从广义上来说,图像的特征信息包括文本<比如关键字、注释>和视觉特征。图像的视觉特征可分为两类,一类为通用的视觉特征,另一类为和领域相关的视觉特征。第一类用于表示所有图像共有的特征,与具体的图像类型或内容无关,主要包括图像的低级特征如颜色、纹理、形状以及图像的高级特征如图像中的字幕等信息；另一类主要建立在对所表示图像内容的一些先验知识的基础上,与实际应用紧密相关,比如,人的指纹特征与面部特征等。从这个意义上来说,基于内容的视频检索实质上是基于视频图像特征检索的过程。本文需要采用的是图像中行人与车辆视觉特征的提取与匹配技术,主要涉及到图像的低级特征。通过对视频进行结构化分析,我们通常可以得到四种级别的视频单元：场景、镜头、事故单元和关键帧。针对不同的级别单元,提取单元特征的方法也不完全相同。如果提取的视频单元为场景,就要提取场景的故事情节；而对于镜头,就需要对运动对象的特定信息和视频的运动信息进行提取；在对关键帧这一层进行处理时,一般需要对图像提取一些低级特征,例如颜色、纹理、形状等。因为事故单元可以由一个或多个关键帧来表示,因此在事故单元级别上的特征提取事实上也属于关键帧特征提取的范畴。要在关键帧层次上提取这些低级特征,相对比较简单,一般可以自动提取。而要在场景、镜头层次上提取那些属于视频高级语义的图像特征,就目前的技术发展来看它的提取难度相对较大,即使可以提取出来,不仅需要大量的人工交互,提取结果也与关键帧本身的特征信息存在一定误差。也就是说就目前而言,基于镜头或场景层次上的提取还不能实现完全的自动提取。2.3.2视频数据库技术在基于内容的视频检索中,首先要解决的是视频数据存储与管理这个最基础的问题,因为在基于内容的视频检索中需要对大量的视频图像数据及图像的特征描述信息进行存储,而这就需要能够对这些数据特征信息支持的数据库——视频数据库<VDB>来实现。视频数据库与传统数据库最主要的区别在于所处理的数据不同。传统的数据库一般处理的是一些文本和数字,因此对存储空间的要求不高,并且处理的数据都是结构化的。而视频数据库一般处理的对象为视频、图片以及特征值等,它们对存储空间有较高的要求,并且对数据库的抽象与描述能力也有较高要求,因此视频数据库技术是视频数据库系统研究的重点。本文将结合公安图侦工作需要,分析进行视频图像数据描述与存储的视频数据库模型和数据库体系结构。根据视频数据的特性,视频数据库系统应该具有以下特点：<1>扩展性。视频数据库系统<VDB>体系结构应该是易于扩展的、灵活的,以便于支持对媒体对象或特征信息进行检索。为了满足视频数据库的这些特殊需求,通常VDB系统应该包括大量的数据管理模块和功能实现模块,同时还要具备对系统进行更新或扩展时增加新管理模块的要求。<2>分布性。因为视频数据库中存储的信息量较大,而且不同的媒体对信息的使用和检索方式也可能不同,所以要求VDB一般采用分布式的存储方式。视频与图像的网络通信对于视频数据的分布式访问和存储具有重要作用。<3>查询的多解性。传统性数据库查询一般只对精确的数据进行查询。但在视频数据库系统中不能只要求精确地数据查询,同时相似性检索和非精确性的匹配将占相当大甚至多于精确性的比重,尤其是在基于相似度的检索中。<4>系统的长事务处理要求。传统数据库中处理的事务一般都是短小而且精悍的,而在视频数据库系统中,仅仅只有短事务已经不能满足视频检索的要求,尤其是在处理视频图像数据时,比如要对一段数小时长的视频查询结果进行播放,这就要对数据库系统对处理长事务的能力有所要求。<5>系统用户接口的支持。为了体现数据库查询的能力,就要求数据库中面向用户的接口能够很好的描述和表示每一种媒体的性质。视频信息检索的模糊性,就要求能够提供给用户方便检索的描述接口。2.3.3网络视频访问技术作为视频数据管理和处理的技术手段,视频图像的存储、传输和访问技术在网络环境下的应用是实现视频数据信息网络化应用的重要手段。本文阐述了视频网络应用系统的三层结构、视频数据库的网络访问方式以及如何利用流媒体技术实现视频的网络访问、存储和传输。如果从系统应用的角度来看,要满足处于不同地点和不同时间的用户对同一数据库进行检索和访问这一需求,视频数据库系统必须是存在于网络环境下的分布式检索系统。当前网络数据库系统的结构主要有C/S<客户/服务器>结构和B/S<浏览器/服务器>结构[40,41]。这些体系架构都是为了解决网络环境下分布式数据的存储与访问而提出的。B/S模式的三层或多层体系结构在某种意义上弥补了传统的C/S结构开发周期长,可维护性和扩充性差等方面的不足之处。因此,基于Internet/Intranet的三层体系结构是一种浏览器服务器<B/S>结构,它具有C/S结构的所有优点,但它又对C/S结构进行了扩充,因此他们之间又存在一定的区别。B/S结构中用户可以直接通过浏览器工具向分布在网络上的各个服务器发出请求,因此在客户端机器上只需要安装极少量的工具软件,而其他更多的工作都留给服务器来担负,这样就简化了客户端的管理任务。B/S结构的体系结构在客户机端只执行显示服务,而应用系统的执行和数据库的访问将在服务器端上完成。2.4.视频处理技术应用综述充分利用先进的视频内容结构化分析、视频摘要、视频检索等图像处理技术,可实现对活动目标进行提取,快速截图原始视频画面或截取视频片段,进行标注后保存至数据库。主要应用的基本功能点有：〔1视频目标运动轨迹提取和数据库存储。对实时、已有始视频图像中的活动目标进行摘要分析并提取活动目标、时间标记等相关信息,能够对提取的案事件信息进行图片编辑、标注,并保存至案事件证据管理中心数据库。〔2视频目标快速自动提取及概要回放。可以配置任务对视频目标进行自动处理,也可以通过手动上传视频方式进行视频摘要处理,并保存在数据库中,能够回溯摘要视频的原始视频,实现对视频文件中运动物体及其运行轨迹的环境剥离和存储,实现将不同时空内目标对象的集中展示。〔3视频信息自动分类及数据统计分析。支持人工设置或者从从视频文件名解析出起始时间,对视频文件时钟校对；支持摘要后处理的视频半结构化数据以人、车、物的结构化内容加以描述,并保存到数据库中,实现以时间、案件类型、区域、目标的描述元素等分类统计。〔4海量视频自动快速处理。一是海量视频按用户需求设定规则进行按任务方式处理,提供筛选出用户关心的部分,以截图、摘要视频或者是视频片段形式保存；二是对海量视频处理进行智能化分配,优化处理功能,同时显示处理视频的状态和任务分配情况；三是可以控制处理视频的优先级和排队顺序。2.5.本章小结本章综述了图侦系统研发所涉及的视频结构化理论、视频摘要及视频检索技术的相关知识。视频内容结构化理论主要阐述了视频内容结构化概念、结构化层次架构,以及三种视频内容结构化分析方法。在视频摘要技术方面,阐述了视频摘要技术的基本概念、研究的必要性,以及静态视频摘要和动态视频摘要两种视频摘要形式,阐述了视频摘要的一般生成过程。在视频检索技术方面,阐述了视频检索的基本概念,着重阐述了视频特征的提取、视频数据库和网络视频访问等关键技术内容。最后,综述了视频图像处理技术的主要应用功能点。第三章总体技术方案设计3.1.设计思路研发图侦系统应充分考虑公安机关实战业务需求,充分运用国内外先进的视频分析最新算法—视频结构化、视频摘要、视频检索和图侦工作经验,以"围绕实战、紧贴实战、服务实战"为着力点,以采集、研判、管理、应用为业务主线,注重技术融合和业务整合,构建一套"支撑全程,服务一线"的图侦工作应用系统。同时,要遵循标准和开放的原则,可随图侦业务和技术的进步而可持续发展。图侦系统将利用本地已建的视频图像信息和业务数据,充分考虑各警种图侦业务工作经验,整合运用视频结构化、视频摘要以及数据挖掘技术,提供了覆盖图像侦查业务从"采集"、"研判"直至"保存发布"、"管理"、"应用"的全局能力支撑,解决和弥补实战中的各项问题和不足,规范、创新图侦业务流程。图侦系统将使视频图像处理技术成为重要的案件侦破手段和情报信息来源,提高案件侦破率。图侦系统的应用将前瞻性地推进视频监控系统建设由"信息"到"情报"的演进,提升视频监控系统的建设成效。通过图侦系统的研发和运行,将进一步创新公安图侦业务机制,提升图侦工作效能,推动基层公安机关"视频应用"建设跨上一个新的发展台阶。3.2.体系架构基于视频结构化的图侦系统采用模块化的体系结构,其技术体系架构设计如图3-1所示,分为接入层、处理层、业务层、表现层四层。其中,图3-1基于视频结构化图侦系统的体系架构接入层,实现视频图像的获取以及警务数据的同步数据交互,它可看作是与外部系统的接口层,包括视频联网系统、编解码设备、IPC等视频资源系统或设备,大情报系统、警综平台等业务系统。处理层,搭载视频图像研判的核心处理引擎,采用视频摘要在线分析、离线处理、视频特征分析、图像增强等视频应用技术。业务层,提供业务数据交互接口,以及流程控制和业务数据分析引擎。它可实现证据提取、统计分析、案情研判等业务服务和数据流转、信令转发等过程控制能力。表现层,呈现面向用户的人机交互界面和集成的软件作业环境,包括了在线的图像侦查应用客户端和离线的移动处理终端设备。3.3.逻辑架构在逻辑架构上,该图侦系统可分为案事件视频管理中心、视频图像取证和视频研判分析三个逻辑单元,各单元之间相互耦合协调,共同构成一个"适应各种研判环境,同步外部系统,支撑总体流程"的图侦应用系统。如图3-2所示。图3-2基于视频结构化图侦系统的逻辑架构案事件视频证据管理中心是一个综合型的视频图像证据信息存储、管理、分析以及应用系统。它可实现视频证据的集中存储管理,并在此基础上实现深度的数据挖掘分析为案件研判服务。案事件视频证据管理中心提供标准证据传输接口,接收用户上传的视频证据,并可为视频研判应用系统提供数据检索下载、统计查询和研判分析服务。同时,它能实现与警综平台、大情报系统、PGIS等业务系统对接,同步数据交换。视频研判分析单元提供公安网内在线的图像侦查作业环境,依托各类联网数据和计算资源,可实现强大的图像处理、智能研判分析能力,能够处理视频联网系统的实时视频数据,在线获取案事件视频管理中心的数据服务。视频图像取证单元提供视频监控专网或者案事件现场作业环境,重点满足基层监控中心视频证据、图像信息采集的日常工作需求,也可独立完成初级视频研判分析等各项视频图像信息侦查业务。3.4.数据架构图侦系统的数据架构主要包括数据源层、数据处理层、数据应用层等三个部分组成。如图3-3所示：图3-3基于视频结构化图侦系统的数据架构源数据层主要包括社会面监控资源、社会专网监控资源、公安自有监控资源等；数据处理层主要处理来自视频监控整合平台中的原始视频图像,经过实时的视频智能分析处理以及事后的视频摘要处理,将处理后的结果数据保存至数据库中；数据应用层实现数据处理层处理后的结果展示,通过应用功能点,调取数据库中的元数据。3.5.与外部系统之间关系图侦系统与外部系统的业务关系如图3-4所示。其中,〔1建立与警综平台、大情报系统、警务基础平台等公安业务系统的接口,实现警情、案事件、图像等信息的数据交互。〔2建立与PGIS系统的接口,通过PGIS系统提供的接口工具访问地图数据,为实现图侦系统的视频数据检索和轨迹分析和提供数据支撑。〔3通过与视频监控联网系统的接口,实现视频数据的检索、获取。3.6.基本功能从公安图侦工作业务联系分析,所建图侦系统的基本功能参见表3-1。表3-1基于视频结构化图侦系统的基本功能点3.7.本章小结本章立足于创建基于视频内容结构化的全局性的图侦信息化工作环境,以视频采集、证据管理、研判应用为主线,从各个层面进行分析研究,设计了图侦系统建设的总体技术方案。其中,从接入层、处理层、业务层、表现层四个层面研究分析了系统的体系架构,从视频证据管理中心、视频图像取证、视频研判分析及与外部系统关系分析了系统的逻辑架构,从源数据、数据处理、数据应用三个层面分析了系统的数据架构,分析了图侦系统与警综平台、大情报系统、监控联网系统、PGIS系统等外部系统之间的整合关系,研究确定了图侦系统的视频证据管理中心、图像取证单元、研判分析单元三个基本功能单元。第四章案事件视频证据管理中心设计4.1.设计概要案事件视频证据管理中心是对视频图像取证、研判分析单元上传发布的案事件图像证据信息进行处理汇集、存储、处理和管理的基本单元。该单元的核心是视频图像数据库体系结构及视频情报的结构化定义,并在此基础上实施视频图像数据库的管理,提供视频图像信息的共享服务。涉案视频结构化存储的主要包含以下数据：〔1原始视频文件；〔2视频剪辑片段；〔3图片；〔4结构化图像描述信息〔人、车、物；〔5案件基础信息〔案件名称、编号、案发描述等。视频证据管理中心单元软件采用B/S架构,支持通过浏览器直接访问,负责对案事件证据的审批、统计分析、空间管理等处理,提供给用户对案事件视频图像证据的查询和调阅,并对大量的案事件视频图像证据进行比对碰撞,通过图像信息的信息度进行串并关联,建立卷宗关联。4.2.视频证据中心体系结构案事件视频图像证据库主要汇集、存储从视频图像数据中提取的视频片段和图像特征信息,并为各部门实战业务提供特征识别、智能分析、智能检索、交换共享等服务的支撑平台。在功能上分为：数据采集、数据存储、应用服务和数据管理四部分,如图4-1案事件视频证据中心体系架构所示。图4-1案事件视频证据中心体系架构1、数据采集通过多种渠道、多种方式,从社会单位、公安自建等视频监控系统,收集视频、图像、文档、其它等视频源数据,并对实时或者事后的视频源数据进行智能检测及视频摘要等技术处理,从中抽取图像特征,再经过对数据过滤、数据清洗、数据整合之后,保存到案事件视频管理子系统中。2、数据存储从数据采集接口导入视频图像信息,按照人、事、地、物和组织五要素进行逻辑规划,并在五要素上归纳出具有某种特殊意义或者是在逻辑上有关联关系的专业库,如：车牌库、特征库、人像库、指纹库等,统一保存到云存储中。3、数据服务案事件视频证据库分为基本功能、视频处理、智能分析、智能检索、共享交换五个模块,对视频图像信息数据进行分解和处理,为视频分析和视频检索提供示例特征,并结合案事件信息提供智能查询接口和通用数据服务接口。4、系统管理系统管理是对案事件视频管理子系统的软硬件环境运行状态进行监控,能够尽早发现有可能发生故障点,并采用相关的预防措施；系统的生命周期是采集、入库、版本、检索、删除统一数据流程,再每一个环节上增加权限认证和日志的记录,可以方便追述数据处理流程,主要体现在安全管理、日志管理、生命周期管理、运行状态管理等。4.3.视频情报结构化定义基于视频结构化技术,针对视频分析产生的涉案图片或视频段落,进行视频信息的结构化定义和视频结构化信息的提取,既是视频情报应用的重要工作,更是实现视频监控系统由"信息"到"情报"演进的必然选择,也是实现视频证据数据库管理的基石。4.3.1数据字典定义从案事件出发,描述视频结构化语义的主要对象为：人、车、物。如图4-2所示。图4-2视频证据中心数据字典视频结构化语义1、案件字典定义,如表4-1所示：注:每一种案件类型,可根据案件作案手段或情节,在设计系统时可以自定义子分类<如杀人案,可分为持刀杀人案,持枪杀人案…>。2、涉案信息字典定义〔1人物信息语义定义,如表4-2所示。表4-2视频证据中心人物情报语义定义表〔2车辆信息语义定义,如表4-3所示。表4-3视频证据中心车辆情报语义定义表〔3物品信息语义定义,如表4-4所示。4.3.2视频结构化信息表1、视频信息,如表4-5所示：表4-5视频证据中心视频信息定义表2、帧信息,如表4-6所示：表4-6视频证据中心帧信息定义表3、对象信息,如表4-7所示：表4-7视频证据中心对象信息定义4、片段信息,如表4-8所示：表4-8视频证据中心片段信息定义表4.3.3证据中心数据建模从案事件与视频信息的关联出发,设计了数据库之间的实体－关系图,定义了证据中心的数据对象、基数与形态的关系,如图4-3所示。〔1案事件信息表；〔2视频图像资源信息表；〔3视频资源案事件相关事物〔物品信息表；〔4视频资源相关车辆信息表；〔5视频资源相关人员信息表。此外,还可以建立针对视频资源的评论表。作为结构化视频证据库,通过编写数据库字段,可以按自定的字段名称,方便地建立视频证据库索引。图4-2视频证据中心实体-关系图示例4.4.对外数据交互设计4.4.1对外数据交互关系案事件视频证据中心需要整合多个业务部位和多个应用系统的视频、图片、音频、文件、结构化数据等信息,涉及到与多个异构数据库、多种文件的数据交换。因此,应根据业务需求制定相关数据交换标准,以确保数据交换的一致性。视频证据管理中心与外部系统及各业务单位的数据交换关系,如图4-3所示。图4-3视频证据管理中心对外数据交互关系1>建立与警综系统的接口,实现警情、案事件、图像等信息的数据交互。2>建立与PGIS系统的接口,通过PGIS系统提供的接口工具访问地图数据,为实现图侦系统的视频资源检索和轨迹分析和提供数据支撑。3>通过与视频联网系统的接口,实现视频信息的检索、获取。4.4.2数据交互接口1、接口实现方式〔1采用数据库接口,将外部系统的数据库访问接口开放给本系统,视频证据中心根据数据库结构获取相关数据,实现证据中心与外部系统之间的数据共享；〔2采用组件开发接口的方式,需要外部系统提供相应的数据调用、数据查询的二次开发组件,证据中心将直接调用该组件实现对接。2、通用接口要求〔1异构数据库服务接口：规定和描述访问异构数据库的一组服务,服务包括服务自描述、数据类型描述、服务操作及服务数据元素。〔2数据访问接口：根据数据库的异构特征,将上层服务转换为信息访问与调用服务的各种访问驱动及服务接口映射实现。〔3数据库：包括关系型数据库、文件数据库,数据库可以是集中的,也可以是分散的。〔4提供开发套件,支持视频证据管理中心整合和第三方系统的调用和嵌入。4.5.主要功能案事件视频证据管理中心的基本功能,包括：案件证据审批、案件证据展示、案件同步关联、个人证据管理、数据统计分析、信息时间设定与空间管理等业务功能。该单元的主要功能模块,参见表4-9。表4-9案事件视频证据管理中心的主要功能模块4.6.本章小结本章从视频证据库的体系结构、视频情报的结构化定义、对外数据交互和基本功能等方面,对案事件视频证据管理中心进行了设计。其中,视频证据中心体系结构,主要由数据采集、数据存储、数据服务和数据管理四个部分构成；从案事件出发,定义了视频结构化语义的主要对象：人、车、物,以及视频结构化信息的一般数据属性；设计了视频证据管理中心与警综系统、视频联网系统,以及业务单位之间的数据交换关系和标准。最后,分析了视频证据中心的主要功能点。第五章视频图像侦查系统应用设计5.1.设计概要视频图像侦查系统应用设计目的在于让公安机关有效利用图像进行深度研判,协助案件侦破。在现今公安机关的图像使用当中,运用到了很多图像智能分析处理的技术,比如视频摘要、图像清晰化、车牌识别、人脸比对等等,但是大多数都是在独立的进行应用,没有与日常公安业务进行一体化融合,特别是图侦业务发挥实战效用,所以先建立一套贴近公安的图侦应用流程,在此基础上设计图侦系统,才能达到物尽其用的效果。1、从应用模式角度,图侦系统应用设计包含在线和离线两种应用模式,在线式可以作为一套完整系统部署在公安专网或者公安视频监控专网内,还可以搭载在便携式计算机设备上作为独立系统在案事件现场进行离线应用。作为在线式的图像研判分析工作单元,它具备与视频证据管理中心、视频监控联网系统、警综系统,以及大情报系统等的通信接口,可实现涉案视频的联网视频采集、视频证据在线分析研判、案件业务数据的同步更新以及证据数据的实时管理,支撑图侦业务的主要工作流程,提供完整的视频图像侦查业务的在线应用环境。作为离线式的图像研判分析工作单元,它具备将现场采集的视频图像信息进行快速的分析,从而获取案事件的重要线索,并建立简易的案事件证据库,独立支撑一线的侦查破案。2、从功能逻辑角度,图侦系统应用设计包括视频图像取证模块和视频研判分析两大基本单元,前者主要负责初级视频情报的采集、取证和保存；后者主要从事专业视频研判工作。视频图像取证单元重点围绕视频证据管理中心的数据采集需求,从监控联网系统或者通过离线方式获取原始视频图像,利用图像处理技术,从原始视频图像中提取结构化、半结构化的初级视频情报信息,上传到视频证据管理中心数据库中,提供共享应用服务。视频取证模块具有视频证据采集、视频格式标准化转换、视频证据搜索、视频结构化存储等主要功能。视频研判分析单元作为一个视频侦查、情报研判人员日常工作使用的模块,既具有视频图像取证单元中除预警检测外的主要功能,同时还具有视频特征分析、视频证据分析、案事件轨迹分析,以及同步警综系统等更多的情报研判功能。因此,如果说,视频证据管理中心侧重于创建和采集存储结构化的视频证据共享数据库,那么,视频图像侦查应用系统重点在于研判运用视频证据,发挥侦查破案、事件处置的实战效能。显然,前者是为后者提供服务和支撑,后者才是图侦系统建设的根本。3、用户使用图侦系统从监控联网系统或者本地资源中导入原始视频图像,对取得的视频图像进行格式标准化转换、视频摘要分析、编辑和加注标签,与案事件视频证据管理中心进行数据交互,实现对结构化视频图像信息的上传、查看、浏览、下载和删除,以及查看日志、证据检索等操作。图侦系统的主要功能模块,如表5-1所示：表5-1基于视频结构化图侦系统的主要功能模块5.2.图侦业务流程设计在整个图侦系统的应用当中,需要明确业务角色和业务环节。首先在业务角色上,图侦系统针对不同使用层级的公安用户定义了初级视频研判人员和高级视频研判人员两种等级应用环境。初级视频研判人员主要是派出所、交巡警中队等基层视频监控中心的监控操作人员。高级视频研判人员主要是公安机关从事视频图像侦查和情报信息研判工作的专业民警、职能民警。其次在业务环节上,图侦可以分成以下几个阶段,每个阶段都可以通过相应的侦查措施方法以及图像的智能工具来实现侦查研判的目的,如图5-1所示。1、确定案事件侦查范围。通过从接处警了解到的信息当中确认事发地点,再通过图侦系统在PGIS地图上进行搜索,列出相应事发地点附近的监控资源,可以通过地图界定范围确定案事件初步侦查区域。后期可以通过了解到的新信息,不断修正划定新的侦查区域。2、收集案事件信息。收集方式可以分为两种,一是可以通过监控联网系统直接下载案事件相关的录像资源；二是组织专业人员前往现场获取相关图像资源,在有条件的情况下配备独立的便携式离线图侦系统单元进行工作。3、通过收集到的信息确定嫌疑人员、车辆。通过对视频图像信息的智能化分析处理得到进一步的线索,主要有以下几种手段：〔1通过物体移动检测来定位录像中物体被移动的时间。〔2通过警戒线来定位录像中区域被人员、车辆进入的时间。〔3通过车牌分析识别自动检测记录录像中出现的所有车辆车牌。〔4通过人脸定位分析来检测记录录像中出现的所有人员正面的面部特征照片。〔5通过视频摘要将视频中的背景和移动中的人员车辆等物体进行分离,对整段的录像进行浓缩,实现在相当短的时间内迅速浏览大段视频,并快速定位嫌疑人员和车辆。对移动物体形成信息摘要,并可以判定其行进方向。〔6通过人脸比对,实现图像资源中截取的人脸和公安相关信息数据库中存储的人脸图像进行比对,快速定位嫌疑人员身份。4、通过已有线索查寻人车信息。通过上述线索进一步查找嫌疑人车的活动范围。5、人车行为、轨迹研判。对收集到的视频图像信息进行剪辑合并,在连续时间轴上分析出人、车的行为。根据收集到的案事件信息对人、车的轨迹在PGIS地图上进行时空分析,串联所有线索。6、通过案事件数据库进行串并案分析。7、得出案事件研判分析报告。图5-1视频图像侦查工作的业务流程图5.3.关键业务交互视图按照上述业务流程,图侦系统的关键业务实体角色分为：图侦人员、证据管理人员,研判客户端、视频联网系统、视频证据管理中心。图侦人员在研判客户端完成案事件的信息获取和创建,并利用客户端从监控联网系统完成案事件视频的采集。研判客户端为研判人员提供摘要分析、图像增强处理、目标情报数据搜索等研判工具和能力,并生成研判结果,上传至证据管理中心。管理人员登录视频证据管理中心,完成对所有视频证据的发布审核,管理应用权限和页面模块展现组合。定期开展全局图侦业务工作的绩效考核以及数据综合分析,并在网站发布结果。图侦系统的关键业务交互顺序图,如图5-2所示。图5-2图侦系统关键业务交互顺序图5.4.与外部系统交互视图图侦系统与外部系统之间的业务交互顺序图,如图5-3所示。〔1图侦系统在研判过程开始,将从警综系统获取案事件基本信息,在对图像目标的研判过程中对发现的线索,利用警综系统、大情报系统提供的目标情报数据进行综合研判分析,验证线索、情报。〔2研判人员在图侦系统直接进行视频资源的查询、下载。图侦系统与视频监控联网系统具备录像的查询、传输接口。图5-3图侦系统与外部系统交互顺序图5.5.摘要索引流程设计视频摘要及检索主要提供信息摘要、图像压缩和特征搜索等功能。当将视频资源添加到视频摘要工具后,依据摘要智能算法,通过人工设置颜色、人、车、物等摘要条件,建立.XML索引文件；同时通过对动态人、车、物等关键摘要内容静态图片提取、固定的背景图片提取,进而对用户所关心的图像提取、冗余图像剥离进行有效压缩。鉴于,压缩后视频文件的大小一般视场景的复杂度而定,复杂度低和变化少的图像压缩比例更高。目前平均大小为原始视频的20%。经过视频摘要处理后,可以基于图像中活动对象的颜色、尺寸、运动方向和活动范围等特征,进行过滤搜索。可以静态图片的形式展示,够显示嫌疑人或嫌疑车辆出现的时间,便于定位。如图5-4所示。图5-4视频摘要索引业务处理流程视频摘要及检索系统的关键技术主要有:关键帧提取、图像特征提取、图像特征的相似性度量、查询方式、以及视频片段匹配等方法。1、关键帧提取：关键帧是用于描述一个镜头的关键图像帧,它反映一个镜头的主要内容。关键帧的选取一方面必须能够反映镜头中的主要事件,因而描述应尽可能地准确完全,另一方面要便于检索。关键帧的选取方法很多,比较经典的有帧平均法和直方图平均法。2、图像特征提取：特征提取可以针对图像内容的底层物理特征进行提取,如颜色直方图、图像轮廓特征等。特征的表示方式有三种:数值信息、关系信息和文字信息。目前,多数系统采用的都是数值信息。3、相似性度量：在镜头检索上,早期的工作主要是从镜头中提取关键帧,把镜头检索转化为图像检索。例如通常情况下,图像的特征向量可看作是多维空间中的一点,因此很自然的想法就是用特征空间中点与点之间的距离来代他们的匹配程度,距离度量是一个比较常用的方法,此外还有相关计算、关联系数计算等。此外,目前研究的问题还在于怎样对视频中的时间信息充分进行利用。在片段检索上,研究方法可以分为两类：〔1把视频片段分为片段、帧两层考虑,片段的相似性利用组成它的帧的相似性来直接度量；〔2把视频片段分为片段、镜头、帧3层考虑,片段的相似性通过组成它的镜头的相似性来度量,而镜头的相似性通过它的一个关键帧或所有帧的相似性来度量。方法〔1的缺点在于限制相似的片段必须遵守同样的时间顺序,同时这种基于每帧的比较,也使得检索速度比较慢。方法〔2的思想比较合理,但这种方法在已有的研究中并没有很好解决片段检索的问题。4、查询方式:由于图像特征本身的复杂性,对查询条件的表达也具有多样性,使用的特征不同,对查询的表达方式也不一样。目前查询方式基本上可归纳为以下几种:底层物理特征查询、自定义特征查询、局部图像查询和语义特征查询。5、视频片断的匹配:由于同一镜头连续图像帧的相似性,使得经常出现同一样本图像的多个相似帧的出现,因而需要在查询到的一系列视频图像中,找出最佳的匹配图像序列。已经有研究提出了最优匹配法、最大匹配法和动态规划算法等。5.6.视频图像取证单元设计5.6.1视频检测规则根据社会治安形势的动态变化,落实打防管控一体化运作、警卫安保任务、大型活动案件等工作的需要,充分利用绊线报警、流量统计和智能识别等检测技术,在活动现场及周边、案事件现场及周边、停车场等治安关键节点,进行视频视频监控检测的预警规则设定,保存到规则数据库,并通过后台服务器对接入端口的视频监控画面进行实时智能检测比对。目前,在公安工作中运用得较为成熟的视频检测技术有：车辆行为检测、人体行为检测、运动路径检测、绊线检测、禁区入侵检测、车牌识别；其次有：车辆流量统计、人员流量统计、遗留物品检测、物品消失或移动检测、摄像机信号检测、人群聚集检测等；在应用探索中的有：人脸检测/识别、速度异常检测、车辆型号比对识别、车标识别等。5.6.2预警事件处理视频检测及分析服务器,对前端摄像头下的车辆、行人的行为按预先设定的智能规则进行检测、识别,发现异常现象或者违规行为,即对现场图片或视频进行保存、识别,形成结构化视频证据信息,并进行报警提示。监控值班人员进行核查后,属于报警案事件的,即输入处警结构信息并上传保存到警综系统接处警模块,形成的视频证据进入视频证据管理中心数据库。如图5-5所示。图5-5视频预警检测数据采集处理示例5.6.3视频图像采集视频图像取证单元能够在线获取所需的视频录像文件,可从监控联网系统直接获取镜头资源信息,并可以查询和下载每个镜头的对应录像文件；也支持从PGIS地图上直接选取镜头,选择需要下载的时间段,并下载对应的视频文件。如图5-6所示。根据案事件发生的地点、时间、嫌疑人特征,把视频监控联网系统中或者本地的监控信息,上传到视频图像取证单元中,并可进行关键字标注。图5-6在线视频采集流程5.6.4视频证据提取视频取证单元对导入的视频文件进行摘要分析处理,形成结构化的案事件索引机制,以便快速定位案件线索,提升视频研判效率。对确定涉嫌的视频文件中嫌疑人〔车、物出现的图片或视频短片进行抓取、截取,生成新的证据文件。如图5-7所示。〔1证据图片截取：支持从视频中截取图片作为证据；〔2证据图片处理：支持对截取的图片进行绘图和文字的批注；〔3视频短片截取：能够对视频中可做为证据线索的片段进行截取；同时,能够对导入的视频文件进行查询播放、记录删除、信息编辑和案件关联等操作。为提高视频研判效率,一般要求视频取证单元支持2-4路视频的同时摘要处理。图5-7视频摘要处理示意图同时,可以对证据图像进行批注或进行亮度、色彩饱和度的调节和简单的清晰化处理,让模糊的图像更易于识别。5.6.5证据信息标注获取原始视频图像,或者进行摘要处理以后,上传到视频证据管理中心数据库之前,可针对摘要结果中某一案事件〔物件导出原始视频片段,或剪辑、抓拍案件关联的图像,并进行标注和结构化证据描述,支持对研判结果进行编排,实现本地保存或上传到证据管理中心。主要是针对截取出的证据元素进行人、车、物的文字信息描述,描述录入的信息包括：标题、描述、涉人信息、涉车信息等,留下与案事件相关的视频、图片信息。〔1人员信息录入：支持对证据图片或证据短片中的人员录入文字描述信息,同一证据可以添加多个人物；〔2车辆信息录入：支持对证据中涉及到的车辆录入文字描述。〔3物件信息录入：支持对证据中涉及到的物品录入文字描述。〔4对图片的标注：可直接在图片上标注嫌疑的车辆或人员,上传时必须将原始图片与标注后的图片同时上传。要注意不可在原始图片上进行编辑,因为这些图片有可能作为证据来使用,上传的图片必须是原始的。〔5对视频的标注：包括视频的剪辑1小时的录像,其中5分钟是有用的,把这5分钟剪辑出来、视频的截图、时间标注等,标注视频在什么时间段出现了问题,问题的相关描述等。〔6地图轨迹标注：一般需要与警用地理信息系统进行联网开发后,才能使取证系统实现这一功能。5.6.6视频格式标准化视频取证单元集成了大部分主流厂家的视频解码器,对采集到的不同类型视频文件能自动判定其编码格式,匹配相应编码器进行播放。还可根据需要将导入的视频数据转码成标准格式,进行保存或存储到视频证据管理中心。如图5-8所示：图5-8视频格式标准化处理示意图视频格式标准化的实现算法有五个步骤,如图5-9所示。〔1原始视频：各个厂商的原始视频,各个厂商的私有格式,通用播放器不能播放。〔2视频分析模块：分析各个厂商的原始视频,是属于哪个厂商,视频格式是什么,此模块根据各主流厂商的编码特性,能快速的识别出主流厂商的码流。〔3穷举分析模块：对于视频分析模块分析不出来的码流,则送入此模块进行分析,主要用于非主流厂商的码流分析。把送入的码流与各种标准格式进行对比,从而分析出原始码流的特性。〔4解码模块：通过前面的分析,把原始码流送入到相应的解码模块