基于视频图像的人员追踪系统技术要求和测试评价方法

1基于视频图像的人员追踪系统技术要求和测试评价方法本标准规定了基于视频图像的人员追踪系统的基本结构、功能和性能要求、测试评价方法、前端建设要求。本标准适用于交通、医疗、卫生、教育、旅游、学校、工厂等行业利用视频图像系统实现人员追踪的规划、设计、实施（实现）和检验（检测）。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T31488-2015安全防范视频监控人脸识别系统技术要求GB/TAAAAA信息技术人工智能术语GB/TBBBBB信息技术计算机视觉术语GB/T33475.2—2016信息技术高效多媒体编码第2部分：视频ITU-TH.264通用视听服务用的先进视频编码（Advancedvideocodingforgenericaudiovisualservices）ITU-TH.265高效视频编码（Highefficiencyvideocoding）technology-Codingofaudio-visualobjects-Part2:Visual）3术语和定义GB/TAAAAA、GB/TBBBBB、GB/T31488-2015界定的以及下列术语和定义适用于本文件。视频监控videosurveillance利用视频技术对目标进行监视和记录的手段。3.2视频图像videoimage利用视频监控手段采集的图像或图像序列。3.3轨迹trajectory同一目标连续运动所形成的图形。23.4基于视频图像的人员追踪系统persontrackingsystembasedonvideoimages针对连续的视频图像序列，通过分析人脸/人体特征，确定需要追踪的人员的地理位置关系，并获得人员的运动轨迹的一种信息处理系统。3.5目标人员objectperson视频图像中需要追踪的特定人。3.6档案file人员所有信息的聚合。3.7特征注册featureenrollment采集目标人员的人脸或人体图像，抽取其特征并存储的过程。3.8特征聚档featureconverging将同一目标人员的人脸图像和（或）人体图像的特征数据汇聚成一个档案并存储的过程。3.9比对matching将一个特征样本与另一个同类的特征样本进行比较的过程。3.10相似度similarity比对的输出结果，代表参与比对的两个特征的相似程度。查准率precision被追踪目标人员被正确识别的数量占全部识别数量的比率。查全率recallrate被追踪目标人员被正确识别的数量占全部应被识别的数量的比率。3.13图像检索imageretrieval通过提供某种形式的查询信息（包括图像、视频片段等从图像特征库中寻找满足某种相似度要求的样本的过程。视频检索videoretrieval通过提供某种形式的查询信息（包括图像、视频片段等从视频特征库中寻找满足某种相似度要求的样本的过程。34基本结构基于视频图像的人员追踪系统基本结构如图1所示。图1基于视频图像的人员追踪系统基本结构基于视频图像的人员追踪系统应包括采集、解析、存储、聚档和应用五个功能模块。a)采集模块包括视频前端和视频平台，视频前端用于采集视频图像，视频平台用于汇聚视频前端的视频图像数据；b)解析模块包括视频图像解析平台，该平台用于实时解析采集的人脸/人体特征和视觉特征；c)存储模块包括视频图像特征库，视频图像特征用于存储解析得到的视频图像特征数据；d)聚档模块包括人员特征信息档案库，该档案库用于存储特征聚档生成的人员特征信息档案；e)应用模块包括应用平台和应用接口，应用平台用于实现人员追踪业务的交互功能，应用接口用于实现人员追踪业务与外部系统的对接。系统运行流程应包括特征注册和人员追踪两个流程：a)特征注册是视频图像采集、解析，并进行存储和聚档的过程。b)人员追踪是通过应用平台或应用接口输入指定的视频图像，进行检索分析，并生成人员轨迹的流程。系统的前端建设要求详见附录A。45功能要求5.1视频图像采集在水平转动角度不超过±30°、俯仰角不超过±20°、倾斜角不超过±45°、两眼间距不小于30像素，且无遮挡脸部主要区域的饰物时，系统应能检测到人脸位置并获取人脸图像。获取的人脸图像应人脸完整、轮廓清晰、人脸长宽比例不失真，光照均匀且无阴影。在俯角不超过50°、有效身高不小于90像素，且画面质量清晰无扭曲、无严重遮挡时，系统应能检测到人体位置并获取人体图像。视频文件宜支持PS、MP4、AVI等格式，图像宜支持JPEG、JPEG2000、BMP、PNG等格式。视频编码宜采用ITU-TH.264、ITU-TH.265、ISO/IEC14496-2、GB/T33475.2—2016等视频编码标准。5.2视频图像解析5.2.1人脸特征解析系统应符合以下要求：a)应能从视频图像中检测人脸，并基于人脸在视频出现过程中的视觉特性抽取视觉特征。视觉特征为固定大小的计算机二进制编码数据，视觉特征之间可以进行比对。b)应能对人脸属性进行分析，包括年龄段、性别、发型、胡须、眼镜、口罩等。5.2.2人体特征解析系统应符合以下要求：a)应能从视频图像中检测人体，并给予人体在视频出现过程中的视觉特性抽取视觉特征。视觉特征为固定大小的计算机二进制编码数据，视觉特征之间应可以进行比对。b)应能对人体属性进行分析，包括上衣颜色、上衣类型、上衣纹理、裤子颜色、裤子长短、帽子、背包、拎物等。5.3特征注册5.3.1人脸特征注册系统应符合以下要求：a)应能对符合视频图像采集要求的人脸视频图像进行人脸特征注册并形成特征库；b)应采集视频监控现场的人脸视频图像进行人脸特征注册；5.3.2人体特征注册系统应符合以下要求：a)应能对符合视频图像采集要求的人体视频图像进行人体特征注册并形成特征库；b)应采集视频监控现场的人体视频图像进行人体特征注册；5.3.3人员特征聚档系统应符合以下要求：a)应能对人脸特征注册记录和人体特征注册记录进行关联，形成人员档案，实现一人一档；b)应能实现对同一目标人员的人脸图像或人体图像聚档；5c)应能实现对同一目标人员的人脸图像与人体图像共同聚档。5.4人员追踪系统应符合以下要求：a)应能以图像检索，基于图像特征检索目标人员；b)应能以视频检索，基于视频特征检索目标人员；c)应能通过目标人员的视频图像检索与该人员相似的关联数据并以档案的形式展现；d)应能按照时序检索目标人员，并在地图上展示目标人员的轨迹。6性能要求6.1视觉特征类型系统支持的人员追踪视觉特征类型包括人脸、人体、人脸和人体关联，应符合表1中的要求。6.2前端设备接入数量系统应支持接入并实现检索的前端设备数量的最小值，应符合表1中的要求。6.3检索周期数据被保存在服务器上且可以被检索的最长时间，应符合表1中的要求。6.4聚档周期系统正常运行时，在对应的前端设备接入数量和检索周期下，完成两次特征聚档的最大间隔时间，应符合表1中的要求。6.5查准率在对应的前端设备接入数量和检索周期下进行人员追踪检索，查准率应符合表1中的要求。查准率按公式（1）计算：.................................式中：Ntp——通过检索获得的目标人员轨迹中正确识别的视频图像特征的数量；Ninfer——通过检索获得的目标人员轨迹中系统识别出的全部视频图像特征的数量。6.6查全率在对应的前端设备接入数量和检索周期下进行人员追踪检索，查全率应符合表1中的要求。查全率按公式（2）计算：..................................（2）式中：Ntp——通过检索获得的目标人员轨迹中正确的正确识别的视频图像特征的数量；Ngt——通过检索获得的目标人员轨迹中应被正确识别的全部视频图像特征的数量。6.7响应时间从输入目标人员信息完成到获得检索轨迹所需要的响应时间，应符合表1中的要求。6.8系统分级基于视频图像的人员追踪系统分级如表1所示。表1基于视频图像的人员追踪系统分级依靠人工寻找目标人视频摘要等基本视频——————————————支持输入图像或视频来检索此特征库中的体无支持输入图像或视频检索此特征库中的目体无索入图像或视频检索档体索在L3的基础上，对人脸和人体特征共同聚或视频检索档案库中联索在L4的基础上，支持对人脸和人体特征的入图像或视频检索档联17测试评价方法7.1测试评价设计原则测试评价方案根据系统的功能要求与性能要求，设计测试评价用例，包括测试评价数据与测试评价通过准则。测试评价环境应模拟真实应用场景下使用该系统的典型环境。在设计功能测试评价的用例时，应包括合理的输入条件和不合理的输入条件。在设计性能测试评价的用例时，应考虑系统的硬件环境和数据对测试评价结果的影响。在利用视频录像进行测试的情况下，应保证视频录像的播放速度与录制速度相同。测试评价中使用的视频编码宜符合ITU-TH.264、ITU-TH.265、ISO/IEC14496-2、GB/T33475.2—2016等视频编码标准。7.2功能测试评价7.2.1视频图像采集视频图像采集功能测试评价步骤如下：a)准备1套视频平台或1台视频前端设备，并将其接入人员追踪系统；b)选取满足5.1的要求的视频文件格式要求的视频接入系统，检查系统是否可以检测并获取视频中人脸或人体图像；c)选取满足5.1的要求的视频编码格式要求的视频接入系统，检查系统是否可以检测并获取视频中人脸或人体图像；d)选取满足5.1的要求的人脸和人体图像要求的视频接入系统，检查系统是否可以检测并获取视频中人脸或人体图像，抽取人脸和人体图像测量并验证人脸两眼间距和人体像素高度是否满足要求。7.2.2人脸特征解析人脸视觉特征解析功能测试评价步骤如下：a)准备1套视频平台或1台视频前端设备；b)将该视频前端设备或视频平台接入系统，观察系统是否在实时显示的视频图像中正确标记出测试人员的人脸所在位置或者在系统中观察到测试人员人脸图像截图；c)检查获取的人脸属性信息是否包括年龄段、性别、发型、胡须、眼镜、口罩等。7.2.3人体特征解析人体视觉特征解析功能测试评价步骤如下：a)准备1套视频平台或1台视频前端设备；b)将该视频前端设备或视频平台接入系统，观察系统是否在实时显示的视频图像中正确标记出测试人员的人体所在位置或者在系统中观察到测试人员人体图像截图；c)检查获取的人体属性信息是否包括上衣颜色、上衣类型、上衣纹理、裤子颜色、裤子长短、帽子、背包、拎物等。7.2.4人脸特征注册人脸特征注册功能测试评价步骤如下：2a)准备1台视频前端设备（或视频平台）和1段视频图像；b)将视频前端设备和视频图像接入系统，在视频图像特征库中查看前端设备或视频图像中的人脸特征解析结果。7.2.5人体特征注册人体特征注册功能测试评价步骤如下：a)准备1台视频前端设备（或视频平台）和1段视频图像；b)将视频前端设备和视频图像接入系统，在视频图像特征库中查看前端设备或视频图像中的人体特征解析结果。7.2.6人员特征聚档人员注册功能测试评价步骤如下：a)从系统中抽取若干目标人员档案，检查人员档案中人脸特征和人体特征是否关联，检查是否满足一人一档；b)检查目标人员档案中是否包含其人脸或人体特征信息；c)检查目标人员档案中是否同时包含其人脸和人体特征信息。7.2.7人员追踪人员追踪功能测试评价步骤如下：a)选取1个目标人员图像进行检索，查看目标人员的轨迹检索结果；b)选取1段包含目标人员的视频图像进行检索，查看目标人员的轨迹检索结果；c)检查目标人员轨迹检索结果中与该人员相似的人员档案。7.3性能测试评价7.3.1视觉特征类型检查系统支持的视觉特征类型是否包含人脸、人体；如同时包含人脸和人体，检查系统是否支持人脸特征和人体特征的关联。7.3.2前端设备接入数量准备Ncam段视频（或Ncam台视频前端将Ncam段视频接入系统进行解析，在所有视频（或视频前端采集的视频）中人脸/人体特征解析满足7.2.2和7.2.3的要求的条件下，记录Ncam的数量，并检查Ncam是否满足表1中前端设备接入数量要求。7.3.3检索周期检索周期测试评价步骤如下：a)在对应的视频设备或视频平台接入数量下，选取1个目标人员进行查询（目标人员已经完成特征聚档查询时间范围选取为Tre-min和Tre-max，检索周期T=Tre-max-Tre-min（T的取值参考表1b)统计查询结果中人员图像（人脸或人体）时间标签值Trei（1＜i≤N,N的取值为轨迹结果中的人脸或人体图像数计算人员图像序列周期Treal=max（Tre1,Tre2,…（Tre1,Tre2,…,Tren检查Treal是否等于T。37.3.4聚档周期聚档周期测试评价步骤如下：a)在对应的前端设备接入数量和检索周期下，选取1个目标人员进行查询（目标人员已经完成聚档同时记录查询时刻Tnow，系统的聚档周期为Tfc(Tfc的取值参考表1)；b)统计查询结果中目标人员的视频图像的最新时间标签值Tlatest（距离当前时刻最近的时间点检查时间差值Tnow-Tlatest是否满足条件：Tnow-Tlatest≤Tfc。7.3.5查准率Nob个目标人员、Nnob个非目标人员、Nac个视频设备（或Nac段包含目标人员和非目标人员的视频）。在一定视频设备接入数量Nac和检索周期Tcy（具体Nac、Tcy取值应符合表1）下，查准率测试评价步骤如下：a)系统中创建Nac个视频设备并开启，Nnob个非目标人员和Nob个目标人员经过所有视频设备至少1b)针对Nnob个非目标人员和Nob个目标人员的人脸和人体图像特征进行特征聚档；c)聚档完成后，选取目标人员1张人脸和人体图像进行轨迹查询，共Nob次轨迹查询；d)统计第i次查询时正确识别的目标人员视频图像特征数量Ntp_i和系统识别出的全部目标人员视频图像特征数量Ninfer_i；e)按照6.5中公式（1）计算第i个目标人员的查准率Ppri，Nob个目标人员的平均查准率Ppr按照公司（3）计算：：..................................（3）f)检查Ppr的值是否满足表1中的要求。7.3.6查全率Nob个目标人员、Nnob个非目标人员、Nac个视频设备（或Nac段包含目标人员和非目标人员的视频）。一定视频设备接入数量Nac和检索周期Tcy（具体Nac、Tcy取值应符合表1）下，查全率测试评价步骤如下：a)系统中创建Nac个视频设备并开启，Nnob个非目标人员和Nob个目标人员经过所有视频设备至少1b)针对Nnob个非目标人员和Nob个目标人员的人脸和人体图像特征进行特征聚档；c)聚档完成后，选取目标人员1张人脸或人体图像进行轨迹查询，共Nob次轨迹查询；d)统计第i次查询时正确识别目标人员视频图像特征数量Ntp_i和系统应被正确识别的视频图像特征数量Ngt_i；e)按照6.6中公式（1）计算第i个目标人员的查准率Prci，Nob个目标人员的平均查全率Prc按照公司（4）计算：..................................（4）f)检查Prc的值是否满足表1中的要求。7.3.7响应时间Nob个目标人员，且目标人员已经完成解析和特征聚档。一定前端设备接入数量Nac和检索周期Tcy4（具体Nac、Tcy取值应符合表1）下,响应时间测试评价步