客流统计项目技术报告课件

基于双目视觉的

客流统计系统报告人：过嗣聪报告时间：2016年9月xx日基于双目视觉的

客流统计系统报告人：过嗣聪1概述双目立体视觉介绍立体匹配算法目标检测与跟踪总结概述双目立体视觉介绍2双目立体视觉介绍双目立体视觉介绍3什么是立体视觉立体视觉是利用两个及以上的相机来测量物体深度的技术属于计算机视觉的一种实时性和硬件平台实现是其研究重点之一什么是立体视觉立体视觉是利用两个及以上的相机来测量物体深度的4普通相机（单目）左图是相机成像的简化模型P、Q是视场中不同的两点，但他们在图像上的投影确相同

普通相机（单目）左图是相机成像的简化模型

5双目相机如果能找到两幅图像上的对应点（对应空间中同一点），那么根据三角几何关系，就能计算出该点的深度左目图像右目图像双目相机如果能找到两幅图像上的对应点（对应空间6如何找出对应点二维搜索计算量十分巨大，而且很难找到全局最优解事实上，对应点必定出现在对应的极线。如何找出对应点二维搜索计算量十分巨大，而且很难7极线约束条件右目图像左目图像绿色实线表示右目图像的一条极线，即红色虚线上的点在右图上的投影。极线约束指出，红色虚线在左图上的投影必定出现在右图对应的极线上。极线约束条件右目左目绿色实线表示右目图像的一条8标准形式的双目相机为了方便计算，我们会把两幅图像矫正成标准形式——图像的扫描行就是极线，并且焦距保持一致。也就是说，我们只需在图像的扫描行上搜索对应点即可。左目图像右目图像标准形式的双目相机为了方便计算，我们会把两幅图9矫正前矫正后矫正前矫正后10

视差和深度计算

视差和深度计算11左图（参考图）右图（目标图）视差图容易看出，物体越近，视差越大，对应视差图中越亮的部分左图（参考图）右图（目标图）视差图容易看出，物体越近，视差越12代表距离的平面分布并不均匀，随着距离的增加，精度会急剧下降。但在公交客流统计中，检测深度一般不会超过3米，可以达到精度要求。空间被分解成一个个离散的平面，代表不同距离，对应不同的视差。代表距离的平面分布并不均匀，随着距离的增加，精13双目视觉系统一般流程双目视觉系统一般流程14目的是计算出摄像头的内部参数和外部参数内部参数：焦距，图像主点位置，镜头失真参数外部参数：平移矩阵T、旋转矩阵R相机标定（离线）目的是计算出摄像头的内部参数和外部参数相机标定（离线）15矫正前矫正后图像矫正目的是有二：去除镜头的桶形失真使得图像对变成标准形式，即行对准矫正前矫正后图像矫正目的是有二：16立体匹配的目的就是找到图像对之间的匹配点，进而得到视差立体匹配立体匹配的目的就是找到图像对之间的匹配点，进而得到视差立体匹17到此，我们获得了视差图，基线b，焦距f，深度计算公式。在结合三角几何公式，就能计算所有图像点在三维空间中的位置（X,Y,Z）深度图计算到此，我们获得了视差图，基线b，焦距f，深度计算公式。在结合18立体匹配算法立体匹配算法19立体匹配算法局部匹配：速度较快，精度不高全局匹配：速度较慢，精度较高立体匹配算法局部匹配：速度较快，精度不高20立体匹配算法ScharsteinandSzeliski指出立体匹配算法通常包含以下4个步骤（或其中的几个）：匹配代价计算代价积累视差计算/优化视差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局优化后再用WTA求解）立体匹配算法ScharsteinandSzeliski21匹配代价计算

这里介绍2种像素级的相似性度量：基于灰度差分的匹配代价（BirchfieldandTomasi）基于Census变换的匹配代价匹配代价计算

这里介绍2种像素级的相似性度量：22BT匹配代价

改进形式：BT匹配代价

改进形式：23基于Census变换的匹配代价首先，对图像进行统计变换（CensusTransform），该变换定义为：以3x3窗口为例，比较此窗口中每个像素值与中心像素值的大小，如果比中心像素值小，则比较结果为1，否则为0。然后把这些结果组成一个二进制的数，并代替当前像素值11010100(212)基于Census变换的匹配代价首先，对图像进行统计变换（Ce24汉明距离对于两个等长字符串s1与s2，他们之间的汉明距离就是相应位置上存在不同字符的数量。例如字符串“1111”与“1001”之间的汉明距离为2。计算方法：Cost=POPCNT（s1XORs2）注：POPCNT计算一个二进制数中“1”的位数汉明距离对于两个等长字符串s1与s2，他们之间的汉明距离就是25视差空间(DisparitySpace)根据前面的代价计算，对于基准图像上一点p及视差d，总有：

视差空间(DisparitySpace)根据前面的代价计算26视差计算COST那么，计算图像视差的过程就变成：遍历每个像素点，计算使得当前代价C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代价是定义在像素等级上的，像素与像素之间缺少联系，那么，相应的视差图会存在大量的视差不连续的点视差计算COST那么，计算图像视差的过程就变成：遍历每个像素27视差优化Hirschmuller提出了Semi-GlobalMatching，用于平滑视差图：

视差优化Hirschmuller提出了Semi-Global28如图是沿着从右到左方向代价积累后得到视差图，可以看出视差图连续性上已经有了明显的提高，但存在明显的拖尾效应，这是因为图像在水平方向上约束太强，而竖直方向上约束太弱造成的因此，我们可以在多个方向上分别进行代价积累，再把多个方向的视差空间进行叠加，由此计算视差图可大大减少拖尾效应视差优化如图是沿着从右到左方向代价积累后得到视差图，可以看出视差图连29一致性检查类似地，我们可以计算出右图对应的视差图，并按照下式一致性检查，其中p、q表示一组对应点左视差图右视差图一致性检查类似地，我们可以计算出右图对应的视差图30视差精化—异常值滤波一致性检查并不能去除所有异常值，视差图仍会残留一些小面积的异常值。我们使用基于连通域标记的异常值滤波器删除了这些异常块视差精化—异常值滤波一致性检查并不能去除所有异31视差精化—无效区域插值视差图经过一致性检测后留下的视差无效区域，应该分为遮挡区域和误匹配区域，这是因为对于遮挡区域和误匹配区域的插值策略是截然不同，必须区别对待。

视差精化—无效区域插值视差图经过一致性检测后留下的视差无效区32与代价积累中从8个方向搜索类似，对于每一个无效点，周围的8个视差值都会保存下来，然后按照下面的式子插值：第一项取第二小的视差值，保证了遮挡点的视差来自较低一级的背景，而第二项取中值，强调利用所有周围的信息视差精化—无效区域插值与代价积累中从8个方向搜索类似，对于每一个无效点，周围的8个33目标检测与跟踪目标检测与跟踪34三维重建三维重建是指依靠一些技术手段从视差图恢复出目标的三维信息，使目标检测更加准确。右侧是经过颜色编码的视差图，颜色越暖表示离摄像头越近，反之则越远，容易看出图中两个偏暖的区域分别对应左侧图像中的两个人。三维重建三维重建是指依靠一些技术手段从视差图恢复出目标的三维35目标检测乘客被建模成一个椭圆型的金字塔，其特征向量表示为：椭圆参数包括：长短轴、离心率、面积、中心坐标、高度等等。目标检测乘客被建模成一个椭圆型的金字塔，其特征向量表示为：椭36目标跟踪假设前一帧图像中有m个目标，对应m个特征向量，而当前图像帧中有n个目标，对应n个特征向量，相似函数S(i,j)表示前一帧第i个目标和当前帧第j目标的相似度。

12jn1S(1,1)S(1,2)S(1,j)S(1,n)2S(2,1)S(2,2)S(2,j)S(2,n)iS(i,1)S(i,2)S(i,j)S(i,j)mS(m,1)S(m,2)S(m,j)S(m,n)第k-1帧第k帧目标跟踪假设前一帧图像中有m个目标，对应m个特征向量，而当前37总结总结38系统框架设计该项目开发了一种能够实时监测公交车内客流量的系统，其中双目摄像头安装在靠近车门的车顶处，并垂直向下拍摄，同时采集两路视频。

双目视觉技术可以感知物体的深度，能够很好地克服单目视觉技术对光线阴影敏感，无法检测拥挤客流及无法排除类人物体等问题。算法框架设计原始图像对图像矫正立体匹配背景差分注：较小的椭圆对应较高的位置，多个椭圆叠加形成类金字塔目标检测目标跟踪系统框架设计该项目开发了一种能够实时监测公交车39存在的问题视差图中的目标形状、高度各异，特别是在拥挤时，多个目标会连接在一起。基于特征的启发式目标检测方法并不能100%地检测出目标。在视差图中，特征向量会随目标运动而变化，因此目标的坐标在相似性测度当中占了较高的权重。现有的跟踪逻辑比较单一，当目标的特征向量极为相似时，会出现误跟踪的情况。存在的问题视差图中的目标形状、高度各异，特别是在拥挤时，多个40参考文献参考文献41增强品质意识，强化安全观念。11月-2211月-22Sunday,November6,2022是建立洁净亮丽，整齐舒适，安全高效的法宝。01:01:1401:01:1401:0111/6/20221:01:14AM清洁-拥有清爽明亮的工作环境。11月-2201:01:1401:01Nov-2206-Nov-22太太平平万家康乐，安安顺顺事业腾飞。01:01:1401:01:1401:01Sunday,November6,2022质量是交通建设的灵魂和生命。11月-2211月-2201:01:1401:01:14November6,2022麻痹是最大的隐患失职是最大的祸根。2022年11月6日1:01上午11月-2211月-22一心一意保安全，同心同德谋发展。06十一月20221:01:14上午01:01:1411月-22隐患不除，危机四伏。十一月221:01上午11月-2201:01November6,2022市场调查勤分析，掌握顾客之所需。2022/11/61:01:1401:01:1406November2022以厂为校，以厂为家，互相学习，互相关怀。1:01:14上午1:01上午01:01:1411月-22学一分消防知识，多十分平安保障。11月-2211月-2201:0101:01:1401:01:14Nov-22相信自己，相信伙伴。2022/11/61:01:14Sunday,November6,2022麻痹是最大的隐患，失职是最大的祸根。11月-222022/11/61:01:1411月-22谢谢大家！增强品质意识，强化安全观念。11月-2211月-22Wedn42基于双目视觉的

客流统计系统报告人：过嗣聪报告时间：2016年9月xx日基于双目视觉的

客流统计系统报告人：过嗣聪43概述双目立体视觉介绍立体匹配算法目标检测与跟踪总结概述双目立体视觉介绍44双目立体视觉介绍双目立体视觉介绍45什么是立体视觉立体视觉是利用两个及以上的相机来测量物体深度的技术属于计算机视觉的一种实时性和硬件平台实现是其研究重点之一什么是立体视觉立体视觉是利用两个及以上的相机来测量物体深度的46普通相机（单目）左图是相机成像的简化模型P、Q是视场中不同的两点，但他们在图像上的投影确相同

普通相机（单目）左图是相机成像的简化模型

47双目相机如果能找到两幅图像上的对应点（对应空间中同一点），那么根据三角几何关系，就能计算出该点的深度左目图像右目图像双目相机如果能找到两幅图像上的对应点（对应空间48如何找出对应点二维搜索计算量十分巨大，而且很难找到全局最优解事实上，对应点必定出现在对应的极线。如何找出对应点二维搜索计算量十分巨大，而且很难49极线约束条件右目图像左目图像绿色实线表示右目图像的一条极线，即红色虚线上的点在右图上的投影。极线约束指出，红色虚线在左图上的投影必定出现在右图对应的极线上。极线约束条件右目左目绿色实线表示右目图像的一条50标准形式的双目相机为了方便计算，我们会把两幅图像矫正成标准形式——图像的扫描行就是极线，并且焦距保持一致。也就是说，我们只需在图像的扫描行上搜索对应点即可。左目图像右目图像标准形式的双目相机为了方便计算，我们会把两幅图51矫正前矫正后矫正前矫正后52

视差和深度计算

视差和深度计算53左图（参考图）右图（目标图）视差图容易看出，物体越近，视差越大，对应视差图中越亮的部分左图（参考图）右图（目标图）视差图容易看出，物体越近，视差越54代表距离的平面分布并不均匀，随着距离的增加，精度会急剧下降。但在公交客流统计中，检测深度一般不会超过3米，可以达到精度要求。空间被分解成一个个离散的平面，代表不同距离，对应不同的视差。代表距离的平面分布并不均匀，随着距离的增加，精55双目视觉系统一般流程双目视觉系统一般流程56目的是计算出摄像头的内部参数和外部参数内部参数：焦距，图像主点位置，镜头失真参数外部参数：平移矩阵T、旋转矩阵R相机标定（离线）目的是计算出摄像头的内部参数和外部参数相机标定（离线）57矫正前矫正后图像矫正目的是有二：去除镜头的桶形失真使得图像对变成标准形式，即行对准矫正前矫正后图像矫正目的是有二：58立体匹配的目的就是找到图像对之间的匹配点，进而得到视差立体匹配立体匹配的目的就是找到图像对之间的匹配点，进而得到视差立体匹59到此，我们获得了视差图，基线b，焦距f，深度计算公式。在结合三角几何公式，就能计算所有图像点在三维空间中的位置（X,Y,Z）深度图计算到此，我们获得了视差图，基线b，焦距f，深度计算公式。在结合60立体匹配算法立体匹配算法61立体匹配算法局部匹配：速度较快，精度不高全局匹配：速度较慢，精度较高立体匹配算法局部匹配：速度较快，精度不高62立体匹配算法ScharsteinandSzeliski指出立体匹配算法通常包含以下4个步骤（或其中的几个）：匹配代价计算代价积累视差计算/优化视差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局优化后再用WTA求解）立体匹配算法ScharsteinandSzeliski63匹配代价计算

这里介绍2种像素级的相似性度量：基于灰度差分的匹配代价（BirchfieldandTomasi）基于Census变换的匹配代价匹配代价计算

这里介绍2种像素级的相似性度量：64BT匹配代价

改进形式：BT匹配代价

改进形式：65基于Census变换的匹配代价首先，对图像进行统计变换（CensusTransform），该变换定义为：以3x3窗口为例，比较此窗口中每个像素值与中心像素值的大小，如果比中心像素值小，则比较结果为1，否则为0。然后把这些结果组成一个二进制的数，并代替当前像素值11010100(212)基于Census变换的匹配代价首先，对图像进行统计变换（Ce66汉明距离对于两个等长字符串s1与s2，他们之间的汉明距离就是相应位置上存在不同字符的数量。例如字符串“1111”与“1001”之间的汉明距离为2。计算方法：Cost=POPCNT（s1XORs2）注：POPCNT计算一个二进制数中“1”的位数汉明距离对于两个等长字符串s1与s2，他们之间的汉明距离就是67视差空间(DisparitySpace)根据前面的代价计算，对于基准图像上一点p及视差d，总有：

视差空间(DisparitySpace)根据前面的代价计算68视差计算COST那么，计算图像视差的过程就变成：遍历每个像素点，计算使得当前代价C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代价是定义在像素等级上的，像素与像素之间缺少联系，那么，相应的视差图会存在大量的视差不连续的点视差计算COST那么，计算图像视差的过程就变成：遍历每个像素69视差优化Hirschmuller提出了Semi-GlobalMatching，用于平滑视差图：

视差优化Hirschmuller提出了Semi-Global70如图是沿着从右到左方向代价积累后得到视差图，可以看出视差图连续性上已经有了明显的提高，但存在明显的拖尾效应，这是因为图像在水平方向上约束太强，而竖直方向上约束太弱造成的因此，我们可以在多个方向上分别进行代价积累，再把多个方向的视差空间进行叠加，由此计算视差图可大大减少拖尾效应视差优化如图是沿着从右到左方向代价积累后得到视差图，可以看出视差图连71一致性检查类似地，我们可以计算出右图对应的视差图，并按照下式一致性检查，其中p、q表示一组对应点左视差图右视差图一致性检查类似地，我们可以计算出右图对应的视差图72视差精化—异常值滤波一致性检查并不能去除所有异常值，视差图仍会残留一些小面积的异常值。我们使用基于连通域标记的异常值滤波器删除了这些异常块视差精化—异常值滤波一致性检查并不能去除所有异73视差精化—无效区域插值视差图经过一致性检测后留下的视差无效区域，应该分为遮挡区域和误匹配区域，这是因为对于遮挡区域和误匹配区域的插值策略是截然不同，必须区别对待。

视差精化—无效区域插值视差图经过一致性检测后留下的视差无效区74与代价积累中从8个方向搜索类似，对于每一个无效点，周围的8个视差值都会保存下来，然后按照下面的式子插值：第一项取第二小的视差值，保证了遮挡点的视差来自较低一级的背景，而第二项取中值，强调利用所有周围的信息视差精化—无效区域插值与代价积累中从8个方向搜索类似，对于每一个无效点，周围的8个75目标检测与跟踪目标检测与跟踪76三维重建三维重建是指依靠一些技术手段从视差图恢复出目标的三维信息，使目标检测更加准确。右侧是经过颜色编码的视差图，颜色越暖表示离摄像头越近，反之则越远，容易看出图中两个偏暖的区域分别对应左侧图像中的两个人。三维重建三维重建是指依靠一些技术手段从视差图恢复出目标的三维77目标检测乘客被建模成一个椭圆型的金字塔，其特征向量表示为：椭圆参数包括：长短轴、离心率、面积、中心坐标、高度等等。目标检测乘客被建模成一个椭圆型的金字塔，其特征向量表示为：椭78目标跟踪假设前一帧图像中有m个目标，对应m个特征向量，而当前图像帧中有n个目标，对应n个特征向量，相似函数S(i,j)表示前一帧第i个目标和当前帧第j目标的相似度。

12jn1S(1,1)S(1,2)S(1,j)S(1,n)2S(2,1)S(2,2)S(2,j)S(2,n)iS(i,1)S(i,2)S(i,j)S(i,j)mS(m,1)S(m,2)S(m,j)S(m,n)第k-1帧第k帧目标跟踪假设前一帧图像中有m个目标，对应m个特征向量，而当前79总结总结80系统框架设计该项目开发了一种能够实时监测公交车内客流量的系统，其中双目摄像头安装在靠近车门的车顶处，并垂直向下拍摄，同时采集两路视频。

双目视觉技术可以感知物体的深度，能够很好地克服单目视觉技术对光线阴影敏感，无法检测拥挤客流及无法排除类人物体等问题。算法框架设计原始图像对图像矫正立体匹配背景差分注：较小的椭圆对应较高的位置，多个椭圆叠加形成类金字塔目标检测目标跟踪系统框架设计该项目开发了一种能够实时监