客流统计项目技术报告ppt课件

1、基于双目视觉的客流统计系统报告人：过嗣聪报告时间：2021年9月xx日概述双目立体视觉引见立体匹配算法目的检测与跟踪总结双目立体视觉引见什么是立体视觉立体视觉是利用两个及以上的相机来丈量物体深度的技术属于计算机视觉的一种实时性和硬件平台实现是其研讨重点之一普通相机单目左图是相机成像的简化模型P、Q是视场中不同的两点，但 他们在图像上的投影确一样: 图像平面O: 光心透镜中心 f: 焦距双目相机 假设能找到两幅图像上的对应点对应空间中同一点，那么根据三角几何关系，就能计算出该点的深度左目图像右目图像如何找出对应点 二维搜索计算量非常宏大，而且很难找到全局最优解 现实上，对应点必定出如今对应的极线

2、。极线约束条件右目图像左目图像 绿色实线表示右目图像的一条极线，即红色虚线上的点在右图上的投影。极线约束指出，红色虚线在左图上的投影必定出如今右图对应的极线上。规范方式的双目相机 为了方便计算，我们会把两幅图像矫正成规范方式图像的扫描行就是极线，并且焦距坚持一致。也就是说，我们只需在图像的扫描行上搜索对应点即可。左目图像右目图像矫正前矫正后视差： - 视差和深度计算左图参考图右图目的图视差图容易看出，物体越近，视差越大，对应视差图中越亮的部分 代表间隔的平面分布并不均匀，随着间隔的添加，精度会急剧下降。但在公交客流统计中，检测深度普通不会超越3米，可以到达精度要求。空间被分解成一个个离散的平面

3、，代表不同间隔，对应不同的视差。双目视觉系统普通流程目的是计算出摄像头的内部参数和外部参数内部参数：焦距，图像主点位置，镜头失真参数外部参数：平移矩阵T、旋转矩阵R相机标定离线矫正前矫正后图像矫正目的是有二：去除镜头的桶形失真使得图像对变成规范方式，即行对准立体匹配的目的就是找到图像对之间的匹配点，进而得到视差立体匹配到此，我们获得了视差图，基线b，焦距f，深度计算公式。在结合三角几何公式，就能计算一切图像点在三维空间中的位置X,Y,Z深度图计算立体匹配算法立体匹配算法部分匹配：速度较快，精度不高全局匹配：速度较慢，精度较高立体匹配算法Scharstein and Szeliski 指出立体匹

4、配算法通常包含以下4个步骤或其中的几个：匹配代价计算代价积累视差计算/优化视差提精部分匹配算法：1-2-3(直接用WTA求解)全局匹配算法：1-3全局或半全局优化后再用WTA求解匹配代价计算匹配代价是指基准图像左图上一点p与目的图像右图上能够的匹配点q的类似性度量:这里引见2种像素级的类似性度量：基于灰度差分的匹配代价Birchfield and Tomasi基于Census变换的匹配代价BT匹配代价Birchfield and Tomasi把p和q的灰度差的绝对值定义为匹配：改良方式：基于Census变换的匹配代价首先，对图像进展统计变换Census Transform，该变换定义为：以3x

5、3窗口为例，比较此窗口中每个像素值与中心像素值的大小，假设比中心像素值小，那么比较结果为1，否那么为0。然后把这些结果组成一个二进制的数，并替代当前像素值1101 0100 (212)汉明间隔对于两个等长字符串s1与s2，他们之间的汉明间隔就是相应位置上存在不同字符的数量。例如字符串“1111与“1001之间的汉明间隔为2。计算方法：Cost = POPCNTs1 XOR s2注：POPCNT计算一个二进制数中“1的位数视差空间(Disparity Space)根据前面的代价计算，对于基准图像上一点p及视差d，总有：如图，x-y平面表示图像平面，d轴表示视差从0变化，那么对于一个三维坐标(x,

6、 y, d),就有C(x, y, d) = Cost。所以视差空间是一个三维数组，里面存放的是匹配代价视差计算COST那么，计算图像视差的过程就变成：遍历每个像素点，计算使得当前代价C(x, y, d) 最小的d，即winner-take-allWTA。匹配代价是定义在像素等级上的，像素与像素之间短少联络，那么，相应的视差图会存在大量的视差不延续的点视差优化Hirschmuller提出了Semi-Global Matching，用于平滑视差图：在x-y平面上按照某一方向r，遍历每一个p(x, y)，第一项表示点p视差为d时的匹配代价；第二项表示视差平滑约束，p-r表示r方向上前一个像素点，表示

7、当前像素与前一个像素相比视差改动较小时给予的惩罚，用于平滑物体外表的纹理，而表示视差改动较大时的惩罚，用于平滑物体边缘的视差不延续，并且必需保证；第三项用于限制匹配代价的增长，所以匹配代价的上限是如图是沿着从右到左方向代价积累后得到视差图，可以看出视差图延续性上曾经有了明显的提高，但存在明显的拖尾效应，这是由于图像在程度方向上约束太强，而竖直方向上约束太弱呵斥的因此，我们可以在多个方向上分别进展代价积累，再把多个方向的视差空间进展叠加，由此计算视差图可大大减少拖尾效应视差优化一致性检查 类似地，我们可以计算出右图对应的视差图，并按照下式一致性检查，其中p、q表示一组对应点左视差图右视差图视差精

8、化异常值滤波 一致性检查并不能去除一切异常值，视差图仍会残留一些小面积的异常值。我们运用基于连通域标志的异常值滤波器删除了这些异常块视差精化无效区域插值视差图经过一致性检测后留下的视差无效区域，应该分为遮挡区域和误匹配区域，这是由于对于遮挡区域和误匹配区域的插值战略是截然不同，必需区别对待。图中遮挡点p1的极线穿过中视差不延续处，而误匹配点p2与相交。与代价积累中从8个方向搜索类似，对于每一个无效点，周围的8个视差值都会保管下来，然后按照下面的式子插值：第一项取第二小的视差值，保证了遮挡点的视差来自较低一级的背景，而第二项取中值，强调利用一切周围的信息视差精化无效区域插值目的检测与跟踪三维重建

9、三维重建是指依托一些技术手段从视差图恢复出目的的三维信息，使目的检测更加准确。右侧是经过颜色编码的视差图，颜色越暖表示离摄像头越近，反之那么越远，容易看出图中两个偏暖的区域分别对应左侧图像中的两个人。目的检测乘客被建模成一个椭圆型的金字塔，其特征向量表示为：椭圆参数包括：长短轴、离心率、面积、中心坐标、高度等等。目的跟踪假设前一帧图像中有m个目的，对应m个特征向量，而当前图像帧中有n个目的，对应n个特征向量，类似函数S(i, j)表示前一帧第i个目的和当前帧第j目的的类似度。12jn1S(1, 1)S(1, 2)S(1, j)S(1, n)2S(2, 1)S(2, 2)S(2, j)S(2,

10、n)iS(i, 1)S(i, 2)S(i, j)S(i, j)mS(m, 1)S(m, 2)S(m, j)S(m, n)第k-1帧第k帧总结系统框架设计 该工程开发了一种可以实时监测公交车内客流量的系统，其中双目摄像头安装在接近车门的车顶处，并垂直向下拍摄，同时采集两路视频。 双目视觉技术可以感知物体的深度，可以很好地抑制单目视觉技术对光线阴影敏感，无法检测拥堵客流及无法排除类人物体等问题。算法框架设计原始图像对图像矫正立体匹配背景差分注：较小的椭圆对应较高的位置，多个椭圆叠加构成类金字塔目的检测目的跟踪存在的问题视差图中的目的外形、高度各异，特别是在拥堵时，多个目的会衔接在一同。基于特征的启

11、发式目的检测方法并不能100%地检测出目的。在视差图中，特征向量会随目的运动而变化，因此目的的坐标在类似性测度当中占了较高的权重。现有的跟踪逻辑比较单一，当目的的特征向量极为类似时，会出现误跟踪的情况。参考文献/stereo/data/Depth discontinuities by pixel to pixel stereoA Census-Based Stereo Vision Algorithm Using Modied Semi-Global Matching and Plane Fitting to Improve Matching QualityStereo Processing by Semi-global Matching and Mutual InformationUsing real-time stereo vision for mobile robot navigationvision.calte