基于立体相机的自动驾驶深度预测

自动驾驶汽车需要精确的深度感知，以确保我们的自动驾驶汽车安全运行。如果你不知道汽车离你有多远，你怎么能在开车时避开它们呢？激光雷达和雷达传感器通常被认为是用于感知任务的主要三维传感器。然而，我们可以从两个或更多的相机使用多视图几何获得深度信息。测量物体与摄像机之间的距离具有挑战性，但对于自动驾驶、增强现实、三维场景重建等有趣的用例非常有用。深度是执行感知、导航和轨迹规划的关键参数。在计算机视觉和机器人技术中，深度估计通常是通过使用一种称为立体摄像机的特殊类型的摄像机的立体视觉来完成的。每只眼睛从一个稍微不同的水平位置观看视觉世界，每只眼睛的图像不同于另一只眼睛。距离眼睛不同的物体将图像投射到两个水平位置不同的眼睛中，给出水平视差的深度提示，也称为双眼视差。什么是立体相机？立体相机是一种带有两个或更多图像传感器的相机。这使得摄像机能够模拟人类的双目视觉，因此能够感知深度。人类双目视觉通过立体视差来感知深度，立体视差是指由于眼睛的水平分离，左右眼所看到的物体在图像位置上的差异。立体摄影机使用类似的方法，从不同的视角捕捉相同的场景。深度感知是通过一种称为三角测量的几何方法来完成的。立体传感器的几何结构立体传感器通常由两个光轴平行的摄像机构成。为了进一步简化这个问题，大多数制造商在三维空间中对齐相机，以便两个图像平面仅在x轴上以偏移量对齐。立体传感器有一些重要的部分：焦距f：相机中心与像面之间的距离基线b：沿共享x轴左右摄像机中心之间的距离。通过定义一个基线来表示两个摄像机坐标系之间的变换，我们假设旋转矩阵是恒等的，并且平移向量中只有一个非零的x分量。因此，R和T变换归结为一个基线参数b。计算三维点坐标给定基线b、焦距f和点O在左右图像平面上的投影坐标。我们可以看到两个类似的三角形组成的左边相机测量如下：由深度z和位置x形成的三角形类似于焦距f和左侧测量x分量xl形成的三角形。从这个相似性出发，我们可以得到方程Z除以f等于X除以xL。对于正确的测量，也可以这样做，但包括基线的偏移量。在这种情况下，两个三角形由z定义，距离x减去b和焦距f及右测量x分量xr。同样，我们可以通过测量中的正确摄像机参数得到第二个与x有关的方程。从这两个方程，我们现在可以导出点O的三维坐标。我们将视差d定义为左右图像中相同像素的图像坐标之间的差值。我们可以使用x和y偏移量~u和~v轻松地在图像和像素坐标之间进行转换。然后，我们使用相似三角形关系中的两个方程来求解z值，如下所示。在这里我们使用z值来计算x，表达式如下。最后，我们可以在y方向上用相同的推导重复这个过程，得到y的以下表达式。点位置的三个分量现在从我们可用的两组像素测量中显式可用。计算视差如前所述，视差是两个不同摄像机观察到的同一三维点的图像位置的差异。为了计算视差，我们需要能够在左右立体相机图像中找到相同的点。这个问题被称为双目立体匹配。这个问题的最朴素算法是遍历策略，在这里我们搜索了左图中整个原始图像的每一个像素。这样的算法效率极低，通常不会在自动驾驶车辆上实时运行。由于许多像素具有类似的局部特性，很难准确匹配，因此也不太可能成功。幸运的是，我们可以使用立体几何将遍历问题从整个图像空间的二维缩小到一维直线。我们已经确定了，一个点如何投射到两个摄像机上。现在，让我们移动我们的三维点，沿着连接它和左摄像机中心的线。它在左侧相机图像平面上的投影不变。但是，我们可以注意到在右相机平面上的投影，投影沿着水平线移动。这被称为外极线，并直接遵循固定的横向偏移和在一个立体图像对中两个摄像头的图像平面对齐。为了让匹配从2D降至1D，我们可以限制我们的搜索沿着极线进行。立体匹配算法给定记录的视频帧，确保您已校准立体摄像头并校正图像。1.取上图中极线上的每个像素。2.将这些图像像素与同一极线上右图像中的每个像素进行比较。3.选择运算成本最低的像素。例如在这，一个非常简单的成本可以是像素强度的平方差4.计算视差d上面的公式表示，场景中一个点的深度与相应图像点及其相机中心的距离差成反比。输入：这是CARLA模拟器生成的图像输出（视差图）：生成深度图我们将从立体相机拍摄的一对图像中得出深度。此程序的顺序：