Python图像处理与机器视觉入门 课件 第22章 增强现实

图像处理应用技术李钦深圳信息职业技术学院软件学院科技楼1703D室1295254769@1增强现实增强现实技术是一种将虚拟信息融合到真实世界的技术，将计算机生成的文字、图像、三维模型等虚拟信息模拟仿真后，应用到真实世界中，两种信息相互补充，从而实现对真实世界的效果增强。增强现实通过定位或者识别的方式来确定此刻观察者的位置和视角，从而获取相机的姿势估计，通俗一点来说就是确定观察者的眼睛往哪个方向看。本项目主要关注基于标记的增强现实背后用到的技术，来简单地实现在棋盘上的3D模型展示。2实验1相机矫正增强现实通常需要使用到摄像头或者相机，而往往由于相机的内源因素，镜头对平面上不同区域的放大率不同导致拍摄的图像会出现几何畸变，而这种畸变成都会从画面中央往画面边缘逐渐递增。由于畸变主要源自镜头本身的物理因素，所以在使用摄像头之前首先对其进行矫正是很有必要的。本实验旨在了解相机矫正的过程，并提供同一摄像头下的照片作为实验素材，条件允许的话同学们也可以用其他摄像头的数据完成实验。2实验1相机矫正步骤1读取图片 首先我们先读取需要矫正的图片，这里会用到Python自带的glob模块完成读取一系列类似文件名的文件，同学们可以自行查看不同图片。2实验1相机矫正步骤2设置目标点 为了解决畸变模型，我们需要提供一些真实点以及其在图片上的对应点以便求解。由于三维时间真实点包含x,y,z轴，但是我们可以默认所有棋盘上的真实点在一个平面上，只用考虑x,y轴的部分。通过mgrid来生成目标点。2实验1相机矫正步骤3寻找图像点 为了找到这些真实点对应的图像上的左边点，我们需要用到OpenCV中的findChessboardCorners函数，指定网格的大小，从而获得一个成功与否的返回值以及对应的坐标点。由于需要对每一张图片进行处理，且记录是否存在合适的对应网格点，这里需要用到for循环。另外我们也可以使用drawChessboardCorners来查看这些点的具体位置信息。2实验1相机矫正步骤4相机矫正矩阵 我们已经获取到足够多的对应点信息，这里可以用calibrateCamera直接完成相机的矫正，输入真实点坐标，图像点的坐标以及源图像的大小。返回值我们主要关注相机矩阵mtx以及失真系数dist。步骤5矫正图像 当我们已经获取到相机的上述参数，便可以直接对该摄像头下的畸变图像进行矫正了，这里需要使用undistort函数来输入相机矩阵以及失真系数，最后可以看到明显的差异，图中的方格之间的连线明显从曲线变为直线。大家可以尝试对其他范例图片进行矫正。练习1实现相机矫正作答正常使用主观题需2.0以上版本雨课堂主观题10分2实验2姿势估计在上一个实验中，我们已经学习了如何对相机畸变进行矫正，接下来我们需要完成姿态估计，即判断目标平面的位置以及方向，从而完成简单的投影过程。姿态估计同样需要找到图像的真实点以及对应点，同时还需要在已知相机各种参数的情况下进行，从而判断图像所处的姿态。本实验将使用上一个实验学习到的一些方法继续完成姿态估计，并介绍一些简单的绘图方法。2实验2姿势估计步骤1获取相机参数 由于处于同样的摄像机下，所以参数条件需要保持一致，我们需要读取上一个实验的相机矩阵参数以及失真系数。步骤2读取图像并寻找目标点 类似相机矫正，我们需要真实点以及对应的图像点来帮助完成当前图像的姿态估计，这里用到的都是之前学到的函数。我们可以查看目标点在图像中的位置。2实验2姿势估计步骤3姿态估计 这里我们将使用到solvePnPRansac函数来求解姿态，即寻找此时图像的旋转和平移参数。另外我们还需要使用到projectPoints找到一个小的坐标轴对应在此图像中的投影点,可以查看投影点的坐标情况。步骤4绘出坐标轴 最后我们使用OpenCV中自带的画图功能来完成坐标轴的绘制，这里会用到line函数绘出不同颜色的直线。注意这里并没有对图像进行校正，当然同学们可以自行尝试在矫正后的图像上绘出坐标轴。2实验2姿势估计步骤5绘出小方块 当然OpenCV的绘图功能远不止直线，如果想尝试绘出更复杂一点的几何体，需要更多的点和直线，以及使用drawContours来绘