《机械臂智能控制》 课件 任务5-4 积木动态抓取-相机标定

任务5-4积木动态抓取——相机标定《智能机械臂控制》任务5-4积木动态抓取——相机标定使用pycharm打开相机标定工程S2_CameraCal，完成相机标定（1）采集的不少于20张棋盘图图像截屏（2）相机校准截图（3）ModelCamera.py文件

畸变校正函数Video_undistort(self,image_raw)代码截图，

含：内参和畸变参数【作业提交】：提交以上截图任务要求相机标定知识链接1：相机标定基础相机标定（1）相机的成像原理：透镜成像墨子发现：用一个带有小孔的板遮挡在墙体与物体之间，

墙体上就会形成物体的倒影，这种现象就叫小孔成像。知识链接1：相机标定基础相机标定（1）相机的成像原理：透镜成像利用小孔成像，在暗箱中，临摹画画。但是：暗箱太黑不利于作画。在孔上装一块凸透镜，利用了凸透镜的屈光性聚焦光线，可得到清晰明亮的影像。——透镜成像知识链接1：相机标定基础相机标定（1）相机的成像原理：感光材料——卤化银知识链接1：相机标定基础相机标定（1）相机的三个基本部件：暗箱、镜头、感光元件知识链接1：相机标定基础相机标定相机的原理是小孔成像，但是由于这种成像方式只有一个小孔能透过光线就会导致物体的成像亮度很低。为了解决亮度的问题，我们使用了透镜，虽然这样可以解决亮度的问题，但是由于透镜的制作工艺会使成像产生多种形式的畸变，也就是说成像后的图像会和真实世界的景象不一致，需要利用畸变系数来矫正这种像差。（2）相机图像畸变知识链接1：相机标定基础相机标定（a）径向畸变(RadialDistortion)：产生原因是图像在远离透镜中心的地方比靠近中心的地方更加弯曲。径向畸变包含：桶形畸变、枕形畸变。（2）相机图像畸变知识链接1：相机标定基础相机标定（b）切向畸变(TangetialDistortion)产生的原因：透镜不完全平行于图像平面，镜头本身存在倾角误差。（2）相机图像畸变知识链接1：相机标定基础相机标定（3）图像处理中涉及的坐标系1——像素坐标系

知识链接1：相机标定基础相机标定（3）图像处理中涉及的坐标系2——图像坐标系

知识链接1：相机标定基础相机标定（3）图像处理中涉及的坐标系3——相机坐标系

知识链接1：相机标定基础相机标定（3）图像处理中涉及的坐标系4——世界坐标系相机坐标系C世界坐标系W

从世界坐标系变换到相机坐标系属于刚体变换：即物体不会发生形变，只需要进行旋转和平移。R：表示旋转矩阵，3x3T：表示偏移向量,1x3知识链接1：相机标定基础相机标定（4）坐标系转换——像素坐标系与图像坐标系

dx

dy：表示每个像素点在x和y方向上的尺寸。即:1pixel=dxmm；1pixel=dymm像素坐标系,pixel图像坐标系,mm

像素坐标

图像坐标知识链接1：相机标定基础相机标定（4）坐标系转换——相机坐标系与图像坐标系

知识链接1：相机标定基础相机标定（5）相机内参（相机内参矩阵）——相机成像到实际图像的转换矩阵

像素坐标

图像坐标

图像坐标

相机坐标相机内参矩阵

像素坐标

相机坐标知识链接1：相机标定基础相机标定由于相机设计工艺问题，会造成成像与实际图像不一样的现象。相机成像到实际图像的转换矩阵，称为相机内参矩阵（5）相机内参（1）fx=f/dx,fy=f/dy

（a）焦距:f（b）dx和dy表示每一列和每一行分别代表多少mm，

即:1pixel=dxmm；1pixel=dymm

（2）C:principalpoint，主点（u0,v0），

相机光心所在的主轴与像平面的交点知识链接1：相机标定基础相机标定世界坐标到相机坐标的转换矩阵，称为相机外参矩阵。与相机的安装方式有关。（6）相机外参R：表示旋转矩阵，3x3T：表示偏移向量，1x3相机坐标系C世界坐标系W知识链接1：相机标定基础相机标定（7）总结：像素坐标系

世界坐标系像素坐标（u,v）图像坐标（x,y）相机坐标（Xc,Yc,Zc）世界坐标（Xw,Yw,Zw）

二次转换透视投影刚体变换

相机内参相机外参世界坐标像素坐标知识链接2：相机标定相机标定（1）相机标定目标：获取相机内参、外参、畸变系数，实现图像校准。（2）OpenCV中，相机标定所使用的标定图案：棋盘格、对称圆形、ArUco板等。

棋盘格图案：操作简单、快速，标定精度满足一般应用场景的需求。

对于标定精度要求高的场景，则一般采用圆形标定图案。棋盘格板A4纸尺寸，7x6内角，方块27mmArUco板圆形板11x4任务实施：相机标定Step01：图像采集相机标定调整棋盘图的位置、姿态，采集不少于20张棋盘图图像。【要求】：棋盘图在图像中完整显示，不要有缺失；保存到my_image目录下。【注意】1.棋盘图纸不能弯曲。2.棋盘图千万不能弄脏，否则可能造成标定失败。3.图片为相机采集原始尺寸图片，不能裁剪4.图片为jpg格式5.图片文件名只能包括字母、数字和下划线Step02：进入相机标定模式相机标定打开Models/ModelSet目录下的：setting.py，设置棋盘图纵横方向角点数量、摄像头分辨率

Step02：进入相机标定模式相机标定打开相机校准python工程，打开Models目录下的：ModelCamera.py，设置g_workMode=0

Step03：相机标定相机标定运行ModelCamera.py，进行相机校准。如果运行错误，请查看是否安装了库。库名称如有红色波浪线，请通过Terminal窗口，安装相应的库文件，例如：pipinstalltqdmpipinstallpyyamlStep03：相机标定相机标定ModelCamera.py运行效果Pycharm：Run窗口棋盘图查找角点图像Step03：相机标定相机标定Pycharm：Run窗口相机内参、外参、畸变系数校准错误率Step04：相机标定结果分析相机标定原始图像，红色为标准直线Step04：相机标定结果分析相机标定校准后的图像，红色为标准直线Step04：相机标定结果分析相机标定log/log.txt记录了校准过程和产生的结果校准错误率要求<0.2如果校准错误率高，需要重新采集棋盘图像，再次进行校准相机内参矩阵相机外参矩阵畸变参数校准错误率Step04：相机标定结果分析相机标定校准参数文件 config/camera_test.yaml

记录了校准所有参数信息畸变参数外参内参相机透镜工艺相机设计工艺相机外部环境与安装方式Step05：相机图像畸变校正相机标定畸变参数外参内参相机透镜制作工艺相机设计工艺相机外部环境与安装方式世界坐标->相机坐标相机成像->实际图像图像校准Step05：相机图像畸变校正相机标定修改畸变校准函数ModelCamera.py文件：

函数Video_undistort从log.txt中，将相机内参和畸变参数拷贝到相应位置，并修改格式（2维列表）相机标定打开Models目录下的：ModelCamera.py，设置g_workMode=1

可获得校准后的实时图像，按下空格按键，可获取最外围的4个角点像素坐标Step05：相机图像畸变校正按下空格按键可获取最外围的4个角点像素坐标按下q键退出相机标定打开Models目录下的：ModelCamera.py，设置g_workMode=1

可获得校准后的实时图像，按下空格按键，可获取最外围的4个角点像素坐标Step05：相机图像畸变校正任务5-4积木抓取——相机标定使用pycharm打开S2_CameraC