机器视觉三维测量技术教案课件

会计学1机器视觉三维测量技术会计学1机器视觉三维测量技术大纲机器视觉的概念摄像机模型三维视觉传感器的类型多视觉传感器测量系统的组成摄像机与视觉传感器的标定测量系统的全局标定应用举例第1页/共63页大纲机器视觉的概念第1页/共63页机器视觉技术的概念测量检测识别

引导光源传感器光学镜组传感单元信号处理单元控制单元

采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。第2页/共63页机器视觉技术的概念测量检测识别引导光源传感器光学镜组传感单应用领域举例

IC及一般电子业：PCB、BGA、LCD屏幕、被动组件形状脚位及定位、生产插件、晶元(Wafer)镜面研磨、生产组装、被动组件辨识

MEMS组件：微小器件的尺寸、形貌、表面缺陷的检测，组件动态特性的测量等。

机械工具/自动化机械：零件尺寸、外形、瑕疵检测、零件分类比对、装配定位、加工定位、熔焊检测

电机工业：控制器红外线热像仪检测、电线瑕疵、裂缝检测、缆线配置检测

金属钢铁业：钢板尺寸检测、表面瑕疵检测、铸件瑕疵检测、材料金像检测

橡胶/塑料制品：保特瓶口尺寸检测、制品颜色分类检测

食品加工/包装业：瓶内液位高度、异物或灰尘检测、包装印刷辨识、打印字形及零件编号检测与识别

纺织皮革工业：表面针织纹路检测、色差检测、皮革表面特性检测

汽车工业：陶轴裁切定位、零件涂黄油检测、白车身检验

家电/办公：产品外壳印刷检测、1维/2维条形码辨识

保全/监视系统：人像特征辨识、指纹辨识等第3页/共63页应用领域举例第3页/共63页机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表面表面轮廓粗糙度缺陷纹理内部结构应力变形缺陷被测场景方位三维形貌尺寸坐标第4页/共63页机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表二、摄像机的建模影射几何与坐标变换摄像机建模镜头畸变摄像机内部参数的修正摄像机的精确模型摄像机的简化模型第5页/共63页二、摄像机的建模影射几何与坐标变换第5页/共63页欧式几何与影射几何的概念不变量:Distanceandangle不变量:Crossratio第6页/共63页欧式几何与影射几何的概念不变量:Distanceand齐次矩阵第7页/共63页齐次矩阵第7页/共63页坐标变换第8页/共63页坐标变换第8页/共63页眼睛的光学模型像平面物体透镜Imageplaneobjectlens第9页/共63页眼睛的光学模型像平面物体透镜Imageplaneobjec摄像机的光学投影变换ImageplaneobjectlensImageplaneFocusplane第10页/共63页摄像机的光学投影变换Imageplaneobjectlen摄像机的光学投影变换（续）ImageplaneImageplaneFocusplane第11页/共63页摄像机的光学投影变换（续）ImageplaneImage像平面与帧存体的对应关系ImageplaneComputerframe第12页/共63页像平面与帧存体的对应关系ImageplaneCompute帧存体与摄像机坐标的关系ImageplaneComputerframe第13页/共63页帧存体与摄像机坐标的关系ImageplaneCompute2.4摄像机建模ImageplaneComputerframe第14页/共63页2.4摄像机建模ImageplaneComputer摄像机建模（续）未知参数：(1)Intrinsicparameters:(2)ExtrinsicparametersOrientation:Translation:9,independent33第15页/共63页摄像机建模（续）未知参数：(1)Intrinsicpar镜头畸变的概念ImageplaneRadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion第16页/共63页镜头畸变的概念ImageplaneRadialdisto径向畸变第17页/共63页径向畸变第17页/共63页偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x轴的夹角,设在直角坐标系下第18页/共63页偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切向畸变与x轴的夹角,设第19页/共63页薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切镜头总畸变若考虑分项的前两项化简第20页/共63页镜头总畸变若考虑分项的前两项化简第20页/共63页摄像机内部参数的修正Intrinsicparameters第21页/共63页摄像机内部参数的修正Intrinsicparameter摄像机的精确模型计算机屏幕Imageplane第22页/共63页摄像机的精确模型计算机屏幕Imageplane第22页/共摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸变的的第一项就可以达到满意的效果Imageplane第23页/共63页摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸6摄像机的简化模型像平面计算机屏幕第24页/共63页6摄像机的简化模型像平面计算机屏幕第24页/共63页三、视觉传感器的类型主动与被动单目与双目点、线、面结构光编码结构光第25页/共63页三、视觉传感器的类型主动与被动第25页/共63页三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜头第26页/共63页三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xsyszsosPointωφκOXYOzxyLaserImageplaneOriginSensorcoordinatesystem(SCS)GlobalCoordinatesystem(GCS)Cameracoordinatesystem(CCS)第27页/共63页视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xs单一摄像机二维传感器ImageplaneMeasuredplane(CCS)SCS第28页/共63页单一摄像机二维传感器ImageplaneMeasured点结构光视觉传感器CCSSCSLaser第29页/共63页点结构光视觉传感器CCSSCSLaser第29页/共63页线结构光视觉传感器LaserLightplaneImageplaneCCSSCS第30页/共63页线结构光视觉传感器LaserLightplaneImag条纹结构光视觉传感器Thek-thlightstripeplaneImageplaneProjectorpattern第31页/共63页条纹结构光视觉传感器Thek-thlightstripImageplaneCCSSCS00110010011001Projector条纹编码三维视觉传感器第32页/共63页ImageplaneCCSSCS0011001001100彩色编码视觉传感器projectorcameraCCSSCSobject第33页/共63页彩色编码视觉传感器projectorcameraCCSSCS被动双目视觉传感器lampcamera2CCS2(CCS1)SCSobjectcamera1第34页/共63页被动双目视觉传感器lampcamera2CCS2(CCS编码照明双目视觉传感器projectorcamera2CCS2(CCS1)SCSobjectcamera1第35页/共63页编码照明双目视觉传感器projectorcamera2C多视觉传感器测量系统的组成第36页/共63页多视觉传感器测量系统的组成第36页/共63页CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开关CAN接口卡CAN网络控制总线传感器控制单元传感器视频信号数据总线第37页/共63页CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开1394总线并行图像处理系统传感器控制单元传感器计算机接口卡数据与控制总线

第38页/共63页1394总线并行图像处理系统传感器控制单元传感器计算机接口卡基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动驱动机构可编程光源可编程光源多PC并行处理器HUB生产与管理系统主机办公电脑远端大型资料库视觉系统主控计算机PC三轴控制器摄像机第39页/共63页基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动常用总线的比较RS232小于15m传输速率25kb/sRS485最大传输速度10Mb/sCAN小于40m传输速率1Mb/sUSB最高速率480Mb/s，可挂接127个外设CameraLink最高4.8Gbps，最远可传输10米。Gigabitethernet带宽可达到1000Mbps，最远可传输100米。

Firewire，最远可传输100米，带宽3.2G第40页/共63页常用总线的比较RS232小于15m传输速率25kb/s双总线架构总线接口PC多路视频切换器视觉传感器1视觉传感器N视觉传感器2控制总线…………视频图像图像采集处理平台数据总线第41页/共63页双总线架构总线接口PC多路视频切换器视觉视觉视觉控制总线……单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视觉传感器N

传感器控制、图像采集与并行处理模块

传感器控制、图像采集与并行处理模块

传感器控制、图像采集与并行处理模块第42页/共63页单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视摄像机内部参数的标定第43页/共63页摄像机内部参数的标定第43页/共63页1摄像机摄标定靶标第44页/共63页1摄像机摄标定靶标第44页/共63页标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的偏移第45页/共63页标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的2直接线性变换法(DLT)1用一个齐次矩阵建立场景与控制点的对应关系2从上式中解出DLT矩阵参数第46页/共63页2直接线性变换法(DLT)1用一个齐次矩阵建立场景直接线性变换法(DLT)在最小二乘意义下可求出参数，为了避免解很小的，必须使用合适的正则化方法，一种方法是令然后用伪逆法求解，但当，这种正则化可能产生奇异性，为了克服这个缺点，可以令3矩阵参数分解：RQ方法矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的旋转矢量与平移矢量（b1b2)为仿射失真系数第47页/共63页直接线性变换法(DLT)在最小二乘意义下可求出参数3RAC两步法径向准直约束：1）径向畸变不影响矢量的方向2）有效焦距不影响矢量的方向3）光轴沿Z轴平移不影响矢量的方向该方法第一步采用最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数第48页/共63页3RAC两步法径向准直约束：该方法第一步采用最小二

计算：（1）（2）（3）令把（2）代入（1）第49页/共63页计算：（1）（2）（3）令把（2传感器坐标系与摄像机外部参数的标定LaserLightplaneImageplaneCCSSCS第50页/共63页传感器坐标系与摄像机外部参数的标定LaserLightp

测量系统的全局标定第51页/共63页测量系统的全局标定第51页/共63页Target1标定的基本原理TCSTheodolitesGCSMeasuredobjectSCSVisualsensor第52页/共63页Target1标定的基本原理TCSTheodolitTarget标定的基本原理TCSLaserTrackerGCSMeasuredobjectSCSVisualsensor第53页/共63页Target标定的基本原理TCSLaserTrackerG经纬仪的标定abRulerTCSABSensor2Sensor1Sensor4Sensor3Sensor6Sensor5SCS(WCS)targetlightplaneGCS第54页/共63页经纬仪的标定abRulerTCSABSensor2Sens直接变换标定法

SCSGCSPtheodolitestargetSCSCSCLaserCamera第55页/共63页直接变换标定法SCSGCSPtheodolitestarg间接变换标定法SCSCCSLaserCameraCCS=>SCSGCSTheodolitesTargetWCSCamera第56页/共63页间接变换标定法SCSCCSLaserCameraCCS=>应用举例第57页/共63页应用举例第57页/共63页钢管直线度视觉在线检测技术MoveleftorrightPositioningswitchGuidanceOptoelectronicdetectorFluiddriverFivelaservisualsensors第58页/共63页钢管直线度视觉在线检测技术Moveleftorrigh机器视觉汽车轮胎安装定位技术

ThrustAngleGeometricCenterLineFrontToe(+)RearToe(-)FrontWheelsRearWheelsThrustLineHLRSteeringWheelSteeringWheelAngleCamberAngle(+)VerticalGravityLineSteeringWheelSpoke第59页/共63页机器视觉汽车轮胎安装定位技术ThrustAngleGeo自由曲面三维测量SCS闪光投影仪数码相机CCS物体第60页/共63页自由曲面三维测量SCS闪光投影仪数码相机CCS物体第60页/三维面形重建第61页/共63页三维面形重建第61页/共63页谢谢请各位专家指正第62页/共63页谢谢请各位专家指正第62页/共63页感谢您的观看。第63页/共63页感谢您的观看。第63页/共63页会计学65机器视觉三维测量技术会计学1机器视觉三维测量技术大纲机器视觉的概念摄像机模型三维视觉传感器的类型多视觉传感器测量系统的组成摄像机与视觉传感器的标定测量系统的全局标定应用举例第1页/共63页大纲机器视觉的概念第1页/共63页机器视觉技术的概念测量检测识别

引导光源传感器光学镜组传感单元信号处理单元控制单元

采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。第2页/共63页机器视觉技术的概念测量检测识别引导光源传感器光学镜组传感单应用领域举例

IC及一般电子业：PCB、BGA、LCD屏幕、被动组件形状脚位及定位、生产插件、晶元(Wafer)镜面研磨、生产组装、被动组件辨识

MEMS组件：微小器件的尺寸、形貌、表面缺陷的检测，组件动态特性的测量等。

机械工具/自动化机械：零件尺寸、外形、瑕疵检测、零件分类比对、装配定位、加工定位、熔焊检测

电机工业：控制器红外线热像仪检测、电线瑕疵、裂缝检测、缆线配置检测

金属钢铁业：钢板尺寸检测、表面瑕疵检测、铸件瑕疵检测、材料金像检测

橡胶/塑料制品：保特瓶口尺寸检测、制品颜色分类检测

食品加工/包装业：瓶内液位高度、异物或灰尘检测、包装印刷辨识、打印字形及零件编号检测与识别

纺织皮革工业：表面针织纹路检测、色差检测、皮革表面特性检测

汽车工业：陶轴裁切定位、零件涂黄油检测、白车身检验

家电/办公：产品外壳印刷检测、1维/2维条形码辨识

保全/监视系统：人像特征辨识、指纹辨识等第3页/共63页应用领域举例第3页/共63页机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表面表面轮廓粗糙度缺陷纹理内部结构应力变形缺陷被测场景方位三维形貌尺寸坐标第4页/共63页机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表二、摄像机的建模影射几何与坐标变换摄像机建模镜头畸变摄像机内部参数的修正摄像机的精确模型摄像机的简化模型第5页/共63页二、摄像机的建模影射几何与坐标变换第5页/共63页欧式几何与影射几何的概念不变量:Distanceandangle不变量:Crossratio第6页/共63页欧式几何与影射几何的概念不变量:Distanceand齐次矩阵第7页/共63页齐次矩阵第7页/共63页坐标变换第8页/共63页坐标变换第8页/共63页眼睛的光学模型像平面物体透镜Imageplaneobjectlens第9页/共63页眼睛的光学模型像平面物体透镜Imageplaneobjec摄像机的光学投影变换ImageplaneobjectlensImageplaneFocusplane第10页/共63页摄像机的光学投影变换Imageplaneobjectlen摄像机的光学投影变换（续）ImageplaneImageplaneFocusplane第11页/共63页摄像机的光学投影变换（续）ImageplaneImage像平面与帧存体的对应关系ImageplaneComputerframe第12页/共63页像平面与帧存体的对应关系ImageplaneCompute帧存体与摄像机坐标的关系ImageplaneComputerframe第13页/共63页帧存体与摄像机坐标的关系ImageplaneCompute2.4摄像机建模ImageplaneComputerframe第14页/共63页2.4摄像机建模ImageplaneComputer摄像机建模（续）未知参数：(1)Intrinsicparameters:(2)ExtrinsicparametersOrientation:Translation:9,independent33第15页/共63页摄像机建模（续）未知参数：(1)Intrinsicpar镜头畸变的概念ImageplaneRadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion第16页/共63页镜头畸变的概念ImageplaneRadialdisto径向畸变第17页/共63页径向畸变第17页/共63页偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x轴的夹角,设在直角坐标系下第18页/共63页偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切向畸变与x轴的夹角,设第19页/共63页薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切镜头总畸变若考虑分项的前两项化简第20页/共63页镜头总畸变若考虑分项的前两项化简第20页/共63页摄像机内部参数的修正Intrinsicparameters第21页/共63页摄像机内部参数的修正Intrinsicparameter摄像机的精确模型计算机屏幕Imageplane第22页/共63页摄像机的精确模型计算机屏幕Imageplane第22页/共摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸变的的第一项就可以达到满意的效果Imageplane第23页/共63页摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸6摄像机的简化模型像平面计算机屏幕第24页/共63页6摄像机的简化模型像平面计算机屏幕第24页/共63页三、视觉传感器的类型主动与被动单目与双目点、线、面结构光编码结构光第25页/共63页三、视觉传感器的类型主动与被动第25页/共63页三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜头第26页/共63页三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xsyszsosPointωφκOXYOzxyLaserImageplaneOriginSensorcoordinatesystem(SCS)GlobalCoordinatesystem(GCS)Cameracoordinatesystem(CCS)第27页/共63页视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xs单一摄像机二维传感器ImageplaneMeasuredplane(CCS)SCS第28页/共63页单一摄像机二维传感器ImageplaneMeasured点结构光视觉传感器CCSSCSLaser第29页/共63页点结构光视觉传感器CCSSCSLaser第29页/共63页线结构光视觉传感器LaserLightplaneImageplaneCCSSCS第30页/共63页线结构光视觉传感器LaserLightplaneImag条纹结构光视觉传感器Thek-thlightstripeplaneImageplaneProjectorpattern第31页/共63页条纹结构光视觉传感器Thek-thlightstripImageplaneCCSSCS00110010011001Projector条纹编码三维视觉传感器第32页/共63页ImageplaneCCSSCS0011001001100彩色编码视觉传感器projectorcameraCCSSCSobject第33页/共63页彩色编码视觉传感器projectorcameraCCSSCS被动双目视觉传感器lampcamera2CCS2(CCS1)SCSobjectcamera1第34页/共63页被动双目视觉传感器lampcamera2CCS2(CCS编码照明双目视觉传感器projectorcamera2CCS2(CCS1)SCSobjectcamera1第35页/共63页编码照明双目视觉传感器projectorcamera2C多视觉传感器测量系统的组成第36页/共63页多视觉传感器测量系统的组成第36页/共63页CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开关CAN接口卡CAN网络控制总线传感器控制单元传感器视频信号数据总线第37页/共63页CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开1394总线并行图像处理系统传感器控制单元传感器计算机接口卡数据与控制总线

第38页/共63页1394总线并行图像处理系统传感器控制单元传感器计算机接口卡基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动驱动机构可编程光源可编程光源多PC并行处理器HUB生产与管理系统主机办公电脑远端大型资料库视觉系统主控计算机PC三轴控制器摄像机第39页/共63页基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动常用总线的比较RS232小于15m传输速率25kb/sRS485最大传输速度10Mb/sCAN小于40m传输速率1Mb/sUSB最高速率480Mb/s，可挂接127个外设CameraLink最高4.8Gbps，最远可传输10米。Gigabitethernet带宽可达到1000Mbps，最远可传输100米。

Firewire，最远可传输100米，带宽3.2G第40页/共63页常用总线的比较RS232小于15m传输速率25kb/s双总线架构总线接口PC多路视频切换器视觉传感器1视觉传感器N视觉传感器2控制总线…………视频图像图像采集处理平台数据总线第41页/共63页双总线架构总线接口PC多路视频切换器视觉视觉视觉控制总线……单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视觉传感器N

传感器控制、图像采集与并行处理模块

传感器控制、图像采集与并行处理模块

传感器控制、图像采集与并行处理模块第42页/共63页单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视摄像机内部参数的标定第43页/共63页摄像机内部参数的标定第43页/共63页1摄像机摄标定靶标第44页/共63页1摄像机摄标定靶标第44页/共63页标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的偏移第45页/共63页标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的2直接线性变换法(DLT)1用一个齐次矩阵建立场景与控制点的对应关系2从上式中解出DLT矩阵参数第46页/共63页2直接线性变换法(DLT)1用一个齐次矩阵建立场景直接线性变换法(DLT)在最小二乘意义下可求出参数，为了避免解很小的，必须使用合适的正则化方法，一种方法是令然后用伪逆法求解，但当，这种正则化可能产生奇异性，为了克服这个缺点，可以令3矩阵参数分解：RQ方法矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的旋转矢量与平移矢量（b1b2)为仿射失真系数第47页/共63页直接线性变换法(DLT)在最小二乘意义下可求出参数3RAC两步法径向准直约束：1）径向畸变不影响矢量的方向2）有效焦距不影响矢量的方向3）光轴沿Z轴平移不影响矢量的方向该方法第一步采用最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数第48页/共63页3RAC两步法径向准直约束：该方法第一步采用最小二

计算：（1）（2）（3）令把（2）代入（1）第49页/共63页