机器视觉三维测量技术-课件

卢荣胜Tel:,2905872Email:机器视觉三维测量技术3DMachineVisionMeasurementTechniques卢荣胜Tel:,29058721大纲机器视觉的概念摄像机模型三维视觉传感器的类型多视觉传感器测量系统的组成摄像机与视觉传感器的标定测量系统的全局标定应用举例大纲机器视觉的概念2机器视觉技术的概念测量检测识别

引导光源传感器光学镜组传感单元信号处理单元控制单元采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。机器视觉技术的概念测量检测识别引导光源传感器光学镜组传感单3应用领域举例

IC及一般电子业：PCB、BGA、LCD屏幕、被动组件形状脚位及定位、生产插件、晶元(Wafer)镜面研磨、生产组装、被动组件辨识

MEMS组件：微小器件的尺寸、形貌、表面缺陷的检测，组件动态特性的测量等。

机械工具/自动化机械：零件尺寸、外形、瑕疵检测、零件分类比对、装配定位、加工定位、熔焊检测

电机工业：控制器红外线热像仪检测、电线瑕疵、裂缝检测、缆线配置检测

金属钢铁业：钢板尺寸检测、表面瑕疵检测、铸件瑕疵检测、材料金像检测

橡胶/塑料制品：保特瓶口尺寸检测、制品颜色分类检测

食品加工/包装业：瓶内液位高度、异物或灰尘检测、包装印刷辨识、打印字形及零件编号检测与识别

纺织皮革工业：表面针织纹路检测、色差检测、皮革表面特性检测

汽车工业：陶轴裁切定位、零件涂黄油检测、白车身检验

家电/办公：产品外壳印刷检测、1维/2维条形码辨识

保全/监视系统：人像特征辨识、指纹辨识等应用领域举例4机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表面表面轮廓粗糙度缺陷纹理内部结构应力变形缺陷被测场景方位三维形貌尺寸坐标机器视觉在精密测量中的应用照明光源图像传感器成像内部三维表5二、摄像机的建模影射几何与坐标变换摄像机建模镜头畸变摄像机内部参数的修正摄像机的精确模型摄像机的简化模型二、摄像机的建模影射几何与坐标变换6欧式几何与影射几何的概念不变量:Distanceandangle不变量:Crossratio欧式几何与影射几何的概念不变量:Distanceand7齐次矩阵齐次矩阵8坐标变换坐标变换9眼睛的光学模型像平面物体透镜Imageplaneobjectlens眼睛的光学模型像平面物体透镜Imageplaneobjec10摄像机的光学投影变换ImageplaneobjectlensImageplaneFocusplane摄像机的光学投影变换Imageplaneobjectlen11摄像机的光学投影变换（续）ImageplaneImageplaneFocusplane摄像机的光学投影变换（续）ImageplaneImage12像平面与帧存体的对应关系ImageplaneComputerframe像平面与帧存体的对应关系ImageplaneCompute13帧存体与摄像机坐标的关系ImageplaneComputerframe帧存体与摄像机坐标的关系ImageplaneCompute142.4摄像机建模ImageplaneComputerframe2.4摄像机建模ImageplaneComputer15摄像机建模（续）未知参数：(1)Intrinsicparameters:(2)ExtrinsicparametersOrientation:Translation:9,independent33摄像机建模（续）未知参数：(1)Intrinsicpar16镜头畸变的概念ImageplaneRadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion镜头畸变的概念ImageplaneRadialdisto17径向畸变径向畸变18偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x轴的夹角,设在直角坐标系下偏心畸变偏心畸变既含有径向畸变又有切向畸变最大切向畸变与x19薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切向畸变与x轴的夹角,设薄棱镜畸变薄棱镜畸变是由镜头与摄像机面有小的倾角造成的最大切20镜头总畸变若考虑分项的前两项化简镜头总畸变若考虑分项的前两项化简21摄像机内部参数的修正Intrinsicparameters摄像机内部参数的修正Intrinsicparameter22摄像机的精确模型计算机屏幕Imageplane摄像机的精确模型计算机屏幕Imageplane23摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸变的的第一项就可以达到满意的效果Imageplane摄像机的精确模型（续）计算机屏幕一般情况下，取径向与切向畸246摄像机的简化模型像平面计算机屏幕6摄像机的简化模型像平面计算机屏幕25三、视觉传感器的类型主动与被动单目与双目点、线、面结构光编码结构光三、视觉传感器的类型主动与被动26三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜头三角法测量原理激光器镜头CCD镜头CCD激光器镜头镜27视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xsyszsosPointωφκOXYOzxyLaserImageplaneOriginSensorcoordinatesystem(SCS)GlobalCoordinatesystem(GCS)Cameracoordinatesystem(CCS)视觉传感器的坐标系统zwxwywTyTxTzxw0yw0xs28单一摄像机二维传感器ImageplaneMeasuredplane(CCS)SCS单一摄像机二维传感器ImageplaneMeasured29点结构光视觉传感器CCSSCSLaser点结构光视觉传感器CCSSCSLaser30线结构光视觉传感器LaserLightplaneImageplaneCCSSCS线结构光视觉传感器LaserLightplaneImag31条纹结构光视觉传感器Thek-thlightstripeplaneImageplaneProjectorpattern条纹结构光视觉传感器Thek-thlightstrip32ImageplaneCCSSCS00110010011001Projector条纹编码三维视觉传感器ImageplaneCCSSCS001100100110033彩色编码视觉传感器projectorcameraCCSSCSobject彩色编码视觉传感器projectorcameraCCSSCS34被动双目视觉传感器lampcamera2CCS2(CCS1)SCSobjectcamera1被动双目视觉传感器lampcamera2CCS2(CCS35编码照明双目视觉传感器projectorcamera2CCS2(CCS1)SCSobjectcamera1编码照明双目视觉传感器projectorcamera2C36多视觉传感器测量系统的组成多视觉传感器测量系统的组成37CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开关CAN接口卡CAN网络控制总线传感器控制单元传感器视频信号数据总线CAN总线网络控制视觉测量系统图像采集卡计算机多路视频切换开381394总线并行图像处理系统传感器控制单元传感器计算机接口卡数据与控制总线

1394总线并行图像处理系统传感器控制单元传感器计算机接口卡39基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动驱动机构可编程光源可编程光源多PC并行处理器HUB生产与管理系统主机办公电脑远端大型资料库视觉系统主控计算机PC三轴控制器摄像机基于工控PC机的多计算机分布式并行图像处理架构PC控制器运动40常用总线的比较RS232小于15m传输速率25kb/sRS485最大传输速度10Mb/sCAN小于40m传输速率1Mb/sUSB最高速率480Mb/s，可挂接127个外设CameraLink最高4.8Gbps，最远可传输10米。Gigabitethernet带宽可达到1000Mbps，最远可传输100米。Firewire，最远可传输100米，带宽3.2G常用总线的比较RS232小于15m传输速率25kb/s41双总线架构总线接口PC多路视频切换器视觉传感器1视觉传感器N视觉传感器2控制总线…………视频图像图像采集处理平台数据总线双总线架构总线接口PC多路视频切换器视觉视觉视觉控制总线……42单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视觉传感器N传感器控制、图像采集与并行处理模块传感器控制、图像采集与并行处理模块传感器控制、图像采集与并行处理模块单总线架构计算机总线接口视觉传感器1总线 视觉传感器2视43摄像机内部参数的标定摄像机内部参数的标定441摄像机摄标定靶标1摄像机摄标定靶标45标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的偏移标定靶标的控制点类型标定靶标的控制点类型几何中心与投影中心的462直接线性变换法(DLT)1用一个齐次矩阵建立场景与控制点的对应关系2从上式中解出DLT矩阵参数2直接线性变换法(DLT)1用一个齐次矩阵建立场景47直接线性变换法(DLT)在最小二乘意义下可求出参数，为了避免解很小的，必须使用合适的正则化方法，一种方法是令然后用伪逆法求解，但当，这种正则化可能产生奇异性，为了克服这个缺点，可以令3矩阵参数分解：RQ方法矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的旋转矢量与平移矢量（b1b2)为仿射失真系数直接线性变换法(DLT)在最小二乘意义下可求出参数483RAC两步法径向准直约束：1）径向畸变不影响矢量的方向2）有效焦距不影响矢量的方向3）光轴沿Z轴平移不影响矢量的方向该方法第一步采用最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数3RAC两步法径向准直约束：该方法第一步采用最小二49计算：（1）（2）（3）令把（2）代入（1）计算：（1）（2）（3）令把（250传感器坐标系与摄像机外部参数的标定LaserLightplaneImageplaneCCSSCS传感器坐标系与摄像机外部参数的标定LaserLightp51测量系统的全局标定测量系统的全局标定52Target1标定的基本原理TCSTheodolitesGCSMeasuredobjectSCSVisualsensorTarget1标定的基本原理TCSTheodolit53Target标定的基本原理TCSLaserTrackerGCSMeasuredobjectSCSVisualsensorTarget标定的基本原理TCSLaserTrackerG54经纬仪的标定abRulerTCSABSensor2Sensor1Sensor4Sensor3Sensor6Sensor5SCS(WCS)targetlightplaneGCS经纬仪的标定abRulerTCSABSensor2Sens55直接变换标定法

SCSGCSPtheodolitestargetSCSCSCLaserCamera直接变换标定法SCSG