基于图像处理的应用

1、基于图像处理的应用1. 自动调焦理论与方法自动调焦理论与方法 2. 单帧图像清晰质量判定单帧图像清晰质量判定3. 目标跟踪技术目标跟踪技术自动调焦理论与方法自动调焦理论与方法1) 1) 常用自动调焦方法常用自动调焦方法2) 2) 基于图像处理的自动调焦基于图像处理的自动调焦3) 3) 调焦评价函数调焦评价函数4) 4) 调焦搜索策略调焦搜索策略机器视觉系统机器视觉系统n工业相机n光源照明 n控制系统n图像处理n软件编程自动调焦方法自动调焦方法成像公式ddf2光学成像模型自动调焦方法自动调焦方法PSD测距：DP0)()(LIIIILfdBABAPSD测距公式：自动调焦方法自动调焦方法像偏移三角测

2、距ctgbd超声波测距法对比度法相位法测距公式：其它方法：基于图像处理的自动调焦基于图像处理的自动调焦222/221)(rerh镜头系统点扩散函数PSF自动调焦三个核心问题自动调焦三个核心问题要解决三个核心问题1、清晰度评价函数的选择3、镜头移动搜索策略2、调焦窗口的选择 清晰度评价函数清晰度评价函数（1）无偏性：只有物平面与焦平面重合时，评价函数取极值。（2）单峰性：调焦函数曲线形状应呈现单峰（3）抗噪性：在一定噪声的干扰下，评价值反映到离焦信号。（4）快速性：在实时测量系统中，要求快速，计算量要小。（5）稳定性：在反复的判断情况下，反映的离焦信息是一致的。（6）平滑性：评价曲线平滑。清晰度

3、评价函数常用方法清晰度评价函数常用方法梯度评价函数频率评价函数统计学函数熵评价函数测试序列图像测试序列图像 序列序列1 序列序列2 序列序列3 梯度评价函数（1 1）图像梯度和函数图像梯度和函数 2122)1,(),(), 1(),()(yxfyxfyxfyxfnFxy0102030405000.20.40.60.81梯度和函数0102030405000.20.40.60.811.2梯度和函数0102030405000.20.40.60.81梯度和函数梯度评价函数（2 2）图像灰度梯度向量模平方和函数图像灰度梯度向量模平方和函数)1,(),(), 1(),()(22yxfyxfyxfyxfnF

4、xy 0102030405000.20.40.60.811.2梯度平方函数0102030405000.20.40.60.81梯度平方函数0102030405000.20.40.60.81梯度平方和函数 梯度评价函数|) 1,(), 1(| ) 1, 1(),(|)(yxfyxfyxfyxfnFxy(3)Roberts 梯度和函数： 0102030405000.20.40.60.811.2Roberts 梯度和函数0102030405000.20.40.60.81Roberts 梯度和函数0102030405000.20.40.60.81Roberts 梯度和函数梯度评价函数22222),(),

5、(),(yyxfxyxfyxf2), 1(), 1() 1,() 1,(),(4)(yxfyxfyxfyxfyxfnFxy根据情况可以取不同的模板根据情况可以取不同的模板：0-10-14-10-10评价函数：评价函数： 0102030405000.20.40.60.811.2拉普拉斯 函数0102030405000.20.40.60.81拉普拉斯函数0102030405000.20.40.60.81拉普拉斯函数 (4)拉普拉斯函数：拉普拉斯函数： 对图像进行二阶微分运算变化量影响变化量影响kkhgf)()(kkkhgPfPFkkhggf)()()()()(kkkkkhgPhgPhggPfPF)

6、()(1kkkhgPhgPF)()(1kkkkhgPhgPFFkkkFhgPhgP| )(| )(|1目标静止目标有变化限制条件制约的因素制约的因素n在不能改变目标本身移动量条件下，通过提高帧频，缩短前后帧的间隔时间，使前后帧取样图像的尽可能相似。再有通过扩大两帧间的离焦量，使得评价值克服的变化量的影响。n既要采样速度快，又要两帧间有一定的离焦量，这是一个相互制约的因素 图像稳定性判断图像稳定性判断21112121111),(),(),(),(),(yxfyxfyxfyxfffCMxMykkMxMykkkkTyxfyxfTyxfyxfyxCkkkk| ),(),(|0| ),(),(|1),(

7、11NMyxCS),(TCTS 帧间变化率：帧间变化率：设一个阈值T，前后帧灰度差在阈值内的像素为相似点统计：统计： 事先设定阈值事先设定阈值当序列图像的相似度在阈值内，认为图像稳定，可以进行自动调焦。相关性：基于排序梯度和评价函数基于排序梯度和评价函数 把评价的焦点定位在梯度大的边缘上，忽略小梯度的值把评价的焦点定位在梯度大的边缘上，忽略小梯度的值对大于某一阈值的梯度按大小顺序，对大于某一阈值的梯度按大小顺序，取排在前取排在前n位的梯度和做为调焦评价函数，位的梯度和做为调焦评价函数，1、梯度的值、梯度的值2、大梯度的数量、大梯度的数量nyxgnF),()(排序梯度和函数实验结果排序梯度和函数

8、实验结果0102030405000.20.40.60.81大 梯 度 统 计0102030405000.20.40.60.81大 梯 度 统 计0102030405000.20.40.60.81大 梯 度 统 计 评价曲线的平滑性优于前面介绍的评价函数。基于排序梯度和评价函数在没有进行非线性平方运算的前提下，既保持了良好的陡峭尖锐性，也避免放大脉冲噪声带来对评价曲线的影响基于阈值梯度数比较函数基于阈值梯度数比较函数 为进一步减少噪声的影响，提出一种基于阈值梯度数方向帧评价函数的方为进一步减少噪声的影响，提出一种基于阈值梯度数方向帧评价函数的方法。以前后帧大于某一阈值的梯度数量来比较清晰度法。以

9、前后帧大于某一阈值的梯度数量来比较清晰度从梯度数量而不是值的大小的角度来评价。从梯度数量而不是值的大小的角度来评价。基于阈值梯度数函数基于阈值梯度数函数基于阈值梯度数函数基于阈值梯度数函数基于阈值梯度数函数基于阈值梯度数函数基于阈值梯度数函数基于阈值梯度数函数01020304050-50005001000150020002500阈 值 梯 度 数 比 较01020304050050010001500200025003000阈 值 梯 度 数 比 较01020304050050010001500200025003000阈 值 梯 度 数 比 较评价函数有着良好的抗干扰性能抗干扰性能实验抗干扰性能

10、实验 （一）（一）目标尺寸的大小变化，处于准焦位置目标清晰程度接近，期望评价值仅反映相对清晰度。 试验结果与分析(a)梯度平方和函数梯度平方和函数 (b)排序梯度和函数排序梯度和函数 (c)基于阈值梯度数函数基于阈值梯度数函数梯度平方和函数，目标的面积减小，参加计算的梯度数相应减小，使得尽管清晰程梯度平方和函数，目标的面积减小，参加计算的梯度数相应减小，使得尽管清晰程度接近，但评价值却出现了大幅下降，失去了调焦评价的作用。度接近，但评价值却出现了大幅下降，失去了调焦评价的作用。对于排序梯度和函数与阈值梯度数函数来说，表现明显优于梯度平方函数，尽管目对于排序梯度和函数与阈值梯度数函数来说，表现明

11、显优于梯度平方函数，尽管目标变化较大，但评价值基本保持稳定，波动的范围很小。评价值与图像的清晰程度标变化较大，但评价值基本保持稳定，波动的范围很小。评价值与图像的清晰程度保持了很好的对应关系，受目标大小变化的影响有限。保持了很好的对应关系，受目标大小变化的影响有限。抗干扰性能实验抗干扰性能实验 （二）（二）一组目标大小变化，同时清晰程度也变化的图像，一组目标大小变化，同时清晰程度也变化的图像，序列开始和结尾属于目标大，但是离焦量也大，模糊程度高，序列开始和结尾属于目标大，但是离焦量也大，模糊程度高，在序列中间，目标变小，离焦量也变小，清晰度相对高。在序列中间，目标变小，离焦量也变小，清晰度相对

12、高。清晰度与目标大小均变化序列清晰度与目标大小均变化序列试验结果与分析梯度平方和函数受到了明显的干扰，在序列的中间段找不到最清晰的位置，梯度平方和函数受到了明显的干扰，在序列的中间段找不到最清晰的位置，这是由于目标大小变化，导致前后帧的梯度数量波动引起的。这是由于目标大小变化，导致前后帧的梯度数量波动引起的。对于排序梯度和函数与阈值梯度数函数表现相当稳定，对于排序梯度和函数与阈值梯度数函数表现相当稳定，有良好的可靠性，准确性、平滑性，在目标有变化情况下，有良好的可靠性，准确性、平滑性，在目标有变化情况下，也仍然符合调焦评价函数的要求。也仍然符合调焦评价函数的要求。调焦搜索策略调焦搜索策略 调焦

13、系统的搜索策略就是准确快速的找到评价函数的峰值位置，搜索的方向就是相前或向后，属于求解一维函数极大值的问题 爬山法（MCS）斐波那契(Fibonacci)法曲线拟合爬山法爬山法判断前一步图像和当前图像清晰度评价函数值的大小，决定下一步的方向调焦搜索策略调焦搜索策略搜索的步数要少，速度优先于精度 搜索不能大范围往复移动步距的选择要体现两幅图像评价值的区分度，也要克服目标变化量带给评价曲线的影响改进搜索策略改进搜索策略(1) 方向搜索第一类： )()()(2)()()(2203102xfxfxfxfxfxf)()()(2)()()(2203102xfxfxfxfxfxf)()()(2)()()(2

14、203102xfxfxfxfxfxf)()()(2)()()(2203102xfxfxfxfxfxf第二类： 第三类： 第四类： 改进搜索策略改进搜索策略（2）位置搜索用当前的评价值与前面两步评价值的均值比较，防止评价曲线上某个点出现异常波动引起判断失误由于动目标的特点和齿轮间隙的影响。测量电视的调焦难以达到很精确的准焦位置。在准焦位置附近反复搜索的方式不能保证找到准焦点，反而会对成像质量带来影响，比如抖动问题单帧图像清晰质量判定单帧图像清晰质量判定 1 1、图像质量判断必要性图像质量判断必要性2 2、图像质量评价方法图像质量评价方法3 3、图像边缘类型图像边缘类型4 4、单帧图像清晰度判定单

15、帧图像清晰度判定5 5、实验结果实验结果图像质量判断必要性图像质量判断必要性连续自动调焦流程：动态调焦就是在测量电视或动目标观测的整个过程中，间隔一段时间或一定帧数后，触发自动调焦如果调焦初始时，当前帧图像本身是清晰的。那么在调焦初始，盲动扫描中，镜头会离开准焦面，这样反而造成图像变模糊。对目标跟踪的稳定性和测量精度造成不良影响图像的客观质量评价方法图像的客观质量评价方法 图像的客观质量评价方法图像的客观质量评价方法均方误差( MSE)和峰值信噪比(PSNR)NMyxfyxfMSEMxNy11),(),(MSEyxfPSNR2),(max(lg10图像的主观质量评价方法图像的主观质量评价方法主

16、观质量评价尺度级别级别绝对测量尺度绝对测量尺度相对测量尺度相对测量尺度1很好很好一群中最好的一群中最好的2较好较好好于该群中平均水平好于该群中平均水平3一般一般该群平均水平该群平均水平4较差较差差于该群中平均水平差于该群中平均水平5很差很差该群中最差的该群中最差的无法应用数学模型对其进行描述，从工程应用的角度看，难以应用到实际系统。因此，图像的主观质量评价方法受到了严重限制。调焦系统图像判断特殊性调焦系统图像判断特殊性调焦系统图像判断特殊性调焦系统图像判断特殊性上述图像清晰质量的评价判断适用于多帧图像的比较，或处理后的图像与原始图像的比较，不能根据单帧图像的信息判断图像的清晰质量。连续自动调焦

17、系统的工作过程，要求在调焦前，先判断当前图像的清晰度，如果在可接受范围，就不再调焦。需要采用一种数学手段来建立人的主观判断和图像清晰度的对应关系 数字图像边缘模型数字图像边缘模型 对数字图像来说，边缘过渡区剖面是一个斜坡，过渡区的宽度取决于从初始灰度变化到最终灰度的斜坡的长度。这个长度又取决于斜度，而斜度是由图像的模糊程度约定的。(a) 理想数字边缘模型理想数字边缘模型 (b) 斜坡数字边缘模型斜坡数字边缘模型边缘的法向梯度值变化趋势边缘的法向梯度值变化趋势 不同模糊度图像不同模糊度图像法向梯度值变化图法向梯度值变化图单帧图像清晰度判定单帧图像清晰度判定边缘方向和位置区域内有无边缘判断区域内有

18、无边缘判断单帧图像清晰度判定单帧图像清晰度判定单帧图像清晰度判定单帧图像清晰度判定试验结果试验结果优点：根据边缘法向梯度的分布特征来判断目标成像的清晰程度，原有的算法是比较两幅以上的图像，只能得到图像的相对清晰质量，只需要对当前一帧图像判断就能得到与主观清晰程度对应的参量。缺点：该算法对背景简单的扩展目标，具有良好边缘的目标有较高的判断成功率。对于小目标，复杂背景图像，以及边缘比较杂乱的图像判断效果不好。调焦窗口规划技术调焦窗口规划技术 1 1、选择调焦窗口的原因选择调焦窗口的原因2 2、静态目标调焦窗口规划技术、静态目标调焦窗口规划技术3 3、动态目标调焦窗口规划技术、动态目标调焦窗口规划技

19、术4 4、试验结果、试验结果选择调焦窗口的原因选择调焦窗口的原因1、处理速度的要求2、调焦准确性的要求处理图像的幅度评价函数的复杂程度执行机构响应处理速度静态目标调焦窗口规划技术静态目标调焦窗口规划技术中央选窗口法多区域选窗口法基于黄金分割点的窗口调焦窗口规划调焦窗口规划 皮肤探测算法BGRCCYrb081. 05 . 0114. 0419. 0331. 0587. 05 . 0169. 0299. 0皮肤探测算法可以主动寻找人物所在的位置，优于固定区域的窗口选择方案，但是皮肤探测算法只能应用在有明显皮肤特征的图像，而且，与皮肤颜色接近的物体也很多，可靠性不是很高非均匀采样窗口调焦窗口规划调焦

20、窗口规划帧差阈值算法帧差阈值算法|),(),(|1yxfyxffkkffyxg01),(帧差阈值算法适用与目标有位置移动，两帧间或一定间隔时间内有体现帧差的位置移动量。帧差阈值算法适用与目标有位置移动，两帧间或一定间隔时间内有体现帧差的位置移动量。同时背景要处于静止状态，否则背景的差别也被检测出来，影响对焦的准确性同时背景要处于静止状态，否则背景的差别也被检测出来，影响对焦的准确性。质心跟踪窗口规划动态阈值质心跟踪目标在画面上的位置不确定，采用固定区域或非均匀采样窗口的方式是不合适的，同时由于摄像机随目标移动，背景有变化，使得帧差方式也不能满足要求。需要让调焦窗口在画面上跟着目标移动目 标窗口

21、 背景小窗计算目标区域与背景区域的平均灰度，由此判断目标的亮暗信息。xywyxfWL),(100 xybibbbiyxfWL),(1质心跟踪窗口规划质心跟踪窗口规划可以把目标的主体部分分割出来。由于对快速目标的跟踪，只要能够找到目标主体或特征部位，就可以确定目标的位置，以在目标位置为中心取一个大小固定的窗口，作为调焦窗口。质心跟踪窗口规划基于目标质心跟踪的对焦窗口具有计算简单，运算速度快的优点，可以应用在实时处理的自动聚焦场合。在背景简单（天空），目标大小合适的画面，具有良好的跟踪性能，目标的质心可以作为调焦窗口的中心位置。当背景中出现云层、成像质量差、受光照影响引起目标变光、图像对比度低等情况，质心跟踪方式难以准确提取出目标特征，引起跟踪失败。基于相关跟踪的调焦窗口规划基于相关跟踪的调焦窗口规划 二维最小绝对差累加和算法MAD：基于