红外图像处理技术课件

1、第10章 红外图像处理技术 10.2 红外图像的非均匀性校正10.3 盲元检测与补偿10.4 红外图像的增强10.5 红外图像的降噪主 要 内 容10.1 红外图像特点教学要求1.了解红外图像的特点；2.理解红外图像的非均匀性产生的机理和校正方法；3.理解红外图像的盲元检测与补偿方法；4.掌握红外图像增强和降噪的理论和方法，理解实验分析结果。10.1 红外图像特点 对人眼而言，分辨率低1 红外图像空间相关性强、对比度低、视觉效果模糊2 红外图像的清晰度低于可见光图像3红外图像多种多样的噪热噪声、散粒噪声、 噪声、光子电子涨落噪声410.2 红外图像的非均匀性校正器件自身的非均匀性器件工作状态引

2、入的均匀性光学系统的影响外界输入的相关非均匀性124310.2.1 红外图像的非均匀性产生机理器件自身的非均匀性器件工作状态引入的均匀性外界输入的相关非均匀性红外综合箔条 导致探测器自身的非均匀性的原因，与材料质量、工艺过程等有关。除此之外，器件转移效率的不一致也有影响。 焦平面器件的温度均匀性影响整个焦平面阵列的响应均匀性。电流噪声主要有加性噪声构成，对探测器件的非均匀性也有较大影响。 红外成像系统中，目标和背景红外辐射强度变化范围、红外热像仪光学系统的背景辐射等外界特征会对焦平面器件的非均匀性产生影响。 光学系统如红外光学镜头的加工精度、摄像头对光轴的偏转角度等因素也会导致红外图像的非均匀

3、性。10.2.2 红外图像非均匀性校正算法基于参照源校正技术基于场景校正技术基于参照源的校正技术要求在特定温度的黑体均匀辐射下，对红外焦平面阵列定标，通常使用两点定标技术或多定点定标技术。基于场景的方法不需要黑体标定，而是根据场景的运动，在每个像素上产生场景温度的变化。这些温度每变化一次提供统计一个参考点，依照这些参考点，探测器的非均匀性影响就可以被校正了。 国外的大量研究工作集中于基于场景的非均匀性校正技术，并提出了多种基于场景的非均匀性校正方法。目前比较实用的还是两点法和扩展两点法。主要算法LMS自适应与两点温度定标非均匀性校正综合方法高通滤波算法两点温度定标算法LMS自适应非均匀性校正方

4、法 (1)两点温度定标算法如图（a）所示从图中可以看出各探测元在相同输入条件下，具有不同的输出特性。输入输出曲线截距的不同反映了探测器的噪声电流的不均匀性，曲线斜率的不同反映了响应率的不均匀性。非均匀性校正就是使相同辐射条件下的探测器的响应曲线重合于一条曲线，为此设定一条标准曲线，将各探测元的响应曲线分别做旋转和平移变换，可得到图（b）和图（c）所示的曲线，最终使探测元的响应曲线完全重合。 两点非均匀性校正算法根据系统的动态范围，使黑体分别工作在两个不同的温度下，分别测出各探测元在不同温度下的响应值，然后归一化，得到各像素校正增益和偏移量分别为 经过两点校正后的输出表示为 两点非均匀性校正过程

5、如下：使焦平面通过光学系统与平面黑体源对准，黑体辐射均匀照射在红外焦平面阵列上，并充满焦平面的整个视场；控制黑体辐射源的温度在 ；测量焦平面每个探测元的响应值，该测量值在一个预先设定的曝光时间内完成，响应值储存在第一存储单元；重复步骤，在大量设定的时间内完成大量的测试数据，重复次数为8次到10次；求每个探测元在 下的响应值求平均；对所有探测元的响应值求平均；设置黑体辐射源的温度在 ，且 小于 ；重复步骤、，计算每一探测元在温度 下的响应平均值及所有探测元的响应平均值；根据式前两式，计算每一探测元的响应增益和偏移量，分别存储在查找表LUT内，以供校正时取用。根据查找表LUT内的增益和偏移量系数，

6、按第三式对红外图像进行校正。该算法是假设探测元的响应为线性的基础得到的，是一种较成熟的NUC算法。该算法的最大优点就是实现简单，易于在实时系统中实现。(2)高通滤波算法 高通滤波算法是环境温度对探测器而言属于慢变化量，图像本身包括目标、背景噪声属于快变化量，因而图像可看作高频部分。而非均匀性是探测器的固有的噪声，分布在低频的部分，因而利用增益补偿和高通滤波算法完成红外焦平面阵列的非均匀校正.假设探测器的响应输出为 ，增益补偿后变为低通滤波输出为 ,则校正后的输出为: (3) LMS自适应非均匀性校正方法 下图为自适应横向滤波器的结构框图 令w（n）为权系数矢量，即输入信号矢量为显然输出信号矢量

7、为 实际中，由于图像的随机性以及噪声的变化，同一探测元在不同时刻，即使在相同的输入下，其邻域均值也是不相同的。但在一段时间内，根据相邻像素间的相关性，LMS算法迭代去噪的效果趋于各个像素灰度值的四邻域平均去噪效果，即LMS非均匀性校正后的剩余非均匀性，近似等于四邻域平均后的非均匀性。当噪声较大时，由于四邻域去噪能力有限，LMS算法的非均匀性校正能力也受到限制。由现在时刻 的权系数矢量 ，输入信号 和期望信号 根据式 计算误差信号； 利用式 和式 计算权系数矢量的更新估值； 利用新估值计算下一时刻的校正输出；时间指数加1，返回步骤，重复上述计算步骤，直到达到稳定状态。 假设 时刻的权系数取任意值

8、 ，利用LMS算法进行非均匀性校正步骤：（4）LMS自适应与两点温度定标非均匀性校正综合方法 LMS自适应和两点温度定标的非均匀性校正综合算法步骤根据 时刻的权系数矢量 ，计算 时刻的输出 ；由现在n时刻的权系数矢量 ，输入信号 ，根据 计算期望信号；据式 计算误差信号；利用式 和式 计算权系数矢量的更新估值；利用新估值计算下一时刻的校正输出；时间指数加1，返回步骤，重复上述计算步骤，直到达到稳定状态。LMS自适应和两点温度定标的非均匀性校正综合算法特点：可以解决两点温度非均匀性校正中因时间漂移而重复性定标的问题，简化系统结构，降低了系统成本；在开始阶段可能会出现图像的抖动现象，并且有模糊不清

9、的现象，但稳定后，图像会变得清晰；解决了LMS算法收敛速度慢的问题，缩短了达到最佳校正效果的周期；LMS算法中增益和偏移量的迭代计算是对当前帧的估计，而与过去时刻的信息无关，因此图像不会出现所谓的“鬼影”问题；LMS自适应算法本身实现简单，和两点温度定标法综合后，并没有增加多少算法的运算量。10.3 盲元检测与补偿10.3.1 盲元检测死像素:响应率的1/10的像素过热像素:响应率大于平均响应率10倍的像素 最直接的盲元测试技术是根据盲元的定义进行测试。盲元的定义是按IRFPA器件对黑体辐射的影响程度作为量化指标，它是基于实验测量结果给出的关系式。盲元：IRFPA中的响应过高或过低的像素。盲元

10、10.3.2 盲元补偿 线性插值补偿算法：像素间的线性插值可采用行间、列间或行列间2点、4点、8点等线性插值，行间或列间线性插值采用同一行的像素或同一列的像素的线性关系进行插值，行列间线性插值采用前后、左右的4像素或8像素等进行插值，行列间的线性插值在理论上效果最好。若 像素为盲元，用行间4点线性插值，则盲元补偿后的输出为 盲元补偿技术：根据相邻像素或前后帧图像的响应相关性对盲元位置的信息进行预测和替代过程。该方法缺陷：是可能在图中出现条纹。相邻前一非盲元像素响应值替代方法 通过实验室检测，在有盲元的地方做标记，作为查找表存放在SRAM中，每次图像处理时可以省去盲元检测的时间。如果为盲元，则用

11、上一像素的灰度值替代，然后输出。如果有大面积的盲元存在，则所有盲元的响应值被最近一个非盲元的响应值替换。 该方法在算法实现上与两点校正算法很相似，可以使用查找表的方法，实现简单，实时性强10.4 红外图像的增强 图像增强 时间域空间域变换域时间延迟积分帧间比较点处理邻域处理离散傅里叶变换小波变换比度拉伸直方图处理中值滤波均值滤波 图像增强：图像处理的重要组成部分，它通过增强图像中的有用信息、抑制无用信息，来突出观察者感兴趣的区域。 图像增强算法的优劣不是绝对的。实际应用中，应当根据图像数据特征和处理要求来选择合适的方法。10.4.1 红外图像直方图 直方图反映出图像的特点:当图像对比度较小时，

12、它的灰度直方图在灰度轴上表现为较小的一段区间上非零，较暗的图像在直方图主体出现在低灰度值区间，在高灰度区间上的幅度很小或为零，较亮的图像恰好相反。看起来清晰柔和的图像，它的直方图分布比较均匀。 灰度直方图是用于表示图像像素灰度值分布情况的统计图表，有一维直方图和二维直方图之分。其中，最常用的是一维直方图。比较说明红外图像的直方图与可见光图像的直方图红外图像直方图： 可见光图像的直方图： 红外热图像直方图具有以下特点 像素灰度值动态范围很小，很少充满整个灰度级空间。可见光图像的像素则分布于几乎整个灰度级空间。 绝大部分像素集中于某些相邻的灰度级范围，这些范围以外的灰度级上则没有或只有很少的像素。

13、可见光图像的像素分布则比较均匀。 直方图中有明显的峰存在，多数情况下为单峰或双峰。若为双峰，则一般主峰为信号，次峰为噪声。可见光图像直方图的峰不如红外图像明显，一般多个峰同时存在。 因此，线性灰度拉伸有利于红外图像对比度的增强。10.4.2 直方图均衡化 作用：改变图像中灰度概率分布，使其均匀化。实质：使图像中灰度概率密度较大的像素向附近灰度级扩展，因而灰度层次拉开，而概率密度较小的像素的灰度级收缩，从而让出原来占有的部分灰度级。设原始图像在 处灰度为 ，而改变后的图 ，则对图像增强的方法可表述为将在 处的灰度 映射为 。 在灰度直方图均衡化处理中，对图像的映射函数可定义为: 累计分布函数（C

14、umulative Distribution Function，CDF）即可以满足上述两个条件，并且通过该函数可以完成将原图像 的分布转换成 的均匀分布。此时的直方图均衡化映射函数为： 式中，求和区间为0到 ，根据该方程可以由源图像的各像素灰度值直接得到直方图均衡化后各像素的灰度值。直方图均衡化的处理过程中出现相邻灰度级合并的现象有如下特点: 克服线性拉伸过程中存在的较少像素占用较大灰度区间的问题。当被合并掉的灰度级构成的是重要细节，则均衡后细节信息损失较大。此时可采用局部直方图均衡法来处理。均衡后的直方图并非完全平坦，因为在离散灰度下，直方图只是近似的概率密度。直方图均衡相对于均衡而言，图像

15、主要内容的对比度降低，次要内容的对比度提高。在对比度增强处理中，直方图均衡比灰度线性变换、指对数变换的运算速度慢，但比空间域处理和变换域处理的速度快。直方图均衡虽然增大了图像的对比度，但往往处理后的图像视觉效果生硬、不够柔和，有时甚至会造成图像质量的恶化。另外，均衡后的噪声比处理前明显，是因为均衡没有区分有用信号和噪声，当原图像中噪声较多时，噪声被增强。10.4.3 自适应分段线性变换 如图所示，灰度分段变换（以三段为例）的数学表达式为： 在实际应用中，可根据需要划分为任意个变换区。式中： 如果存在 ，其中 为灰度最频值。 为最频值对应的频数，令 。那么在 的灰度空间，必然存在 使得 区间所有

16、 ；同样，对于 的灰度区间，必然存在 使得 区间所有的 ，令 自适应的灰度分段线性变换算法对大多数图像都比较适用。灰度最频值是直方图中有最大像素的灰度级；频数是灰度值重复次数，即图像中具有某灰度值的像素总数； 表示灰度级 ，对应的频数 。 上式中， 是原始图像像素的灰度值；是增强后的灰度值。 自适应分段线性变换算法实现过程如下： 统计灰度直方图，找到灰度最频值 和对应频数 令 ； 从直方图的0灰度级开始向右搜寻，直到找到 ，满足其对应的 且 ，记为 ： 从直方图的255灰度级开始向左搜寻，直到找到 满足其对应的 且 ，记为 ； 根据上式建立查找表； 根据中建立的查找表，对原始图像中的像素逐点进

17、行灰度变换，达到图像增强的目的。10.4.4 离散小波变换红外图像增强方法 二维图像的小波分解通常采用离散的小波变换。假设二维尺度函数可以分解为低通和高通滤波器两部分，分别用 （低通）和 （高通）表示，那么按照Mallat快速算法，对二维图像在尺度 上的小波分解公式如下：式中, 分别对应于图像 的低频成分、水平细节（高频的水平边缘分量）、垂直细节（垂直边缘分量）、对角细节（对焦边缘分量）。 小波变换技术在图像增强领域的应用，是利用小波变换的多分辨率特性。分为小波分解、图像增强、小波重构三个步骤。 图像的进一步分解仅对低频分量进行，图像经 次分解。可以得到 个子图像，其中一个低频分量， 个高频分

18、量。子图像矩阵大小随分解级数的增加而呈现递减趋势。下一个分解的子图像矩阵仅为上一级分解子图像的1/2 。与之对应的小波重构公式为：式中， 、 分别为 、 的共轭转置矩阵。 按照Mallat快速算法，图像的小波分解算法与小波变换的重构算法分别如下图所示:10.4.5 Retinex红外图像增强方法在处理过程中，通常将图像变换到对数域进行处理，即Retinex理论的基本假设是原始图像S是光照分量L和反射性质分量R的乘积，其数学表达式为 Retinex理论认为，人眼感知的某点的颜色和亮度不仅取决于该点进入人眼的绝对光线，而且与其周围的颜色和亮度有关。Retinex红外图像增强方法就是通过模拟人眼获得

19、图像信息的过程来实现对红外图像细节增强的。在对数域处理有两点好处：1.对数形式接近人眼的亮度感知能力；2.可以将复杂的乘积运算变换为简单的加减运算。10.4.5 Retinex红外图像增强方法 Retinex红外图像增强的具体实现过程是将输入的红外图像划分成若干像素，对每个像素进行估算处理，得到光照分量L并提取出反射性质分量R。对于反射性质分量，在对数处理的基础上，对其进行S型函数变换处理，处理后的反射性质分量再进行指数变换，得到期望的新的反射性质分量R。对于光照分量，对其进行 函数处理，它与gamma校正函数特别相近，只对较暗的区域进行特别处理，使其亮度增加。在对反射性质分量和光照分量分别进

20、行处理后，再经过乘法器就可以得到最终的增强结果。10.4.6 图像增强实验 直方图增强后的红外图像及其直方图： 分段线性变换后的图像及其直方图： 实验分为直方图增强、分段线性变换、自适应分段线性变换和小波变换的图像增强。 自适应线性变换后的图像及其直方图： 采用小波变换增强后的图像及其直方图： 比较可得：直方图均衡、分段线性变换或自适应分段线性变换，在目标得到增强的同时图像的噪声也被增强。而在小波图像增强中，目标得到增强的同时，可以抑制噪声，视觉效果更好。10.5 红外图像的降噪10.5.1 红外图像的常见噪声模型（1）高斯噪声：正态噪声模型经常被用于实践中。高斯随机变量 的概率密度函数 由下

21、式给出：表示 的平均值或期望值； 表示灰度值；表示 的标准差；表示 的方差；（2）瑞利噪声：瑞利噪声的概率密度函数PDF由下式给出:均值：方差：距原点的位移和其密度图形的基本形状向右变形的事实（3）伽马(爱尔兰)噪声：伽马噪声的PDF由下式给出均值：方差： ， 为正整数（4）指数分布噪声：指数噪声的PDF由下式给出 ，为正整数均值：方差：指数分布的概率密度函数是当 b=1时爱尔兰概率分布的特殊情况（5）均匀分布噪声：均匀分布噪声的概率密度，可由下式给出:均值：方差：（6）脉冲噪声(椒盐噪声)：(双极)脉冲噪声的 PDF可由下式给出： ,灰度值 在图像中将显示为一个亮点,相反, 为亮点。若 或

22、为零，则脉冲噪声称为单极脉冲。如果 和 均不可能为零，尤其是它们近似相等时，脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒10.5.2 红外图像降噪的基本方法设系统H是一个线性、移不变系统，那么在空间域中给出的退化图像可由下式给出：空间域上的卷积等同于频域上的乘积，因此可以把上式等价为频域下的描述（1）均值滤波当在一幅图像中唯一存在的退化是噪声时，上页中的两个公式可以改写为：与1 算术均值滤波器表示中心在 点，尺寸为 的矩形子图像窗口的坐标组 算术均值滤波过程就是计算由 定义的区域中被干扰图像 的平均值2 几何均值滤波器几何均值滤波器所达到的平滑度可以与算术均值滤波器相比，但在滤波过程中会

23、更少丢失图像细节3 谐波均值滤波器谐波均值滤波器对于“盐”噪声效果更好，但是不适用于“胡椒”噪声;善于处理像高斯噪声那样的其他噪声;4 逆谐波均值滤波器Q为滤波器的阶数当Q值为正数时，滤波器用于消除“胡椒”噪声；当Q值为负数时，滤波器用于消除“盐”噪声。但它不能同时消除这两种噪声；当Q=0时，逆谐波均值滤波器退化为算术均值滤波器；当Q=-1时，逆谐波均值滤波器退化为谐波均值滤波器；（2）中值滤波中值滤波是最著名的统计排序滤波，其基本方法是用某像素的相邻像素的灰度中值来替代该像素的值。 对于很多种随机噪声，中值滤波都有良好的去噪能力，且在相同尺寸下比线性平滑滤波器引起的模糊更少中值滤波器尤其对单

24、极或双极脉冲噪声非常有效10.5.3 基于阈上随机共振的红外图像降噪方法（1）基于阈上随机共振技术T1T2TN随机共振是指非线性系统、弱的周期信号和适量的噪声三者在一定条件下协作时，噪声通过非线性系统对信号起积极作用的现象阈值单元并行加模型图 是符合一定概率分布的输入信号是相互独立的噪声,是阈值是输出信号（2）基于阈上随机共振的红外图像降噪算法第（ ）次添加的噪声强度 为步长，梯度算子 是第 次添加噪声后图像的峰值信噪比 关键在于通过多次随机共振从被背景噪声淹没的红外图像中“拣”出有用的弱信号，而发生随机共振需要有合适的噪声。下面以双色中波红外图像为例进行介绍 和 分别是图像的行和列， 是图像

25、的灰度级数, 是原图像， 就是经过第 次处理后的随机共振图像。其中噪声函数（3）仿真实验结果：被噪声淹没的弱信号双色中波红外图像（a）MWIR1图像 （b）MWIR2图像（3）仿真实验结果：阈上随机共振图像（a）MWIR1图像 （b）MWIR2图像小结 红外图像反映了景物的温度分布，它的质量往往受红外焦平面阵列的响应非均匀性、响应漂移性、盲元、目标辐射对比度等因素影响。响应非均匀性导致红外图像存在固定图像噪声，响应漂移性导致图像信号的缓慢变化，盲元导致红外图像存在亮点或暗点，目标的辐射对比度系数小，导致红外图像对比度低。因此，红外图像需要进一步处理，才能便于人眼观察。 参考文献1邢素霞红外热成

26、像与信号处理M北京：国防工业出版社，20112Rafael C. Gonzalez，Richard E. Woods.阮秋琦，阮宇智译.数字图像处理（第二版）M.北京：电子工业出版社，20043 蔺素珍，杨风暴，吉琳娜等. 基于阈上随机共振的弱信号双色中波红外图像融合J.红外与毫米波学报，201130(6):546550. 4 Benzi R， Sutera A， Vulpiani A. The mechanism of stochastic resonanceJ. Journal of Physics A: Mathematical and General， 1981， 14(11): 453-457.5 Das