基于Retinex的不均匀光照环境下的图像增强

II前言(1)研究背景及意义时代在进步，信息技术飞速发展，语言和图像已然成为重要的信息传递的媒介.图像处理技术飞速发展，其结果是计算机视觉这门学科的氤氲而生.这门学科主要用于计算机模拟生物相关功能的研究，涉及神经生物学、人工智能以及图像处理等领域.计算机视觉进行一系列的识别和分析等图形处理操作，使得对图像处理的结果更适合仪器的检测，同时在进行肉眼观看时也更加清晰.这项技术在从图像和从多维数据里获取信息方面，有着至关重要的作用.换一种说法可以是通过计算机模拟从而实现人的视觉，还有更深层次的对实际情况中出现呢的三维场景的识别，甚至做到理解.机器能够完成一些特定任务的原因，就是因为在这些比机器内部中设置或编辑了一些关于感知视觉的程序软件，有目标的定位、图像识别、人脸识别等等，为机器制造了眼睛.一些特定任务主要是需要人工智能的方面.大家在采集图像时会遇到各种环境的干扰，比如物体表面反光，或是在大雾天等一些非常规天气里进行拍摄，导致出来的图像整体光照不均匀.一旦这样的情况出现，结果是信息识读的难度增加.对于这种非均匀光照环境下的图像，想要获得有用的信息，就要对图像进行增强处理，光照因素对图像处理的难度有较大影响.处理不好，不方便计算机视觉的应用.以上分析我们可以得出结论：前期先对光照不均匀的图像处理是必须的一步.处理过程是进行图像增强，采用的技术手段随着图像质量的高低而改变，这样可以把有用的信息进行极大程度的展示，同时忽略影响很小的相关信息.通过在局部或者整体的范围内增强图像特征.因此对于图像增强的研究在实际情况中有着广泛且有效的应用，具有极大的实际意义.（2）Retinex的发展历史和现状Maxwell（1831-1879）1831年生在爱丁堡，1850-1855年在剑桥大学学习，1856-1860年在玛利亚学院聘为讲座教授，主讲自然哲学，1860-1865年转到伦敦皇家学院任教，成为实验物理教授和卡文迪许实验室第一任负责人.Maxwell有一次在1861年5月17日英国皇家学会的FridayEveningDiscourse报告，在百年后引起了E.H.Land的兴趣，Land在重复Maxwell实验时，提出了Retinex思想.Retinex思想的首次提出者是埃德温兰德.他还对此思想进行了描述.retina与cortex合成的结果就是本文用到的Retinex.埃德温兰德的

Retinex思想的前提是现实世界是没有颜色的，并且他认为红、蓝和绿三原色组成固定的颜色区域并且决定该区域的颜色.根据Retinex理论[6]可知物体对长波、中波和短波光线的反射能力决定了物体的颜色，而不是因为反射光的强弱程度.所以不均匀的光照对于物体的颜色没有影响.随后，EdwinLand发现了传统的色彩理论的局限性，因为存在特殊的现象使得传统的理论不适用.经过长期的研究分析，Land的结论是人类的视觉系统对信息进行了特殊处理，过滤了因为外界因素造成的不确定影响,只留下本质特征信息再被大脑皮层接收.所以人类视觉是经过更加复杂的处理最后形成的.因此，Land又提出了随机路径算法[7]。他所提出算法需要随机提取像素作为比较像素，提取的来源是像素邻域，随机提取之后进行像素间的计算，依据是相对明暗关系，这样处理之后可以对每一个像素的颜色进行校正.在这之后，EdwinLand考虑到随机路这个算法的缺点，又再次提出了一种新的方法.这个方法的名称为二维路径选择方法.这个方法实际是一个估算目前像素点亮度值的过程.估算的标准是当前像素点所处的区域的像素量度.Retinex方面的算法发展到20世纪末期，出现中心环绕方面Retinex和低通滤波相结合的理念，形成了非常经典的单尺度Retinex算法.这种算法存在环绕函数，这里所指的环绕函数是高斯函数。但是单尺度Retinex算法仍然被发现其局限性.这必然促使算法的改进，改进之后的算法就是目前应用广泛的多尺度Retinex算法[9].多尺度Retinex算法由相关单尺度算法融合，相关的单尺度算法是指三种大小不同的的单尺度Retinex算法.这样处理的结果能够结合不同尺度方法的长处，有效提高图像细节增强的处理效果.随着Retinex算法飞速发展成为可以恢复色彩的算法，也就是MSRCR算法.目前在国内也有很多专家学者对此算法进行改进.汪秦峰结合直方图研究对图像进行去雾处理.使增强后的图像更自然，对比度，较Retinex有所增强.徐博等前辈提出的基于同态滤波及多尺度Retinex的低照度图像增强算法[49]，并对细节进行处理，对低照度图像的增强效果比较好.（3）研究内容及论文结构安排本文主要是研究Retinex理论知识以及一些经典的Retinex算法，并进行了实现.实验结果表明了Retinex算法增强图像的效果要比传统的直方图均衡化算法好，但是也存在不足.对存在的问题进行分析及改进得到新的方法，并进行实验来验证了新方法的优点及实用性.第一章绪论，主要就是为什么研究数字图像，和Retinex算法增强图像的国内外的研究现状，概述论文的研究内容和结构.第二章讲了Retinex的理论，并实现了一系列基于中心环绕的Retinex经典算法（SSR、MSR、MSRCR）.分析实验结果，利用图像质量的客观评价指标对增强后的图像进行分析，指出了经典Retinex算法的优点与缺点，从而有利于下一章的研究及改进.第三章分析了对存在极大对比度的图像，经过基于中心环绕的经典Retinex算法处理后，会出现“过增强”的现象，进而提出了改进的基于SHV空间和S型曲线的多尺度Retinex算法.通过实验，将改进的算法与经典的Retinex算法增强后的图像进行主观和客观的比较，新方法在色彩恒常性和降低“过增强”方面体现出高性能.第四章结论及展望，本章总结了本文所提出的算法的理论和实验结果，指出了算法存在的问题，并对算法的发展进行了展望，指定了今后研究的内容.1图像增强的理论基础数字图像处理基础图像是随着时代的发展慢慢的形成的，它体现了人类与外界信息的传递与接收.图像是我们所有人认识世界的一种快速的途径，比如说照片、绘画、影视画面，他们都是图像，照相机、显微镜，望远镜的取景器的光学成像也是图像.数字图像就是图像的量化，在计算机处理时，底层都是以二进制数来处理的.图像中模拟图像是生活中最普遍可以见到的，整体层次很复杂，比如光学图像，电视图像等.模拟图像，处理速度相当的快，但是精度和灵活性差.图像中还有一类比较抽象的图像叫做数字图像，它是一个二维函数，是采样后用等间距的矩形网格对振幅进行等距量化产生的.所以，数字图像实际上是一个二维的量化采样阵列.数字图像可以用二维函数形式来表示[11].比如数字图像有行和列.其中的，.此时，数字图像就变成了一个的矩阵：图像单元可以用上面矩阵中的每个元素来表示，即像素.它们是构成数字图像的基本单元，图像分辨率的大小就是以像素每英寸PPI单位来表示的.坐标是图像在该点的位置，是指定坐标对应的函数值及强度或是灰度级.图像由矩阵表示，矩阵实际上是对原始图像进行采样，达到数据离散化的效果.采样后，将模拟图像在时间和空间上离散为像素，但像素值通过采样后得到的仍然是一个连续的量.因此，需要进行图像灰度值的量化.量化的每个像素级数，不仅影响着数字图像的质量，也影响着数据量的大小，因此规定行和列的值必须取正整数.对于量化后的灰度二进制位数（即灰度级）为，一般满足要求的取值应为2的整数次幂.即有：（1-2）其中，k表示比特数，是区间内的整数.一般来说，我们也将灰度值范围称为图像的动态范围.所谓高动态范围图像，是指占据所有有效灰度段的图像.当图像的大部分像素都具有这种特征时，图像的对比度就会很高.梳理数字图像的由来之后，对图像的处理有了更好的理解，方便下面研究.我主要研究的就是图像处理—图像增强技术.图像增强方法分为空间域方法和频域方法两大类，空间域方法是直接处理图像像素，而频域方法是通过图像的傅里叶变换再进行图像的增强.1.2空间域由于空间域增强方法算法简单，操作方便，通常用来作为图像增强的处理域.所说的空间域是图像所在的二维空间，它是图像中所有像素的集合.在空间域增强图像实际上是直接操作和处理图像的每个像素,所以操作流程比较简答，在一定范围内的图像可以起到一个比较好的效果，也是人们最常用的.现今空间域图像增强方法有灰度变换、直方图处理和空间滤波等，下面简单的介绍几种空间域的图像增强算法.1.2.1灰度变换图像灰度变换是可以应用到各种别的算法里的，所以它的应用特别的广泛，可以提高对比度，从而加大亮暗差异的对比，突出目标特征.灰度级对于图像来说是有限的，图像灰度增强其实就是通过抑制不太重要的目标信息，来增强重要的目标信息.线性的灰度变换，分段线性的灰度变换与非线性灰度变换等都是灰度变换的衍生，扩展.灰度线性变换就是通过一定的比例函数将原图的灰度值范围拉伸到一个指定的范围，具体公式过程如下.设原来图像的灰度值的范围是，变换后的图像的灰度值为，那么我们以前学过的线性方程就派上了用场，由线性方程推导得到式（1-3）（1-3）就是这样一个简单的拉伸公式就可以把输入的图像区间，伸展后成为亮度值区间在的输出图像了.通过分析可以知道，线性灰度变换对于改善图像的视觉效果非常有用，所以它才会被很多其他的增强算法应用在内.其中的原因是对像素的灰度进行了线性拉伸处理，把灰度级集中的部分拉伸开来，灰度级稀松的部分压缩一下.1.2.2直方图均衡化增强图像(1)直方图的定义小学时我们就知道直方图是统计数据的直观表现形式.所以直方图也可以统计图像，从而体现图像的特征，可以更加直观的观察到图像的灰度值分布信息.数字图像中每个灰度级与灰度像素个数之间的统计关系可以用直方图表示.如下：（1-4）且满足式子：（1-5）式子（1-4）中的表示一幅图像中像素点的总和，是灰度级对应的像素的个数.第个灰度级的级数就用来表示了，当然就是灰度级出现的频率.进行直方图均衡化直方图我们在上面了解了，均衡化就是使其均匀.所以直方图均衡化就是在原图像中将灰度值比较集中的区间变换为整体灰度值均匀分布的函数，使增强后输出的图像更适合眼睛的视觉.所以直方图均衡化会使图像的对比度增加，扩大动态范围.首先图像的灰度级经过了归一化的处理，这样如果原来的图像的灰度值分布为，会有.然后对内的任意一个值进行1-6式的函数变换：（1-6）就是直方图均衡化后的灰度值分布.满足两个条件：在区间内，必须是单调递增；对于，有.设和分别表示原始图像，和直方图均衡化后的图像的灰度级概率密度函数.已知和变换函数时，反变换函数也是单调增加的，则可以表示为：（1-7）当图像时连续变化的时候，图像均衡化并归一划后有，由式子（1-7）可得.与原图像的概率密度函数之间的关系为：（1-8）根据上面的分析可得，变换满足了上面提到的两个条件，证明是一个均匀概率密度函数.以上研究了基于连续随机变量的均衡化处理，而对数字图像的处理要使用离散化的公式形式.这样会比连续图像的处理更加的简单，但是原理都是相通的.当灰度级为离散值的时候，要找到对应的变量，所以可以用频数来代替频率，即（1-9）直方图均衡化的连续型累计分布函数是式，它的离散形式为：（1-10）通过对上面离散型直方图均衡化的分析，可以利用MATLAB数学软件来实现直方图均衡化算法，对图像进行增强.此函数为：I是输入的原图像，n为均衡化后的灰度级数，给定的默认值为64.下面是我实现的案例，如图1-1图1-1直方图均衡化增强前后对比图Figure1-1histogramcomparisonbeforeandafterenhancementequalization图1-2变换前后图像RGB直方图对比Figure1-2histogramcomparisonofimageRGBbeforeandaftertransformation由图1-1，可以看到直方图均衡化之后图像更为清晰，效果更好.原始图像比较暗并且变动的范围小，从图1-2中可以看出原图像的R、G、B三个分量灰度都集中在尾部，说明图像偏亮，对应的直方图所占的灰度级范围很窄，出现极度波峰的形状.均衡化后，图像的细节信息有所突出了，R、G、B分量的直方图分布更加均匀，增加了图像灰度动态范围，提高了图像的对比度，由处理后的图像可以看出，比原先的图像清楚了一些.1.3频率域图像增强1.3.1频率域滤波的介绍频率域是在频率空间上的，也是数值处理的空间，频率域滤波的大体流程：将图像从空间域进过傅里叶变换转到频率域,然后在频域利用低通滤波器作用到此图像上进行过滤处理,最后经过傅里叶逆变换回到空间域，得到增强后的输出图像.那么通过以下模型流程图简单描述整个变换的过程：傅里叶变换滤波函数傅里叶反变换 傅里叶变换滤波函数傅里叶反变换 图1-3频率域图像增强流程图Fig.1-3Flowchartofimageenhancementinfrequencydomain其中，是经过傅里叶变换后的中间图像，是输入图像，中间的为传输函数.经过滤波后在频率域输出的图像，就是傅里叶反变换后回到空间域输出的图像.根据不同的处理需求，我们在实际应用中也可以选择不同的传输函数，因此所采用的滤波器常常也不同.频率域图像增强方法主要是利用傅里叶变换来实现，通过选取不同的传输函数或者不同的滤波器，以实现不同的增强效果，包括低通滤波器、高通滤波器和同态滤波器，这里主要介绍同态滤波器.并引入亮度、对比度、信息熵来判定图像增强效果的优劣.其中低通滤波器函数可以衰减高频信息而加强低频信息，所以低频滤波器可以去除图像的高频分量，从而消除噪音，有平滑图像去噪声的作用.但是经过低通滤波器的处理，有时很有可能会滤除某些边界对应的高频分量，所以要找到合适的处理方法来进行边界的处理.高通滤波器与其相反，可以加强边界信息，使图像得到锐化的效果.低通滤波器可以是理想低通滤波器,高通滤波器可以是理想高通滤波器1.3.2同态滤波算法同态滤波是基于同态系统的，同态的思想就是将非线性问题转化为线性的问题，再进行处理.利用取对数的方式就可以将乘性信号转为加性信号.同态滤波把图像的像素看成是照度和反射率的组成.照度变化相对较小，就可以看成低频成分，而反射率就是高频成份.用下面的式子来表示：(1-11)其中的表示这幅图像，表示这幅图像的照度分量，其特点是缓慢变化，对应图像低频部分.表示景物反射到人的眼睛的反射分量，它的特点是包含景物各种的信息，高频成分高.大致分为以下几步：第一步：两个函数的乘积的傅里叶变换是不可分的，所以对原图做对数变换，得到两个加性分量，即：（1-12）第二步：在对式1-12的等号两边同时进行进行傅里叶变换，从空间域转化到频率域，由此得到：（1-13），表示傅里叶变换，同理，分别是和的傅里叶变换.第三步：利用频率域滤波器，对频率域滤波进行处理，可以得到：（1-14）第四步：对滤波后的图像进行傅里叶逆变换.第五步：取指数，得到空域滤波的结果，得到输出图像.利用matlab数学人那件实现同态滤波的图像增强，具体代码见附录B图1-4同态滤波处理图像前后对比图FIG.1-4comparisonofimagesbeforeandafterhomomorphicfilteringprocessing由图1-4得，经过同态滤波加强后的图像，整体的亮度有所提高，细节部分有很大程度的突出，可以看清“辽宁工程技术大学”这几个字.对于这幅低照度的不均匀光照图像，同态滤波虽然可以有效的提高图像的质量，但是增强后的图像色彩上会有些偏差，并且图像有一点模糊.同态滤波算法对于不同类型的光照不均匀的图像，它增强后的效果有的比较好，有的效果不明显，并且色彩会失真，有光晕的存在.对于照度较暗，细节结构不能够很好的分辨，增强后的图像会有一些模糊，处理效果不是很好.2基于中心环绕的Retinex理论基础Retinex理论的核心就是，图像是由照度分量和反射分量的共同合成的.并假设世界是没有颜色的，人眼看到的色彩是由反射固定波长光的能力决定的.通过除光照图像分量的影响，保留原始图像本质的反射属性，复原其真实面貌，从而达到图像增强的目的.介绍完Retinex理论，知道图像可以分解为照射分量和反射分量.其中，照射分量是由光照所形成的，照射光的强度不应该对物体本身进行改变，不能左右物体的自身属性，所以照度分量对应低频部分.而反射分量是由图像中物体的自身的反射属性决定的，包含图像的边缘，颜色等对应的高频成分.传统图像增强算法大多数都是针对图像的某一个特征进行增强，这种处理方式会使彩色图像增强时容易产生颜色歪曲，也就是图像会出现彩色失真的问题.Retinex就可以在动态压缩范围，增强边缘和保持图像颜色这三个方面达到一个相对的平衡.2.1基于理论的不均匀光照图像増强算法是原始图像也就是人眼成像，由Retinex理论得，它是由光照图像和反射率图像的乘积来表示的，可以由下面的式子表示.(2-1)Retinex图像增强算法就是从要增强的图像中，估计出入射分量，通过对数变化后相减分解出反射分量.这样做处理后，不均匀的光照分量被取除，从而消除了不均匀光照对物体本身的影响，改善图像的视觉效果.表示反射分量，它决定物体的内在性质，体现了物体本身的属性特征.它决定了图像像素的动态范围，最后形成的图像用图2-1的模型来表示.图2-1Retinex图像的模型Fig.2-1ModelofRetineximage在计算当中，为了Retinex算法的计算方便而且更简便的地获得反映图像本质内容的反射分量，我们要对公式2-1两边取对数，一个巧妙的变换就可以将繁琐的乘法运算转变为简单的加法运算，得式(2-2)现令，，，则式2-2变为：(2-3)经过式子（2-1，2-2，2-3）可以的到三者的加法关系，相减就可以得到，表示的是对图像进行单尺度处理后得到的结果，再对其进行指数变换就得到了反射分量.我建立了基于中心环绕的Retinex算法的大体流程如下：图2-2一般的Retinex算法流程图Figure2-2generalRetinexalgorithmflowchart由图2-2可以看出，基于中心环绕的Retinex算法的核心步骤就是如何从图像中估计出照射分量，SSR给出了解决办法.2.2单尺度Retinex算法2.2.1SSR的理论在20世纪末Jobson等前辈对EdwinLand中心环绕算法进行改进.将Land最初使用的指数形式或平方反比形式改为高斯滤波的处理，进而得到了SSR算法.最初的人眼成像是，入射分量图像是，反射分量图像为.那么单尺度Retinex算法就可以用下面的数学形式表示：(2-4)是照度分量估计的核心公式，用原始的图像与高斯滤波器进行卷积，其中表示卷积用的低通滤波器.等式两边对数变换后，式子变为简单的加减法，直接从原图像减去照度分量就得到了反射分量.是图像的内在特性的体现.进行卷积的滤波器选择的是高斯滤波器，高斯滤波函数[12]是从实验中来验证它的实用性和准确性.其中高斯函数是中心环绕函数，表示为：（2-5）是高斯函数的尺度参数，实验中通过调节c的大小来观察增强效果，需要进行大量的实验.最后分析得到，越小，增强后的图像边缘，线条等细节越突出，但是在色彩和原图像完全不同，甚至会改变原来物体的色彩.原因是图像在RGB空间中，经过增强，三个通道的比例发生了变化，从而色彩会失真.而越大，细节突出不那么明显，但是色彩会保留原有的颜色.是一个尺度，常数矩阵，的取值应满足：（2-6）从上面的式子可以看出，可以由公式（2-6）确定下来，所以SSR算法中最重要的参数就是高斯滤波尺度，的值影响着增强后图像的效果，在2.2.2章节中会详细的介绍.卷积的物理意义是通过计算像素点与滤波区域模板进行平均加权求和，进而估计出图像中照度的变化，并将去除，只保留属性.2.2.2高斯环绕尺度对SSR的影响高斯环绕尺度c是高斯核，决定了高斯函数的邻域大小，高斯函数决定着我们的目标像素点的周围区域对该点的照度像素值的估计大小.高斯环绕尺度c是SSR算法的唯一的参数，所以它对SSR算法的影响比较大，对它的分析是有必要的.c越小，高斯模型的形状变的越尖锐，这样会使原图像局部细节较为突出，但是图像的颜色和饱和度都相对较低，所以色彩失真严重；c越大，的邻域范围就越大，图像的色彩饱和度会越好，则高斯模型会变的越平滑平缓，但是目标像素点的周围其他像素对这个像素点的影响就越小，所以图像的细节部分信息保留较少，使图像细节变的模糊，图像对比度信息不强，动态范围压缩没有小尺度的能力强.图2-3高斯环绕尺度c对高斯滤波函数的区域的影响Figure2-3influenceofgaussiansurroundscalecontheregionofgaussianfilterfunction由图2-2可以明显的看出，高斯环绕尺度c为15时，高斯模板直径就会比较小，像素受到周围区域其他像素的影响会比较大，这样就起到了图像锐化的效果.所以小尺度的参数c，对应的增强图像细节信息比较强大，而颜色会有一定程度的丢失.相反，高斯环绕尺度c为150时，高斯模板直径就会比较大，像素受到周围区域其他像素的影响会比较小，所以它对应的增强后的图像色彩饱和度好一些，色彩恒常性可以得到很好的体现，但是图像的细节信息部分会变的比较模糊，动态范围的压缩没有小尺度的强.图2-4尺度参数对SSR图像增强影响的对比图Figure2-3comparisondiagramoftheinfluenceofscaleparametersonSSRimageenhancement 由图2-3得，高斯环绕尺度c确实对SSR算法图像增强有着很大的作用，但是对于不均匀光照环境下的图像增强，不同类型的图片，通过SSR增强后得到的最佳效果所对应的尺度参数c是不同的，没有一个固定值，所以要根据图像的情况来具体确定参数尺度c.从我的实验观察，一些明暗对比大的，比较清晰的图片尺度参数c只能够在图像细节与色彩之间取一个折中，SSR算法尺度大小的取值一般在80-100范围.而像这种雾天，对比度低，亮度偏暗的图片，SSR算法尺度c要尽量大一些，图像增强后的效果较好.图2-5SSR算法图像增强效果对比图Figure2-5comparisonofimageenhancementeffectofSSRalgorithm如图2-5所示，SSR算法增强后的图像细节显著提升，整体亮度变量，可以看清辽宁工程技术大学的牌匾，图像效果比较好，但是图像中的某些部分，如地面会出现颜色失真的现象.2.3MSR算法MSR算法是多尺度的Retinex算法，它是在SSR算法的基础上改进的，SSR只有一个尺度参数，不能兼顾色彩与细节的同时增强.MSR针对这一点，利用几个大小不同的尺度参数经过滤波后再线性加权，归一化就得到了MSR算法，也就是说多尺度Retinex算法是由多个单尺度Retinex算法按照一定比例组合而得到.MSR计算公式如下：（2-7）是高斯滤波尺度的个数，是对应于每一个尺度的权值，且需满足：（2-8）当时，MSR退化为SSR.是每个尺度上的系数，如果，一般取有.其中与SSR的类似，（2-9）一般取，这样就可以同时拥有算法中高、中、低三个尺度的优点，具体取值由图像加强后的效果而定.MSR优点有，MSR对R、G、B三个通道分别进行多尺度的增强，通过大中小三个尺度的高斯滤波处理后，每个通道可以在增强强细节的同时又可以保留原有的色彩.对局部和整体进行动态范围的压缩，但是应用范围没有SSR广泛.MSR的缺点有，应用范围没有SSR广泛，因为MSR算法比较复杂，效果又没有MSRCR处理后的效果好，所以它只是一个过渡的阶段.另外MSR对边缘的处理不明显，细节比较模糊；在明暗层次差异大的地方会出现光晕的现象.对高光区域敏感度小，导致处理高对比图像是时会处出现图片整体昏暗的结果.2.4带色彩恢复Retinex的算法MSRCR前面的增强过程中，经过SSR，MSR处理后，会改变R、G、B三个通道的原有比例，使得图像的局部细节色彩失真，整体视觉效果不佳.MSR的问题在于，对三个通道分别进行处理，而没有考虑R、G、B三个通道是存在内在关系的，当在分解、处理、再合成的这个过程中，通道之间的比例一定会发生变化.针对这一点不足，MSRCR在MSR的基础上，加入了色彩恢复因子C来恢复调节R、G、B通道经过增强处理后的比例关系，只能是尽可能的恢复，而不能完全恢复到原先的比例关系.所以Jobson等人又提出了对彩色图像增强视觉效果更好的带色彩恢复的Retinex算法.其基本原理表达式为.(2-10)(2-11)其中，表示第i个通道色彩恢复因子，式2-11中的表示原图像的像素值，f表示颜色空间的映射函数，i，j表示RGB色彩通道，对其进行取对数处理，所以的具体表达是如下： (2-12)其中是增益常数，是受控的非线性增强系数，用MSR处理后的结果乘上彩色恢复因子，最终得到MSRCR的算法公式为：(2-13)实验的结果为：图2.6SSR与MSRCR增强后的效果对比图Figure2.6comparisonofenhancedeffectsofSSRandMSRCR根据图2-6得，MSRCR算法通过彩色恢复因子的加入确实可以保持图像的饱和度和色彩恒常性.细节也非常的清晰，但是图像的整体泛白，普遍发灰.MSRCR的优点，MSRCR算法不仅有MSR的所有优点，还加入了彩色恢复因子，用来恢复原始图像中3个颜色通道之间的比例关系.这样图像不仅可以增强细节等信息，还可以最大程度的保留原图像的色彩.MSRCR的缺点，图像颜色虽然有所改善，但是偏离自然色彩，图像泛白，在明暗交界处容易产生光晕.在处理对比度大的图像时，会出现过增强的现象，并且此算法比较复杂，运行速度较慢.2.5图像增强效果与评价2.5.1图像质量客观评价指标客观的评价图像增强后的质量是很重要的，我引入了，图像的亮度、对比度、信息熵以及运行时间来评价图像的质量.因为图像的亮度反映了图像的明暗程度,对比度可以反映图像的黑白差,熵则可以对图像信息量进行度量,运行时间体现的是一个算法的可行性及好坏.虽然图像增强后可以通过我们人眼观看到的图片效果，从而判断图片是否更加清晰，颜色是否失真，这是我们人类的主观判断，不能具体的展示图片的信息，评价过程因人而异，没有一个标准，很难应用到实际中.我们需要的是评价过程自动化，所以客观评价指标很重要.客观评价是用建立的数学模型来进行计算，进而可以对比并得到评价结果.图像的客观评价就有一定的稳定性.亮度我们人眼感觉到的亮度，主要是相对的明暗效果，也就是图像的目标与背景之间的明暗差异，相对于目标，当背景越暗，感觉目标物体越亮，当背景越亮，感觉目标物体越暗.这种情况可以用侧抑制原理来解释.图像在归一化后，会归一到，其中0就是黑色，255就是白色.经过查阅，亮度的计算公式让如下： （2-14）就表示图像的亮度，表示灰度图像对应的矩阵在点的像素值，M，N分别表示图像矩阵的高和宽.是的傅里叶变换在频率原点的值，等价于的平均值.傅里叶变换后的零频分量，也称作直流分量，由公式2-14得，零频分量反应了原始图像的平均亮度.图像熵我们在处理信息的量化相关问题时，通过利用信息熵的概念来解决这个问题.因为在信息论中我学习了信息熵的概念，在20世纪80年代香农提出了“信息熵”，这个概念可以解决信息量化的度量问题.这里所提到的信息熵是指平均不确定性的量度，换一种说法就是说就是离散的随机事件的出现概率.信源中各个消息的自信息量的数学期望就为信源的平均自信息量，那么对于图像熵其实就是各个像素的平均自信息量.图像信息熵，简称为图像熵，图像熵反映了图像中平均信息量的大小.其中图像有一维图像熵和二维图像熵，一维图像熵表示的是图像中灰度值分布的情况特征所包含的信息量.则定义一维图像熵的公为：(2-15)灰度图像中灰度值为的像素在图像所有像素中所占的比例为.一维图像熵虽然简单但是它只能体现图像的灰度值分布的统计特性，不能反映图像灰度分布的空间特征.为了解决一维图像熵的局限性，我们在一维信息熵的基础上加上空间因素，来组成二维图像熵.关键是如何加上这个空间特性，通过查阅资料得到一种方法，就是将该灰度值的邻域灰度均值作为灰度分布的空间特征向量，并与一维熵特征向量组成特征二元组.记为，表示的是像素的灰度值，范围在，表示的是邻域灰度平均值，范围在，定义：（2-16）上面式子中的表示特征二元组的出现的频率，M，N表示图像的尺寸，即高和宽.所以定义离散的二维图像信息熵为：（2-17）最终我采用如式（2-17）的二维图像熵来体现图像的整体平均统计特性.当图像熵越大说明图像包含的平均自信息量越大，包含的灰度级越多，图像的细节就越丰富.图像熵越小，图像包含的信息量就越小，图像的灰度级就会越集中，越不利于观看或进一步研究与应用.对比度在一幅不均匀光照图像中，有比较明亮的区域和比较暗的区域，图像的对比度是指：图像中明暗区域中最亮部分与最暗部分之间不同的亮度层级差，也就是说在最亮处与最暗处的差.差异范围越大说明图像的对比度越大，否则相反.对比度越大，图像的轮框越清晰，图像越鲜亮，给人一种刺眼的感觉；对比度越小，图像反差就越小，变换越不明显，图像目标物体不突出.对比度目前没有一个标准的值，所以人眼的观察效果是比较好的辨识方式.目前已经有很多不同的对比度计算方法，其中主要有韦伯对比度[46]，Michelson对比度，平方根对比度等等，本文采用的图像对比度公式如下：(2-18)其中，，表示相邻像素之间的灰度差；表示相邻像素之间灰度差为的像素分布概率.运行时间一个算法的运行时间体现了这个算法的可行性，在图像处理效果上，如果两种算法处理的效果差不多，那么运行时间较短的那个算法就越好，也越容易应用到实际中，可以提高图像处理的效率.所以运行时间也是评价一个算法的比较重要的客观评价指标.我利用的是matlab中tic和toc组合来计算程序运行的时间.2.5.2上述算法增强效果对比对于图像出现高光现象的不均匀光照图像，经过传统的图像增强算法，和基于Retinexd的一些经典的图像处理算法进行对比，以客观和主观的方法说明基于Retinex新算法的优势和不足.图2-7传统算法与Retinex算法对高光图像增强效果对比图FIG.2-7comparisonofenhancementeffectsoftraditionalalgorithmandRetinexalgorithmonhigh-lightimage表2-1高光图像增强算法的评价指标值比较Table2-1comparisonofevaluationindexvaluesofspecularimageenhancementalgorithms亮度对比度图像熵运行时间原图像208.944.425.41直方图均衡化127.4417.916.843.75同态滤波154.1485.996.896.28SSR171.89181.577.127.59MSR182.06197.127.099.93MSRCR273.93189.347.418.98对于光照比较强的图像，各种算法的亮度会有所降低，图2-7列出了两种传统算法和经典的Retinex算法增强后的图像，可以看出经典的Retinex算法增强后的图像效果更好，表2-1提现了图像质量的客观指标值，通过经典的Retinex算法增强后的图像的亮度，对比对，和图像熵要比传统算法增强后的图像高，但是运行的时间要比传统增强算法的运行时间要长，所以传统算法比较简单，适用于灰度图像的处理.对于原始图像局部灰度值偏低,整体偏暗的光照不均匀图像经过上述传统的图像增强算法，和基于Retinexd的一些经典的图像处理算法处理后，效果如下：图2-8传统算法与Retinex算法对光线较暗图像增强效果对比图FIG.2-8comparisonofenhancementeffectsoftraditionalalgorithmandRetinexalgorithmondimimages表2-2光线昏暗图像的增强算法的评价指标值比较Table2-2comparisonofevaluationindexvaluesofenhancementalgorithmsfordimlylitimages亮度对比度图像熵运行时间原图像22.8917.305.49直方图均衡化127.60245.377.674.99同态滤波60.9035.154.898.66SSR46.5764.186.628.41MSR49.1668.966.688.99MSRCR77.4290.497.019.35图2-8是对光亮较暗的图像进行上述算法的增强，效果还是经典的Retinex算法比传统的要好，由表2-2也可以得出SSR、MSR、MSRCR增强后的图像，亮度对比度以及熵都有显著的提高，这三个算法之间有一定的联系，MSR是在SSR基础上改进的，MSRCR是在MSR上加上色彩恢复因子得到的.分析上述案例可以看到无论是图像效果还是增强图像质量的指标值表，都证明本文研究的Retinex算法要比传统的图像增强算法应用更广泛，一般的图像经过Retinex算法处理后效果会更好一些，Retinex算法的SSR，是单尺度的它只能在细节和色彩恒常性之间取一个比较均衡的值，进而有了MSR多尺度的Retinex算法，但是在明暗交界处色彩容易失真，从而提出了带色彩恢复的MSRCR算法.但是MSRCR处理后的图形整体发灰，对于对比度较大的图之前效果不是很好.改进的Retinex算法3.1实例分析，发现问题对于不均匀光照环境下的图像增强在上面已经介绍并进行了实验，我们可以直观的看到，对于图像增强的传统算法比如直方图均衡化和同态滤波，它们可以有效的增强图像效果，最主要的是算法简单，运行时间短；但是传统算法的作用比较单一，对于光照比较均匀变化的图像增强效果比较强，但是对于图像中同时包含曝光不足和过度曝光的部分，传统算法就解决不了.所以本文要研究比较新的Retinex图像增强算法，第二章主要介绍了Retinex理论以及一连串经典的Retinex算法，有SSR、MSR、MSRCR.我通过实验证明了Retinex算法对不均匀光照环境下的图像可以有较好的增强新效果，但是也有不足之处，在一幅图像中有明暗交界处时，经过Retinex的经典算法增强会产生光晕现象，并且当图像中同时存在高照度（曝光）和低照度部分时，通过Retinex算法增强后会产生“过增强”的现象，如图3.1图3-1强对比度不均匀光照图像的增强Figure3-1enhancementofstrongcontrastnon-uniformilluminationimage表3-1增强极大对比度光照图像后的指标值对比Table3-1comparisonofindexvaluesafterenhancedmaximumcontrastilluminationimages亮度对比度图像熵运行时间原图像157.66379.986.92直方图均衡化133.13722.357.323.44MSR99.671313.507.1611.48MSRCR152.66776.687.568.94图3.1是对有较大明暗差异的不均匀光照环境下的图像进行增强，由表3-1可以看出，原图像的对比度特别大.第一个图是原图像，它同时存在曝光的部分和低照度部分，利用传统的直方图均衡化算法，虽然可以让对比度急剧变高，但是增强后的图像完全失真，暗处的细节部分突出不明显，天空的部分又太过增强，所以效果不好.表3.1明显的显示出基于Retinex算法的信息熵要高于直方图均衡化算法，并且用MSR算法增强后的图像效果比传统算法要好，但是同样存在“过增强”的现象，并且图像整体昏暗，效果不佳.SSR算法增强后的效果与MSR差不多，这里没有列举出SSR算法的结果.表3-1中显示直方图的信息熵要大于MSR的，带色彩恢复的Retinex算法（MSRCR）对图像增强后，虽然颜色有所恢复，信息熵也比较高，但是增强后的图像整体泛白，发灰，视觉效果不加.不能很好的应用.因此也有很多人在此基础上进行了改进.3.2基于SHV空间和S型曲线的多尺度Retinex算法因为Retinex算法的广泛应用，已经有很多前辈在Retinex算法的基础上进行了改进，比如国内的汪秦峰改进的基于直方图均衡化和Retinex的图像去雾算法研究[47]，将自适应的直方图均衡化应用到Retinex算法中.还有的提出基于同态滤波的Retinex，利用同态滤波进行预处理，降噪.通过3.1章的实例分析和我所查阅的关于改进Retinex算法的论文，我有所收获，下面我针对存在极大对比度的不均匀光照环境下的图像进行实验，进而对经典多尺度的Retinex算法进行改进，达到一个比较好的增强效果.原来的多尺度Retinex算法是在RGB空间上分别对R、G、B三个颜色通道进行大中小三个尺度的高斯滤波，进而得到三个通道的反射分量，在将他们叠加起来，在这个过程中，R、G、B三个颜色通道的比例很大程度上发生了改变，所以图像会有失真的现象.另外对于对比度大的图像，Retinex算法以及传统算法都是进行的平滑处理，高斯滤波器的尺度参数是一个常数值，通过很多次实验才能确定一个比较合适的值，无论是高亮还是低照度的部分都是在同一个比例下进行照射分量的估计，没有侧重点，照射分量有偏差，减法得到的反射分量自然不准确，所以增强后的图像会有色偏，失真和产生光晕的现象.3.2.1改进算法的整体思路针对经典的多尺度的Retinex算法的不足，我对此进行了改进.我主要从三方面对其进行改进：第一部分：首先要进行空间的转换，将图像所在的RGB空间转化为HSV空间.这样就可以只对亮度分量V进行处理，既不需要考虑R、G、B三个颜色通道经过处理后比例是否改变，也可以提高算法的运行速率.因为在RGB空间上对R、G、B三个分量分别处理，而在HSV空间上只需要对V分量进行相同的处理.第二部分：多尺度的Retinex算法中对每一个通道要进行大、中、小三个尺度的高斯滤波，这三个高斯尺度参数是三个常数，要通过大量的实验才能找到合适的值，并且每种类型的图像这三个值会发生一些改变，需要再次调整.所以我采用自适应的方式，对着三个尺度参数进行计算，可以提高代码的适用性.第三部分：以往的经典Retinex算法，是估计出照度分量，然后直接减下去.得到反映物体本身特性的反射分量，并没有考虑经过三个尺度的高斯滤波估计出的照射分量应该对应不同的比例权重，因为我们假设图像都是平缓变化的，灰度空间是均匀分布的，但是在现实生活中这样的图像是很少的，我们应该考虑明暗交界处亮度的过度.所以最后利用关于尺度参数sigma的S型函数来作用到照度分量上，这样可以在一定程度上来解决明暗差极大的图像增强.产生“过增强”的现象.最后将改进算法总结为流程图，如图3.2图3-2改进算法流程图Figure3-2flowchartofimprovedalgorithm3.2.2HSV空间HSV是我们常用的色彩空间[50]，是符合我们观看的直觉颜色模型.HSV（Hue,Saturation,Value）其中到的Hue是色调（H），Saturation是饱和度（S），Value是亮度（V）.HSV是在1978年由A.R.Smith创建的色彩空间，它有个别名叫六角椎体模型，如下图：图3-3HSV色彩空间模型Figure3-3HSVcolorspacemodel由图3-3可以看出色调（H）是用角度度量的，色调的取值范围是；饱和度（S）表示的是颜色可以接近光谱色的程度.它的取值范围为，值越大，颜色愈饱和，颜色越饱和表现出的色彩就越深并且艳丽.亮度（V）表示颜色明亮的程度，取值范围为，其中0代表黑色，255就是白色.HSV色彩空间可以将亮度分量与颜色分量分离开，这样就可以只对亮度分量进行增强处理，而颜色分量就不会受到影响了.完美地避开了在RGB空间因为各个通道的增强幅度不一致而产生的色彩失真的问题.并且在HSV空间上对V分量进行多尺度的Retinex增强，是对一个维度上的处理，而RGB空间是对R、G、B三个维度上进行增强，所以在HSV空间可以提升图像增强处理的速度.因此我改进的第一步就是在HSV色彩空间上对图像进行增强处理.3.2.3自适应尺度参数的设计本文介绍的经典的多尺度Retinex算法中，图像增强是对R、G、B三个颜色通道分别和大、中、小三个尺度的高斯滤波器进行卷积，进而估计出图像的照度分量.在这个过程中，三个高斯滤波的尺度参数是手动指定的常数值，要通过大量的实验才能够得到一个比较合适的值，那么我的第二个改进部分就是设置自适应的尺度参数.查阅资料，看到一篇由蔡利梅,向秀华,李紫阳发表的自适应HSV空间Retinex煤矿监控图像增强算法[51]，在这篇文章里，提到了如何建立自适应的尺度参数，但是他们主要研究的是煤矿监控图像的增强，因为煤矿下的灰度近乎为0，只有一小部分是特别明亮的，而我研究的图像是比较亮的但是同样存在明暗对比极大的情况，所以我在他们的基础上进行了改进，得到了三个自适应尺度参数的模型.（3-1）（3-2）（3-3）式3-1，3-2，3-3中的表示的是原图像的平均值，这样构造出来的高斯滤波器的尺度参数，随着图像的不同，他们也会随之改变，这就是自适应性.并且这三个尺度参数一定是存在大中小的关系，这样就满足了多尺度Retinex算法同时运用大中小三个尺度参数进行图像增强的要求.3.2.4基于S型曲线多尺度Retinex上文通过实验分析了经典多尺度Retinex算法的不足，知道了Retinex算法是平滑处理的，对对比度大的图像没有侧重加强的地方，在此基础上对多尺度的Retinex进行改进.首先介绍S型函数，本文采用的S型函数是从最基本的Sigmoid函数修正得到的.基本的Sigmoid函数为：（3-4）修正后的S型函数为：（3-5）自变量是尺度参数，和是两个常数.决定了曲线的位置，决定了曲线的倾斜度，如下图所示：图3-4两个常数参数对S型曲线图的影响FIG.3-4effectsoftwoconstantparametersonthes-shapedcurve 根据图3.3可以看出，决定了曲线的倾斜度，越大，曲线越陡，相反就越平缓；体现了曲线的位置，越大离纵轴越远，越小离纵轴越近.利用S型曲线非线性变化和参数对其影响的特点，用来对高斯滤波器尺度参数进行非线性修正，修正后并作用到由高斯滤波器卷积估计得到的照度分量上，从而估计的照射分量就可以非线性变化，更加的灵活，即对较暗的部分加大增强，对较亮的部分少一些增强，这样可能会降低图像的对比对，但是这并不影响观看的效果.那么在式子（2-7）的基础上进行了改进，得到改进的多尺度的Retinex的公式为：（3-6）式3-6中的符号意义与式2-7是一样的，是与HSV空间下的亮度分量V，是不同尺度下的高斯滤波函数，是每个尺度下对应的权值，；是作用在照度分量上的权重，也就是利用S型函数修正后的非线性的函数值.经过改进后，对于对比度很大的图像增强效果比经典的Retinex算法要好一些.3.3实验结果对于上面那副对比度极大的图像通过改进的算法增强后与其他增强方法对比，效果