图像处理基础

1、多媒体开发与编程6 图像处理基础 基本概念 颜色基础 图像表示方式 图像的基本类型 图像增强理论 图像平滑技术 图像锐化 设计简易数字图像处理系统引言 什么是人类视觉人类通过眼、耳、鼻、舌、身等接受外部信息，感知自然世界。上一单元我们学习了听觉音频处理，在这一单元我们学习视觉图像处理。视觉重要吗？古语云：百闻不如一见一目了然眼见为实，耳听为虚人类获得信息的8090以上来自于视觉：图像引言 图像处理重要？两大应用需求对图像信息的改进机器自动理解：使计算机具有视觉引言 图像处理技术有用吗？1.航空航天（1）登月、火星照片处理引言 图像处理技术有用吗？（2）飞机遥感、卫星遥感引言 图像处理技术有用吗

2、？（3）气象预报引言 图像处理技术有用吗？2. 生物医学工程CT、MRI（核磁共振）、B超显微图像：红细胞、白细胞、染色体的分析、X光、心电图。引言 图像处理技术有用吗？3. 通讯领域发展趋势：多媒体通讯；电话、电视、计算机三网合一。引言 图像处理技术有用吗？4. 工业印刷电路板机器人视觉零件检测邮政信件的自动检测工业探伤引言 图像处理技术有用吗？5. 军事公安导弹制导侦察照片的处理指纹识别、人脸识别车牌自动识别引言 图像处理技术有用吗？军事应用目标跟踪引言 图像处理技术有用吗？6. 文化艺术电视画面的数字编辑动画制作游戏纺织工艺品设计发型设计文物资料图片的修复引言 图像处理技术有用吗？6.

3、交通领域6.1 基本概念1 亮度适应能力现象：明亮较暗现象？逐渐能够看清物体暗光适应(2030s)较暗明亮现象？：逐渐能够看清物体亮光适应(12s)昏暗视觉和白昼视觉人眼能适应很宽的亮度范围，从暗视阈值到强闪光之间的光强度差别约为1010级。一、视觉特性6.1 基本概念2同时对比度背景亮度不同，人眼所感受的主观亮度值也不一样。亮背景下显得暗、暗背景下显得亮。这种效应就叫同时对比度。同时对比效应随着背景面积增大而显著亮度对比6.1 基本概念色度对比：物体 背景 视觉6.1 基本概念3对比灵敏度人眼对亮度光强变化的响应是非线性的，通常把人眼主观上刚刚可辨别亮度差别所需的最小光强差值称为亮度的可见度

4、阈值。也就是说，当光强I增大时，在一定幅度内感觉不出，必须变化到一定值I+I时，人眼才能感觉到亮度有变化，I/I称为对比灵敏度。 无环境照度在均匀照度背景I上设有一照度为I+I的光斑，眼睛刚能分辨出的照度差是I的函数，当背景照度I增大时，能够分辨出的光斑I也需要增大，在相当宽的强度范围内I/ I的数值为一常数，约等于0.02。这个比值称为韦伯比。但是在亮度很强或很弱时，这个数值就不再保持为常数。6.1 基本概念有环境照度眼睛的对比灵敏度还与周围环境有关。设有两个相邻的光斑，一个强度为I，另一强度为I+I，周围环境的照明强度为I0，实验测得，I/ I比值为常数的范围要大大减小，而且是环境照明强度

5、I0的函数。有趣的是：曲线谷点的包络线与无环境照度曲线相同。6.1 基本概念4Mach带人们在观察一条有均匀黑的区域和均匀白的区域形成的边界时，感觉到的是在亮度变化部位附近的暗区和亮区中分别存在一条更黑和更亮的条带，这就是所谓的“Mach带”马赫效应。6.1 基本概念5主观轮廓主观轮廓：是主观上感知的轮廓，实际上这个边界并不存在。6.1 基本概念6 空间错觉古希腊艺术家早就意识到空间错觉得存在。在建筑设计中引入补偿校正技术以保持对物体及感觉的对称性。6.1 基本概念7视觉和视知觉视觉主要研究光的物理本质、光刺激视觉感器官的程度、光经过视网膜后经视觉系统加工而产生的亮度与颜色的感觉；视知觉研究人

6、是如何通过视觉形成关于外在世界的空间表象的。知觉将视野中的一些分散刺激加以组织，构成了具有一定形状的整体是在人脑中枢进行的一组整合活动。6.1 基本概念8立体视觉和运动视觉立体视觉：关键问题是对应点问题, 也就是寻找匹配的问题。运动视觉：研究序列图像间的对应问题，主要问题是匹配。对于瞬时间的图像，即间隔时间很短图像序列，可以通过求解光流方程的方法寻找对应，其前提假设是极短时间内像点的灰度保持不变，只存在位置变化。6.1 基本概念“图”：是物体投射或反射光的分布；“像”：是人的视觉系统对图的接受在大脑中形成的印象或反映。 因此，图像：是客观和主观的结合。二、什么是图像6.1 基本概念物体图像数学

7、函数不可见的物理图像可见的图像光图像照片、图与画从视觉特点分：可见图像和不可见图像；从图像空间坐标和明暗程度的连续性分：模拟图像和数字图像。6.1 基本概念广义：与图像相关的处理（图像分析、图像理解和计算机视觉等）；狭义（从输入和输出内容）：对图像进行各种加工，以改善图像的视觉效果或突出目标，强调图像之间进行的变换，是一个从图像到图像的过程；广义上分为三种类型：低级处理：输入输出都是图像；中级处理：图像分割及目标的描述，输出是目标的特征数据；高级处理：目标物体及相互关系的理解，输出是更抽象的数据；图像处理主要是低级处理、部分中级处理。三、什么是数字图像处理（DIP）6.1 基本概念20世纪20

8、年代人们利用巴特兰电缆图片传输系统（纽约和伦敦之间海底电缆） ，经过大西洋传送了第一幅数字图像，传输一幅图片所需的时间由一周多减少到小于3个小时；报纸业图像的编码与重构技术。上世纪50年代计算机的发展，数字图像处理才真正地引起人们的巨大兴趣；1964年：航天技术图像增强和复原技术美国喷射推进实验室（JPL）进行太空探测工作，用计算机处理 “徘徊者七号”发回的月球图片，校正飞船上摄像机中各种不同形式的畸变。直到上世纪六十年代末至七十年代初，由于离散数学理论的创立和完善，使之形成了比较完整的理论体系，成为一门新兴的学科。四、发展概况6.1 基本概念20世纪70年代：遥感卫星和医学图像增强和图像识别

9、 利用遥感图片，进行地质资源探测，农作物估产，水文气象监测 等图像重构 X光断层图像重构技术，英国G.N.Hounsfield 第一台脑断层摄像仪应用80年代末到90年代：多媒体技术高速计算机和大规模集成电路的发展：图像压缩和多媒体技术；文本图像的分析和理解，文字的识别取得重大的进展；图像通讯和传输的广泛应用二十世纪八十年代以来：数字图象处理向更高级的方向发展：实时性，智能化，普及化，网络化，低成本。目前，就处理方法而言主要将小波、及模糊、神经网络、遗传算子、分形等智能信息处理技术运用于数字图像处理，使得其更具活力，并在不断地发展。6.1 基本概念图像存储系统图像输入系统图像处理与分析系统图像

10、输出系统原理图五、数字图像处理系统6.1 基本概念模型图6.1 基本概念图像数字化设备：扫描仪、数码相机、摄像机与图像采集卡等图像处理计算机：PC、工作站等图像存储设备：磁盘、光盘、硬盘等图像输出设备：显示器、打印机等6.1 基本概念六、数字图像处理的目的通常，对图像进行加工和分析主要目的如下： 1. 提高图像的视感质量， 以达到赏心悦目的目的。去除图像中的噪声，改变图像的亮度、颜色，增强图像中的某些成份、抑制某些成份，对图像进行几何变换等，从而改善图像的质量， 以达到真实、或清晰、或色彩丰富等效果。 6.1 基本概念2. 提取图像中所包含的某些特征或特殊信息， 以便于分析。例如，常用作模式识

11、别、计算机视觉的预处理等。这些特征包括很多方面，如频域特性、灰度颜色特性、边界区域特性、纹理特性、形状拓扑特性以及关系结构等。3. 对图像数据进行变换、 编码和压缩， 以便于图像的存储和传输。6.1 基本概念狭义的数字图像处理：是指将一幅图像变为另一幅经过修改（或改进）的图像。如：消除图像劣化因素，使图像质量得到改善，使畸变得到校正等，包括锐化、平滑、模糊复原、三维重建等。数字图像分析：是指将一幅图像转化为一种非图像的表示。如：分析图像的结构，提取其特征等。是由图像到描述的过程。又称图像理解或图像识别。包括边缘检测、测度抽取、纹理分析等。七、研究内容6.1 基本概念计算机图形学相关学科的关系6

12、.1 基本概念八、数字图像处理的特点数字图像处理是利用计算机实现与光学系统模拟处理相同效果的过程。一般具有如下特点： 1. 处理精度高，再现性好计算机图像处理，其实质是对图像数据进行运算。由于计算机技术的飞速发展，计算精度和准确性不断提高；另外，用相同的方法对同一图像进行多次处理，其再现性好。2. 处理方法的多样性由于图像处理是通过程序实现的，因此，设计不同的图像处理程序，可以实现各种不同的处理目的。 6.1 基本概念3. 图像数据量庞大数字图像的数据量巨大。数字图像由图像矩阵中的像素（Pixel）组成，每个像素用红、绿、蓝三种颜色表示，每种颜色用8 bit表示灰度级。4. 处理费时由于图像数

13、据量大，因此处理比较费时。特别是处理结果与中心像素邻域有关的处理过程花费时间更多。5. 图像处理技术综合性强数字图像处理涉及的技术领域相当广泛，如通信技术、计算机技术、电子技术、电视技术等，当然，数学、物理学等领域更是数字图像处理的基础。 6.1 基本概念九、数字图像处理的发展方向1. 在进一步提高精度的同时着重解决处理速度问题。如在航天遥感、气象云图处理方面，巨大的数据量和处理速度仍然是主要矛盾之一。2. 加强软件研究、开发新的处理方法，特别要注意移植和借鉴其他学科的技术和研究成果，创造新的处理方法。3. 加强边缘学科研究工作，促进图像处理技术的发展。如人的视觉特性、心理学特性等的研究，如果

14、有所突破，将对图像处理技术的发展起到极大的促进作用。6.1 基本概念4. 加强理论研究，逐步完善图像处理学科的理论体系。5. 图像处理领域的标准化。图像的信息量大、数据量大， 因而图像信息的建库、检索和交流是一个重要的问题。目前的情况是:软件、硬件种类繁多，交流和使用极为不便，成为资源共享的严重障碍。应建立图像信息库，统一存放格式，建立标准子程序，统一检索方法。6.2 颜色基础颜色的实质颜色的实质是光波，是视觉系统对可见光的感知结果，是由被观察对象吸收或反射不同波长的光波形成。可见光波长 为380 nm780 nm之间的电磁波。眼睛看到的光常为多种不同波长的光组合成。当各种不同的光信号一起进入

15、眼睛某点时，视觉器官将其混合，作为一种颜色接收。一、颜色是什么6.2 颜色基础光色波长（nm)代表波长红（Red）780630700橙（Orange）630600620黄（Yellow）600570580绿（Green）570500550青（Cyan）500470500蓝（Blue）470420470紫（Violet）420380420400nm700nm紫外光红外光可见光区546.1nm435.8nm780nm6.2 颜色基础1.色调(色相）引起视觉的色光，可能是由数种波长的光波混合而成，但正常人眼均能感受出它最接近红、橙、黄、绿、青、蓝、紫等纯光谱色中的那一种，这种属性称为色调。而最接近的

16、光谱色，一般也称之为色光的色彩。太阳光谱中各色光的色彩，可以用其波长表示。因此单一波长的光，就称为单色光。黑色与白色都没有色彩，介于黑与白中间的是灰色。色调有一个自然的顺序：红、橙、黄、绿、青、蓝、紫。在这个次序中，当人们混合相邻颜色时，可以获得在这两种颜色之间连续变化的色调。 二、颜色的度量6.2 颜色基础2.饱和度指的是颜色偏离灰色、接近纯光谱色的程度。黑、白、灰色的饱和度最低（0%）；纯光谱色的饱和度最高（100%）。纯光谱色与白光混合，可以产生各种混合色光，其中纯光谱色所占的百分比，就是该色光的饱和度。 6.2 颜色基础3.明度指的是光所产生的亮暗感觉，是视觉系统对可见物体辐射或者发光

17、多少的感知属性。就白、黑、灰色而言，白色最亮，黑色则最暗，灰色则居中6.2 颜色基础现代颜色视觉理论中的三色学说认为：人眼的锥状细胞是由红、绿、蓝三种感光细胞组成的，自然界中的任何一种颜色都可以由R、G、B这3种颜色值之和来确定，它们构成一个3维的RGB矢量空间。这就是说，R、G、B的数值不同混合得到的颜色就不同，也就是光波的波长不同。三、三基色（三原色）原理6.2 颜色基础1.相加混色任何一种颜色都可用三种基本颜色按不同的比例混合得到。三种颜色的光强越强，到达人眼的光就越多，它们的比例不同，看到的颜色也就不同，没有光到达眼睛，就是一片漆黑。三基色大小决定彩色光的亮度，混合色的亮度等于各基色分

18、量亮度之和。三基色的比例决定混合色的色调，当三基色混合比例相同时，是灰色。 6.2 颜色基础常用的相加混色方法有以下三种时间混色法：将三基色按一定比例轮流投射到同一屏幕上，由于人眼的视觉惰性，只要交替速度足够快，产生的彩色视觉与三基色直接相混时一样。空间混色法：将三基色同时投射到彼此距离很近的点上，利用人眼分辨力有限的特性而产生混色，或者使用空间坐标相同的三基色光的同时投射产生合成光。生理混色法：利用两只眼睛分别观看两个不同颜色的同一景象，也可获得混色效果 6.2 颜色基础2.相减混色相减混色利用滤光特性，在白光中减去不需要的彩色，留下所需要颜色。如印染、颜料等采用的相减混色。当两种以上的色料

19、相混和重叠时，白光就减去各种色料的吸收光，其剩余部分的反射色光混合结果就是色料混合或重叠产生的颜色。6.2 颜色基础颜色空间是组织和描述颜色的方法之一，也可以称之为颜色模型 1.RGB颜色空间采用红、绿和蓝3基色来匹配所有颜色的模型称为RGB颜色空间。国际照明委员会将3种单色光的波长分别定义为：红色（700nm）、绿色（546.1nm）、蓝色（453.8nm）根据3基色原理，任意一种颜色可以由下式匹配：C=rR+gG+bB式中的系数r、g和b分别为3基色红、绿和蓝的比例系数。当r=g=b时，颜色C为标准的白色。四、颜色空间6.2 颜色基础RGB颜色模型通常用于彩色阴极射线管和彩色光栅图形显示器

20、，各个原色的光能叠加在一起产生复合色。在正方体主对角线上，各原色的量相等，产生由暗到亮的白色，即灰度。（0,0,0）为黑，（255,255,255）为白。正方体的其它六个顶点分别为红、黄、绿、青、蓝、品红。6.2 颜色基础2.CMYK颜色空间与RGB模型不同，以红、绿、蓝的补色青（Cyan）、品红（Magenta)、黄(yellow)为原色构成CMY颜色系统，常用于从白光中滤去某种颜色，故称为减性原色系统。CMY颜色模型对应的直角坐标系的子空间与RGB模型所对应的子空间几乎完全相同。区别仅在于前者的原点为白，而后者的原点为黑。前者是通过从白色中减去某种颜色来定义一种颜色，而后者是通过向黑色中加

21、入某种颜色来定义一种颜色。6.2 颜色基础静电或喷墨绘图仪、打印机、复印机等硬拷贝设备将颜色画在纸张上时，使用的是CMY颜色系统。 由于彩色墨水和颜料的化学特性，用等量的三基色得到的黑色不是真正的黑色，因此在印刷术中经常加入一种真正的黑色（Black）。黑色用K表示，CMY颜色空间成为CMYK颜色空间6.2 颜色基础3.YUV颜色空间这是电视系统中常用的颜色模式。采用三管彩色摄像机或彩色CCD（点耦合器件）摄像机，它把摄得的彩色图像信号，经分色、分别放大校正得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号RY、BY，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这就

22、是我们常用的YUV颜色空间。6.2 颜色基础4.HSB颜色空间这种彩色系统格式的设计反映了人类观察彩色的方式。如：红色又分为浅红和深红色等等。色调：H 饱和度：S明度：B6.2 颜色基础5.HSI模型RGB格式从物理和光学角度描述颜色不同， HSI则是根据视觉的主观感觉对颜色进行描述。人眼不能直接感觉红、绿、蓝三色的比例，只能通过感知颜色的亮度、色调和饱和度来区分物体。在HSI彩色空间中，表征像素彩色信息的两个参数是色度（hue）和饱和度（saturation）。 色度H：表明颜色的种类;饱和度S：表示颜色深、浅、浓、淡程度 ;强度I ：决定了像素的像素的整体亮度，而不考虑色彩 .6.2 颜色

23、基础HSI坐标系：6.2 颜色基础由RGB到HSI的转换公式6.2 颜色基础6.Lab 颜色空间 Lab 描述颜色的显示方式,而不是设备生成颜色所需的特定色料的数量。即不依赖于光线,也不依赖于颜料，它是一个理论上包括了人眼可以看见的所有色彩的色彩模式。6.2 颜色基础颜色模式与用途：CMYK模式(用于印刷) 特点:色彩灰暗分色胶片印版印辊印纸成品RGB模式(用于显示) 特点:色彩鲜艳6.3 图像表示一、模拟图像图像是连续的，即用函数 f (x,y)表示的图像。其中：x , y表示空间坐标点的位置；f 表示图像在点（x , y） 的某种性质的数值，如亮度、灰度，色度等。f , x, y可以是任意

24、实数。.6.3 图像表示二、数字图像：I (r , c)是对 f ( x , y) 的离散化后的结果。r表示图像的行(row)；c表示图像的列(column)；I表示离散后的f；I , r, c的值只能是整数。.6.3 图像表示数字图像可用矩阵或数组进行描述。6.3 图像表示6.4 图像的基本类型指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为二值图像。二值图像的像素值为0、1。一、黑白图像6.4 图像的基本类型指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。灰度取值范围为(0255),“0”表示纯黑色，“255”表示纯白色，中间的数字表示黑白之间的过渡色。二、灰度图像6

25、.4 图像的基本类型灰度图像描述示例6.4 图像的基本类型索引图像既包括存放图像数据的二维矩阵，还包括一个颜色索引矩阵（称为MAP），因此称为索引图像，又称为映射图像。MAP矩阵也可以由二维数组表示，矩阵大小由存放图像的矩阵元素的值域（灰度值范围）决定。若矩阵元素值域为0255，则MAP矩阵的大小为2563，矩阵的三列分别为R、G、B值。 图像矩阵的每一个灰度值对应于MAP中的一行，如某一像素的灰度值为64，则表示该像素与MAP矩阵的第64行建立了映射关系，该像素在屏幕上的显示颜色由MAP矩阵第64行的R G B叠加而成。三、索引图像6.4 图像的基本类型6.4 图像的基本类型彩色图像是指每个

26、像素的信息由RGB三原色构成的图像，其中RBG是由不同的灰度级来描述的。四、彩色图像6.4 图像的基本类型6.5 图像增强理论1. 什么是噪声一定程度上讲，图像的生成总是伴随着各种各样的噪声。对于数字图像处理而言，噪声是指图像中的非本源信息。因此，噪声会影响人的感官对所接收的信源信息的准确理解。 在图像形成过程中，图像数字化设备、电气系统和外界影响将使得图像噪声的产生不可避免 。一、图像噪声6.5 图像增强理论图像噪声按其产生的原因可分为外部噪声和内部噪声。一般情况下，数字图像中常见的外部干扰主要包括如下几种： 设备元器件及材料本身引起的噪声。如磁带、磁盘表面缺陷所产生的噪声;系统内部设备电路

27、所引起的噪声，包括电源系统引入的交流噪声，偏转系统和箝位电路引起的噪声等;电器部件机械运动产生的噪声。如数字化设备的各种接头因抖动引起的电流变化所产生的噪声，磁头、磁带抖动引起的抖动噪声等。2. 噪声分类6.5 图像增强理论叠加性； 分布和大小的不规则性； 噪声与图像之间具有相关性。3. 噪声特点6.5 图像增强理论图像中的噪声具有分布和大小不规则、噪声与图像之间具有相关性、具有叠加性等特征。噪声的存在必然导致图像质量的下降。改善降质图像的方法有两类：一是不考虑图像降质的原因，只将图像中感兴趣的部分加以处理或突出有用的图像特征，故改善后的图像并不一定要去逼近原图像。这一类图像改善方法称为图像增

28、强，主要目的是要提高图像的可懂度；二是针对图像降质的具体原因，设法补偿降质因素，使改善后的图像尽可能地逼近原始图像。这类方法称为图像恢复或图像复原技术。6.5 图像增强理论所谓图像增强，是指按照需要，突出一幅图像中的某些“有用”信息，同时削弱另外一些“无用”信息的图像处理方法。注意：图像增强算法并不能增加原始图像的信息，而是通过某种技术手段有选择地突出对某一具体应用有价值的信息。 二、图像增强6.5 图像增强理论图像增强的目的：根据应用需要突出图像中的某些“有用”信息，削弱或去除不需要的信息，以达到扩大图像中不同物体特征之间的差别。通过对图像的处理，使图像比处理前更适合一个特定的应用。也就是为

29、了某种应用目的去改善图像的质量。改善图像的视觉效果。突出图像的特征，便于计算机处理。6.5 图像增强理论主要有空域处理法和频域处理法空域处理法直接在图像所在的二维空间进行处理，即直接对每一像元的灰度值进行处理。它又分为两类：一类是对图像作逐点运算，称为点运算；另一类是在与处理像点邻域有关的空间域上进行运算，称为局部运算。频域处理法将图像从空间域变换到频率域对图像进行处理，在图像的变换域上进行处理，增强感兴趣的频率分量，然后进行反变换，得到增强了的图像。三、图像增强方法6.5 图像增强理论空间域图像增强频率域灰度变换空域滤波直接灰度变换直方图修正法图像的代数运算直方图均衡化直方图规定化图像平滑图

30、像锐化高通滤波低通滤波带通、带阻滤波6.5 图像增强理论其中，空间域滤波是基于邻域处理的增强方法，它应用某一模板对每个像元与其周围邻域的所有像元进行某种数学运算得到该像元的新的灰度值，新的灰度值的大小不仅与该像元的灰度值有关，而且还与其邻域内的像元的灰度值有关。常见的基于空域的图像增强方法：图像平滑；图像锐化。6.6 图像平滑技术图像在传输过程中，由于传输信道、采样系统质量较差，或受各种干扰的影响，而造成图像毛糙，此时，就需对图像进行平滑处理。平滑滤波对图像的低频分量进行增强，同时可以削弱图像的高频分量，因此一般用于消除图像中的随机噪声，从而起到图像平滑的作用。图像平滑是图像增强的一个重要方面

31、。图像平滑滤波器的设计比较简单，常用的有：邻域均值法，是线性的；中值滤波法，是非线性的。6.6 图像平滑技术一幅图像往往受到各种噪声源的干扰（如电传感器和传输误差等），这种噪声常常为一些孤立的像素点，它们像雪花使图像被污染，噪声往往是叠加在图像上的随机噪声,而图像灰度应该相对连续变化的，一般不会突然变大或变小，这种噪声可以用邻域平均法使它得到抑制。假设图像由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关性，而噪声则相对独立，则可以将一个像素及其邻域内的所有像素的平均灰度值赋给平滑图像中对应的像素，从而达到平滑的目的，又称均值滤波或局部平滑法。一、邻域平均法 6.6 图像平滑技术邻域平均法

32、的基本思想是：用邻近几个像素灰度的平均值来代替像素原来的灰度值，去除突变的像素点，从而滤掉一定的噪声，实现图像的平滑。其主要优点是算法简单，计算速度快，但其代价是会造成图像一定程度上的模糊。 假设有一幅图像图像f(x,y) ，了获取f(x,y)的新值，则开一个MN的窗口S，窗口S就称为f(x,y)的邻域。我们可以根据窗口内各点的灰度确定f(x,y)的新值。参见下图。6.6 图像平滑技术6.6 图像平滑技术1简单邻域平均最简单的邻域平均法为非加权邻域平均。假设图像的灰度值为f(x,y)，取以其为中心的MN大小的窗口（称模板），用窗口内各像素灰度值代替f(x,y)的值，则其中，s为(x,y)邻域中

33、像素坐标的集合；如果包含中间点，则模板的中间元素取值为1。1111011116.6 图像平滑技术例如，下面阴影中每个像素点取周围的8-邻域平均法，可得到平滑后的像素点。像素点灰度值分布层次不均像素点灰度值分布相对均匀6.6 图像平滑技术平滑经过邻域平均法处理后，虽然图像的噪声得到了抑制，但图像变得相对模糊了。6.6 图像平滑技术注意：M、N的值不宜过大。因为：M、N值的大小对速度有直接影响，且M、N值越大变换后的图像越模糊，特别是在边缘和细节处。6.6 图像平滑技术2加权邻域平均加权邻域平均，指所有模板系数可以有不同的权值。对于一幅MN的图像，经过一个mn(m和n是奇数)的加权均值滤波的过程可

34、用下式给出：式中：a=(m-1)/2b=(n-1)/2分母是模板系数总和，为一常数。6.6 图像平滑技术基本步骤如下：将模板在图中漫游，并将模板中心与图中某像素点重合；将模板上系数与模板下对应像素的灰度值相乘；将所有乘积相加，并除以系数总和；用所得结果代替原中心点的值。237804651加权：模板中的数值不一致。6.6 图像平滑技术邻域平均法的平滑效果与所采用邻域的半径（模板大小）有关。半径愈大，则图像的模糊程度越大，因此，减少图像的模糊是图像平滑处理研究的主要问题之一。为解决邻域平均法造成图像模糊的问题，可采用阈值法、K邻点平均法、梯度倒数加权平滑法、最大均匀性平滑法、小斜面模型平滑法等。它

35、们讨论的重点都在于如何选择邻域的大小、形状和方向，如何选择参加平均的点数以及邻域各点的权重系数等。6.6 图像平滑技术邻域平均法虽然可以平滑图像，但在消除噪声的同时，会使图像中的一些细节变得模糊。而中值滤波则在消除噪声的同时还能保持图像中的细节部分，防止边缘模糊。所谓中值滤波，就是用一个奇数点的移动窗口，将窗口中心点的值用窗口内各点的中值代替。假设窗口内有五点，其值为80、90、200、110和120，那么此窗口内各点的中值即为110。二、中值滤波法6.6 图像平滑技术1. 一维中值滤波设有一个一维序列f1, f2, , fn，取窗口长度为m（m为奇数），对其进行中值滤波，就是：从输入序列中相

36、继抽出m个数fi-v, , fi-1, fi, fi+1, , fi+v其中fi为窗口中心点值：v=(m-1)2再将这m个点按其数值大小排序，取其序号为中心点的那个数作为滤波输出。用数学公式表示为：6.6 图像平滑技术假设有五个数：80 90 190 110 120，若使用中值滤波方法去除噪声（190），其实现的5个步骤如下：# 80 90 190 110 120 # 80# 80 90# 80 90 110# 80 90 110 120# 80 90 110 120 120 #123456.6 图像平滑技术 2. 二维中值滤波二维中值滤波可由下式表示：基本步骤如下：将窗口在图中移动；读取窗口

37、内各对应像素的灰度值；将这些灰度值从小到大排成1列；找出这些值里排在中间的1个；将这个中间值赋给对应窗口中心位置的像素。6.6 图像平滑技术假设，取3X3窗口，则：从小到大排列，取中间值6.6 图像平滑技术去雀斑6.6 图像平滑技术二维中值滤波的窗口形状和尺寸对滤波效果影响较大，不同的图像内容和不同的应用要求，往往采用不同的窗口形状和尺寸。常用的二维中值滤波窗口有线状、方形、圆形、十字形以及圆环形等。窗口尺寸一般先用33，再取55逐渐增大，直到滤波效果满意为止。就一般经验来讲，对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜。对于包含有尖顶物体的图像，用十字形窗口，而窗口大小则以不超过

38、图像中最小有效物体的尺寸为宜。如果图像中点、线、尖角细节较多，则不宜采用中值滤波。中值滤波与均值滤波的区别仅限于：中值滤波是求局部中值而不是局部均值，即对参与计算的像素灰度值按大小排序，然后取位置居中的像素灰度值。中值滤波特点：可以消除杂散噪声点而不会或较小程度地造成边缘模糊。 6.6 图像平滑技术对图像来说，它的边缘以及噪声干扰的频率分量都处于频率域较高的部分，因此，可以采用低通滤波的方法来去除噪声。而频域的滤波又很容易从空间域的卷积来实现，为此只要适当设计空间域的单位冲激响应矩阵，就可以达到滤除噪声的效果。下面是几种用于噪声平滑低通卷积模板。三、低通滤波器 6.6 图像平滑技术这些模板中引

39、入了加权系数，以区分邻域中不同位置像素对输出像素值的影响，常称其为加权模板。与邻域平均法中采用的模板相比较可知，邻域平均法中模板并没有考虑邻域中各点位置的影响，对于所有的邻点都一视同仁，所以其平滑的效果并不理想。 6.6 图像平滑技术另外，二维Gaussian离散模板也是一种常用的低通卷积模板。由于Gaussian函数有着一些良好的特性，对二维连续Gaussian分布经采样、量化，并使模板归一化，便可得到二维Gaussian离散模板。33二维Gaussian模板如下：可见Gaussian离散模板也是一种加权模板，并且它是按二维正态分布进行加权的。6.6 图像平滑技术多幅图像平均法是利用对同一景

40、物的多幅图像取平均来消除噪声产生的高频成分，在图像采集中常应用这种方法去除噪声。一幅有噪声的图像f(x, y), 可以看作是由原始无噪声图像g(x, y)和噪声n(x, y)叠加而成（加性噪声），即：四、多幅图像平均法 6.6 图像平滑技术若叠加在图像上的噪声n(x, y)是非相关、具有零均值的随机噪声时，那么，把针对一目标物(景物)在相同条件下，把作M次重复摄取的图像相加，取平均值作为输出图像，便可对图像中的噪声进行平滑。多幅图像的平均输出图像的期望值是无噪声的理想图像g(x, y)。需要注意的是对多幅图像平均，要求多幅图像之间相互对准，而大多数图像要做到严格对准是相当困难的。多幅图像取平均

41、处理常用于摄像机的视频图像中，用以减少电视摄像机光电摄像管或CCD器件所引起的噪声。这是对同一景物连续摄取多幅图像并数字化，再对多幅图像平均，一般选用8幅图像取平均。这种方法在实际应用中的难点是如何把多幅图像配准起来，以便使相应的像素能正确地对应排列。要明确的一点是：没有一种十全十美的去除噪声方法，应根据处理目的，通过实际试验选择合适的方法。6.7 图像锐化图像由于传输变换、受到干扰而发生退化的现象称为图像模糊。图像产生模糊的原因可从两个角度理解：由平均或积分效应引起，此时可用微分处理；从频域角度看，模糊可看作图像上高频分量被削弱，此时增强高频分量。在图像判读和识别过程中，需要突出目标轮廓或边

42、缘信息，或补偿图像的轮廓、突出图像中景物的边缘或纹理，使图像清晰，俗称勾边处理。不过，边缘突出的同时图像中噪声也会被突出。一、图像模糊6.7 图像锐化所谓图像锐化，是指通过增强高频分量来减少图象中的模糊，可看做为一种高通滤波。在灰度连续变化的图像中，经常出现与相邻象素的灰度相差很大的点（灰度突变），比如说一片暗区中突然出现了一个亮点，人眼能很容易觉察到。就像看老电影时，由于胶片太旧，屏幕上经常会出现一些亮斑。这种情况就被认为是一种噪声。灰度突变在频域中代表了一种高频分量，图像平滑的作用就是滤掉高频分量，从而达到减少图像噪声的目的。所以，可以把图像平滑看作为一种简单的低通滤波器。二、什么是图像锐

43、化6.7 图像锐化所以，图像锐化处理目的:使灰度反差增强，增强图像边缘，使目标物体的边缘鲜明，以便于提取目标物体的轮廓边界、对图像进行分割、目标区域识别、区域形状提取等，为进一步的图像理解和分析打下基础。目前它已成为机器视觉研究领域最活跃的课题之一，在工程应用中占有十分重要的地位。但要注意的是：能够进行锐化处理的图像必须要求有较高的信噪比，否则图像锐化后，图像信噪比更低。因为锐化将使噪声受到比信号还强的增强，故必须小心处理。一般是先去除或减轻干扰噪声后，才能进行锐化处理。 6.7 图像锐化1.锐度所谓锐度，指边缘的对比度。这里的边缘指的就是图像中的物件的边缘。可以看出，锐度从左到右逐渐提高，在

44、图像像素不增加的基础上造成提高清晰度的假象。 6.7 图像锐化设图像为 ，定义在点 的梯度矢量为： 梯度的幅度为：梯度的方向在函数 最大变化率方向上。 2. 梯度6.7 图像锐化一般情况下：即一阶偏导数没有各向同性。我们希望：微分算子是各向同性的，即其微分效果不随特征方向不同而不同。6.7 图像锐化可证明：偏导数的平方和是各向同性的，梯度运算、拉普拉斯运算都符合上述条件。xyyf(x,y)6.7 图像锐化所以：图像锐化的根本目的是提高图像的边缘锐度。而要提高锐度（实现锐化），就是把边缘的对比度提高，我们的工作就变成了：找到有差异的相邻的像素，一般指的就是边缘检测。增加有差异的像素的对比度。6.

45、7 图像锐化三、一阶微分对于数字图像，可用一阶差分代替一阶微分：平方和运算及开方运算可用两个分量的绝对值之和表示 ：6.7 图像锐化(i,j)(i+1,j)(i,j+1)(i,j)(i+1,j)(i,j+1)(i+1,j+1)简化为：6.7 图像锐化单方向的一阶梯度算法可以获得浮雕效果。1. 水平方向的锐化（一）单方向的一阶梯度6.7 图像锐化看一个例子。12321212623087612786232690 0 0 000-3-13-2000-6-13-1300 1 12 500 0 0 001*1+2*2+1*3-1*3-2*0-1*8=-320 202 0 20202017 7 02020

46、14 7 7202021 32 2520202 0 20 2 0206.7 图像锐化实现步骤取得原图的数据区指针。开辟一块内存缓冲区，并初始化为255。每个像素依次循环，新图像缓冲区中的当前像素的灰度值等于原图中当前像素的灰度值与其上方的像素的灰度值之差的绝对值。将缓冲区中的图像复制回原图数据区。6.7 图像锐化6.7 图像锐化2. 垂直方向的锐化6.7 图像锐化实现步骤取得原图的数据区指针。开辟一块内存缓冲区，并初始化为255。每个像素依次循环，新图像缓冲区中的当前像素的灰度值等于原图中当前像素的灰度值与其左方的像素的灰度值之差的绝对值。将缓冲区中的图像复制回原图数据区。6.7 图像锐化6.

47、7 图像锐化对灰度图像在纵方向和横方向两个方向进行微分，同时增强水平和垂直方向的边缘。 1. Roberts算法也称交叉微分算法，利用局部差分算子寻找边缘的算子。(i,j)为当前像素的位置，其计算公式如下：（二）无方向的一阶梯度6.7 图像锐化它由两个模板组成 :标注“黑点”的是当前像素的位置。6.7 图像锐化6.7 图像锐化2. Sobel算法梯度幅值计算公式如下：6.7 图像锐化用卷积模板来实现：水平模板，主要影响水平边缘垂直模板，主要影响垂直边缘6.7 图像锐化6.7 图像锐化3. Pruitt算法6.7 图像锐化6.7 图像锐化从灰度的截面图可以看出，当边界呈尖顶型分布时，一阶微分很难

48、识别，而二阶微分算法则没有问题。四、二阶微分6.7 图像锐化拉普拉斯运算法6.7 图像锐化-1-14-1-1-1-1-18-1-1-1-1-16.7 图像锐化例: 灰度级为42 22 22 2 2mask 0 -1 0 -1 4 -1 0 -1 02 22 4 11 1 1mask 0 -1 0 -1 4 -1 0 -1 06.8 图像检索6.8 图像检索一、多媒体检索概念1. 信息检索的重要性 随着当今信息社会各领域技术的迅猛发展，信息（文本、图形、图像、基于时间的音视频多媒体信息）以爆炸的方式迅速增长。计算机、Internet、数字电视等相关技术的普及，使得海量数据在越来越多的地方得到广泛

49、使用。为了更好地利用这些数据，对多媒体信息检索的需求将日益显得重要。6.8 图像检索2. 基本原理与过程在检索原理上，主要包括以下三方面：对用户需求的分析和转化，形成可以检索索引数据库的提问；收集和加工媒体资源，提取特征，分析并进行标引，建立媒体的索引数据库；根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。6.8 图像检索3. 传统检索方法及其局限性传统的多媒体信息的检索、查询方法是用文本将图像、视频、音频等多媒体数据进行标识，检索时以文本为基础进行。例如， 基于文本的图像检索技术：基于文本的图像检索技术（Text-based

50、 Image Retrieval，TBIR）产生于20世纪70年代，主要以文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。6.8 图像检索新华社发稿6.8 图像检索其 局限性主要表现在：由于多媒体数，据量巨大，对媒体加注文本信息、分类与归档仍由手工完成，这种方法费时费力；由于文本描述信息是非常主观的，不同的人对同一媒体有不同的理解，用文本描述很难一致，因而查询时所要匹配的内容难免会有遗漏和错判；“一幅画胜过千言万语”，区区几个关键词很难将媒体所反映的内容描述清楚。6.8 图像检索6.8 图像检索二、基于内容的检索 为了突破文本检索方式的弊端，必须从媒体本身的内容入手，以媒体

51、所包含的内容作为媒体，即基于内容的检索。所谓基于内容的检索（Content-based Retrieval ，CBR）:就是从媒体数据中提取出特定的信息线索（或特征线索），然后根据这些线索从大量存储在媒体数据库中的媒体中进行查找，检索出具有相似特征的媒体数据。6.8 图像检索三、基于内容的图像检索1. 图像内容的层次结构图像内容按抽象水平由低到高表现为：数据信息;特征信息（例如，颜色、纹理、形状等）;语义信息。数据计算量非常巨大，直接对原始信号数据进行匹配与检索是不现实的。6.8 图像检索特征提取第3层：语义特征层人们对图像内容概念级的反映第2层：物理特征层图像的颜色、纹理、形状和轮廓等低层物

52、理特征第1层：原始数据层图像的原始像素点图像内容的层次模型6.8 图像检索2. CBIR基于内容的图像检索技术（Content-based Image Retrieval，CBIR） ：指的是查询条件本身就是一个图像，或者是对于图像内容的描述，它建立索引的方式是通过提取底层特征，然后通过计算比较这些特征和查询条件之间的距离，来决定两个图片的相似程度。简单说：就是提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。6.8 图像检索 提取特征值：利用一些数学的规则（公式），把图像进行一个量化的描述，按照色彩、形状、图案、纹理等不同要求，把一张图片转化为一组数字，我们称其为特征值。由于是采用

53、的同样的规则，所以每一张图片都能提取出一组特征值。 特征值的比对：由于采用的规则是相同的，如果两张图片是一样的，提取的特征值也会相同，这样就可以把两张图片的内容比较转化为两组特征值的数字比较，也就是用数字量的比较代替了模拟量的比较； 如果两张图片是相似的，提取的特征值也是相近的；反过来讲，如果两张图片相差很大，其特征值也会有很大的差距； 结合语义分析：相同特征值的图片不一定就是相同的内容，结合图片的语义进行分析判断。 6.8 图像检索3. 图像的低层特征值提取 对于图像的低层特征，主要采用的是图像的颜色、纹理及其形状等特征。（1）颜色特征 颜色特征和图像的大小、方向无关，而且对图像的背景颜色不

54、敏感，因此颜色特征被广泛应用于图像检索。颜色特征中包括颜色直方图、颜色相关图、颜色矩等。6.8 图像检索6.8 图像检索（2）纹理特征 纹理特征代表了物体的视觉模式，它包含了物体表面的组织结构以及与周围环境之间的关系。常用的方法有相关矩阵法，粗糙度、对比度等纹理表示方法，以及小波变换等。6.8 图像检索（3）形状特征 形状特征则包括两种，一种是基于边界的形状特征，另外一种则是基于区域的形状特征。最常用的表示方法有傅利叶变换和不变矩等。这些低层的特征将通过各种方法抽取出来，并形成一组特征向量，建立相关索引并存储到数据库中。 (灯管) （杯子）基于边缘的形状表示 基于区域的形状表示6.8 图像检索

55、4. 基于内容的图像检索技术的特点（1）属于模糊查询，检索结果不唯一 基于内容的图像检索与文字检索的一个主要区别是，基于内容的检索都是属于模糊查询，一般不会给出单一的检索结果，输出的是一个结果排序集合，按照图像的相似程度，从最像到最不像。 最后需要由人来判断最终的结果是否满足检索需要，是人机结合的典范；由计算机来做大量简单烦琐的工作，由人做分析工作。6.8 图像检索（2）检索结果是逐渐逼近 在检索过程中不断修订检索条件，可以逐步达到最终的检索结果；通过调整特征参数组合，可以得到不同的检索结果。（3）计算工作量大 每次查询都需要根据临时提交的特征标准，对全部特征值进行匹配运算；数据计算时对计算机

56、的要求高，查询时间相对长一些。6.8 图像检索5. 一些关键环节特征提取：颜色直方图；纹理特征等；相似度：马氏距离，欧氏距离等；相关反馈：机器学习方法，如SVM，神经网络等；检索与分类：两个很相似的样本距离很小，虽然两个不相似的样本距离未必很大。6.8 图像检索6. 存在问题关键：特征提取。找一个最优的特征要难于找出几个次优的特征。6.8 图像检索四、基于语义的图像检索单纯使用图像的底层特征值，容易产生混淆，因为不同的图像也会有近似的特征组合，例如：一个冰箱和一个洗衣机，从正面看二者有较大的区别，但从后面看其后视图时，二者的差距很小，相似度较高，无法有效区分。6.8 图像检索由于低层的特征并不

57、直接代表图像的语义信息，还需要抽取图像的语义特征。可以采用相关文字信息来表征图像的语义特征，通过使用文字信息，使不同类别、不同名称之间的图像有了明显的区分，避免了混淆，提高了检索精度。 基于语义内容的图像检索流程图输入分析特征特征库图像库查询分析特征匹配输出 归档 查询6.8 图像检索基于语义的图像检索系统框图高层语义导出低层特征反馈信息检索结果图像数据库管理特征比较图像特征库特征提取结果输出图像数据库管理语义查询相似性比较6.8 图像检索基于语义内容的检索可以看作基于对象的检索。例如:查找图像中包括的具体物体、发生的场景，以及图像所描述的感情色彩等都属于这个层次的查找。基于语义内容的检索是基

58、于内容的图像检索发展的趋势与要求。但是，由于目前计算机视觉和图像理解的发展水平，基于语义内容的检索还很难实现。 6.8 图像检索五、基于反馈的图像检索相关反馈方法的基本思想是在检索过程中，允许用户对检索结果进行评价和标记，指出结果中哪些是用户希望得到的查询图像，哪些是不相关的，然后将用户标记的相关信息作为训练样本反馈给系统进行学习，指导下一轮检索，从而使得检索结果更符合用户的需要。6.8 图像检索六、基于知识的图像检索 将人工智能领域的基于知识的处理方法引入到图像处理领域，通过对图像理解、知识表达、机器学习，并结合专家和用户的先验知识，建立图像知识库实现对图像数据库的智能检索。主要涉及到自然语

59、言理解、专家系统、知识表达和机器学习等人工智能的主要研究领域。6.8 图像检索一个应用：广告垃圾图像过滤。6.9 图像融合一、图像融合就是将不同来源的同一对象的图像数据进行空间配准，然后采用一定的算法将图像数据中所含的数据优势或互补性有机地结合起来产生新图像数据的技术。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中存在的多义性、不完全性、不确定性和误差，最大限度地利用各种信息源提供的信息。6.9 图像融合1 信息融合的概念信息融合又称为多传感器融合，是指利用计算机技术对多源信息进行协调优化和综合处理，实现优势互补，以完成所需的决策任务的信

60、息处理过程。多传感器系统是信息融合的硬件基础，多源信息是信息融合的加工对象，协调优化是信息融合的核心，决策时信息融合的目的和归宿。6.9 图像融合2. 多源遥感图像融合各种单一传感器获取的遥感图像数据在空间分辨率和光谱分辨率等方面存在一定的局限性和差异性。因此，需要融合多传感器图像所含的信息，把它们互补性地有机结合在一起，以提高图像判读的可靠性，提高图像的解译能力，从而提高数据分类和目标识别的准确性。例如，多光谱图像的光谱分辨率较高，但空间分辨率比较低，即空间的细节表现能力较差；全色光学图像具有高空间分辨率，但光谱分辨率较差。因此，人们将具有低空间分辨率的多光谱图像和具有高空间分辨率的全色光学