数字图像处理基础介绍课件

1、数字图像处理第1章 绪论提要1.1 人眼的视觉1.2 图像数字化1.3 数字图像表达1.4 数字图像质量34导论什么是数字图像处理?数字图像处理(Digital Image Processing)是一个迅速发展的专业领域。它的主要目的是将图像信号转换成数字信号并利用计算机对其进行处理和加工，以便提取图像中的信息。5这是什么图像?6什么是图像？图像？卡斯尔曼：一幅图像就是指某些事物的表示，并包含关于目标的描述性信息。你会如何定义？众所周知的事情正因为众所周知而不为人所知7什么是图像？图像的类型图像以各种不同的形式出现:数学上连续的、离散的是一种二维函数 f(x,y), 其中 x,y是空间(平面)

2、 坐标,幅度f 称为亮度或灰度物理上:某种物质或能量的分布可见的、不可见的8什么是数字图像处理处理连续的、离散的数字图像一个2D数字化采样值的方形阵列，只有数字图像才能用计算机处理以相等间隔采样的方形格栅模式 (光栅以等幅度间隔量化9为什么要数字图像处理 ？应用需求图像是人们获取和交换信息的主要来源，因此数字图像处理的应用领域必然涉及人类生活和工作的方方面面。技术进步计算机:不断增长的性能和不断降低的价格图像数字化与显示设备的不断出现 数字相机, 扫描仪, 视频捕获设备, CRT, LCD, 打印机, 10为什么要数字图像处理？具有的独特优势图像数字化，以便于图像的传输、打印和存储图像的增强和

3、复原，改善图像质量图像的分割和描述，获得图像的信息大量图像的高速处理三维及更高维图像数据的测量和显示（如遥感图像和各种内脏器官及血管形状的测量与显示）2022/7/17为什么要数字图像处理历史the 1950s: NASA, ICthe 1960s: 大型主机, CCD 相机the 1970s: CT (Computerized Tomography), LSIthe 1980s: PC, VLSI, 计算机视觉(Computer Vision)the 1990s: 一系列图像压缩国际标准1112应用举例医学和生物学成像: CT, B超,磁共振工业: 机器视觉, 自动控制, 空间: 航空, 导

4、航, 遥感 (森林, 环境,资源), 监控:视频监控, 牌照识别, 人脸识别,军事:侦察,导航,声纳成像, 艺术 2022/7/17成像的能量源电磁能量谱: Gamma-射线, X-射线, 紫外,可见光, 红外, 微波, 无线电波；CT, MRI, EIT, PET声波与超声波: B超, 声纳电子: 电子显微镜计算机图形学1314Gamma射线成像PET(positron emission tomography): 正电子射线层析术Cygnus:天鹅座15X射线成像Aortic angiogram:大动脉血管造影Anatomical:解剖的, 解剖学的1516显微成像Taxol 红豆杉醇cho

5、lesterol胆固醇Nickel oxide镍氧化物organic superconducting 有机超导17多频谱成像18光学成像Intraocular implant:眼内植入19光学成像20红外成像21磁共振成像，MRI22超声波成像Thyroid:甲状腺, 甲状软骨23计算机图形学Fractal:分维24图像处理系统的基本步骤2022/7/17一个典型的通用图像处理系统 输入Input 存储Storage 处理器Processor 输出Output25广义图像非光学图像高维图像 (包括多频谱图像)非标准采样的图像非标准量化的图像图像处理 与 图像分析图像处理是指为了能更好地观察图像

6、或其他目的而产生一个修改了的图像图像分析把图像转换成某种非图像的形式，诸如目标的数量、类型、尺寸等计算机图形学: 关于用计算机产生图像的学科计算机视觉:对景物进行解释2022/7/17某些相关术语2627如何学习？阅读教科书参考文献讨论课堂、小组实验C, C+, Java自己动手！参考书Gonzalez RC and Woods RE. Digital Image Processing, 2ed. 北京, 电子工业出版社. 2002K.R.Castleman，Digital Image Processing，清华大学出版社 何东健，数字图像处理，西安电子科技大学陈桂明,张明照,戚红雨编.应用M

7、ATLAB语言处理数字信号与数字图像.北京, 科学出版社.200028第2章 数字图像处理基础2022/7/172.1 人眼的视觉为什么要讨论人类视觉系统 (Human Vision System, HVS) ？图像的信息来源于观察。数字图像处理的目的在于提供与观察者的视觉能力相匹配的图像输出，以便于观察者理解和解释图像的内容，提取图像信息。人们从外界所获取的信息中有80%是通过视觉获得的。通过HVS，人们能感知外界物体的大小、形状、颜色、明暗、动静和远近等。数字图像处理是从模拟人类的视觉开始的。尽管数字图像处理系统已可以完成相当多的工作，但其性能比起HVS来说还差得很远。理解人类视觉特性，有

8、助于开发模拟人眼视觉过程的模型，并对图像处理系统的设计具有重要的指导作用。302022/7/17视觉生理和视觉心理通过人眼所形成的图像包括物理范畴的像和心理范畴的像：即来自外界物体的光线，通过人眼的折光系统在视网膜上所形成的物象，它与外界物体通过照相机中的透镜组在底片上成像并无原则上的区别；而来自视网膜的神经信息，则通过人脑的神经信息处理在视觉中枢内形成主观意识上的映像。以下分别从视觉生理和心理两个方面来讨论人眼的视觉特性。312022/7/17人眼视觉系统（视觉生理）左图是人的右眼水平切面结构图。眼内与产生视觉直接有关的结构是眼睛的折光系统和感光系统。折光系统由角膜、房水、晶状体和玻璃体组成

9、。视网膜含有对光刺激高度敏感的视杆细胞和视锥细胞，能将外界光刺激所包含的视觉信息转变成电信号，并在视网膜内进行编码、加工，再由视神经传向视觉中枢作进一步分析，最后形成视觉。322022/7/17亮度与颜色视觉视杆细胞(Rod Cell)在光线较暗时活动，有较高的光敏度，但不能作精细的空间分辨，且不参与色觉。在较明亮的环境中以视锥细胞(Cone Cell)为主，它能提供色觉以及精细视觉。（亮视觉和暗视觉）颜色视觉是指对不同颜色的识别，即不同波长的光线作用于视网膜后在人脑引起不同的主观映像。正常视网膜可分辨波长380-760nm之间的上百种不同的颜色，每种颜色都与一定波长的光线相对应。视网膜中并不

10、存在上百种对不同波长起反应的视锥细胞。早在19世纪初期，Young和Helmholtz就提出了三原色理论。该理论认为在视网膜上分布着三种不同的视锥细胞，分别含有对红、绿、蓝三种光敏感的视色素。当某一波长的光线作用于视网膜时，可以一定的比例使三种视锥细胞分别产生不同程度的兴奋，这样的信息传至中枢，就产生某一种颜色的感受。332022/7/17亮度与颜色视觉近年来，通过实验确定，在视网膜中存在三种基本类型的视锥细胞。这些视锥细胞具有不同的吸收特征，该特征是波长的函数，在光谱的红、绿和蓝区域具有峰值吸收。存在三种视锥细胞，这为彩色视觉的三原色理论提供了生理机能的基础。当光刺激激活一个视杆细胞或视锥细

11、胞，就发生一个感光换能反应，产生一个神经脉冲。神经脉冲通过视觉系统传播的方式至今还不是十分清楚。知道的是视神经束包含800000量级的神经纤维。三种锥状细胞的相对视敏函数曲线相对视敏函数曲线342022/7/17视觉心理视觉心理是指外界视觉刺激带来的感觉、知觉、认知等人内心的各种情感形式。外界的各种事情经由视觉系统接受后，其反应在很多情形下与外界的物理特性不一定相同。对于图像、风景的主观视觉反应，由于经过高层次复杂反应的合成，因而变得非常复杂。以下介绍几种效应或效果。35主观亮度2022/7/17Scotopic: 暗视的，rods视杆细胞； Photopic:明视觉的, cones视锥细胞3

12、6亮度辨别力2022/7/17韦伯比（Web ratio）B/B: 大约为 2%，但在暗和亮的区域该值升高。调节B的大小，使B+B刚好能被察觉与B有所不同372022/7/17马赫效应在亮度突变处，视觉的主观感受出现虚幻的亮或暗的条纹。因Mach效应而对人眼所见景物有增强其轮廓的作用。382022/7/1739Digital Image Processing Chapter2: Digital Image Display and Visual Perception记录神经纤维接受器A信号.单独照射A引起较大的响应.对B附近的3个接受器加照射引起A上的响应减少.增加对B的照射进一步降低A的响应.

13、因此对邻近接受器的照射抑制了接受器A的光刺激.这种抑制称为侧抑制，因为是越过视网膜，以侧抑制的神经丛结构由侧面传送的.40侧抑制与侧激励2022/7/17侧抑制与侧激励412022/7/17临界闪烁融合频率CFF(Critical Flicker Fusion Frequency)对于闪烁的光源，当闪烁频率增大到某一数值的时候，就能感觉到它是连续光源，这种现象叫闪烁融合，这时的频率叫闪烁融合频率（简称闪频值）。由于帧率大于CFF，运动图像看起来就是连续的讨论:TV(PAL, NTSC), HDTV、电影等的帧率?人眼视觉暂留效应（0.05-0.2秒 ） 422022/7/17同心圆错觉4320

14、22/7/17Jastrow 错觉442022/7/17Muler-Lyer 错觉452022/7/17462022/7/17对比效应，一方使另一方向自己相反性质或程度方向变化的效果。诱导效应，有多个对象时，一方对另一方、量多者对量少者（或者相反）施加影响而产生的知觉。在图像显示中如何利用？也可以考虑作为补充或强调等特殊手段来使用。472022/7/17同时对比相同亮度的目标物（方块）放在不同亮度的背景上，给人眼的亮度感觉是不同的。这种效应是由背景的不同引起的。在照明光源中的应用？白平衡？482022/7/17同时对比色度同时对比效应49视觉暂留现象 1.注视右图中心红点15秒-30秒钟!(不

15、要看整个图片,而是只看那中间的红点)2.然后朝自己身边的墙壁看(白色的墙或白色的背景)3.看的同时快速眨几下眼睛，看看您能看到什么？2022/7/1750视觉暂留现象 2022/7/1751颜色恒常性在视觉心理学上是指人眼普通存在的一种知觉常性，即不因外界环境变换而保存对客观色彩知觉不变的一种心理倾向。从计算机视觉的角度来说就是消除光照的影响，得到场景的本质色彩。2022/7/1752颜色恒常性2022/7/17532022/7/17HVS模型波长敏感接收器的输出馈入到一种代表人眼光学部分的低通线性系统H1，后面跟随着一个表示视杆或视锥细胞的非线性强度响应的一个单调非线性系统，接着横向抑制过程

16、通过一个具有带通响应的线性系统H2来描述，而人眼神经暂存响应限制引起的延迟和滞后则由一个线性时间传递函数H3来模型化。541.2 图像获取 根据成像原理和方法的不同，可分成数字图像（例如数码照片、CT图像）和模拟图像（例如TV图像和X光片）；本节主要讨论模拟图像输入到计算机中的图像获取技术。图像获取装置按其有无机械扫描、有无透镜和滤色镜等光学系统、摄像器件种类等要素进行组合，有多种方式。常用的图像获取方式有利用扫描仪和利用摄像机的两种。 2022/7/17扫描仪 扫描仪就是能够把照片、图画以及写在纸上的原稿等二维图像分解成一维像素串，并将像素的光信号转换为电信号的装置。每个像素由光信号变换为电

17、信号的过程称为光电变换。传真机和电子式复印机的输入，与图形扫描仪同样，都利用扫描和光电变换。扫描在历史上有过各种各样的方法，大体上可分为机械式和电子式两类。机械式的一个实用化例子是下图所示的平台扫描方式和圆筒扫描方式。2022/7/17 相机 相机是目前应用领域和应用范围最广的图像获取手段。相机的主要成像器件有CCD和CMOS两种图像传感器。基本成像过程都包括光电转换、电荷收集、信号转换与输出等步骤。现在的数码相机通常都可拍摄静止图片和运动视频。集成有成像芯片和DSP板卡的数码相机和摄影机能够直接输出数字信号，只要选用合适（计算机支持）的数字接口（例如网络、USB、IEEE1394等），就可以

18、输入到计算机中。在某些需要实时完成高速、大数据量的视频图像采集的应用中，往往需要借助视频/图像采集卡将摄像机输出的图像信号采集到计算机中。基于相机和采集卡的方式，不像扫描仪中有固定的照明，摄取对象大多是实际景物，光照条件易发生变化。2022/7/17 582.2 图像数字化一个量化采样值的 2D方形阵列什么是数字化 ?如何数字化 ?性能与指标数字化以及其组成59什么是数字化 ?把图像从其原来的形式转换成数字形式什么是图像的数字形式 ?6061图像的数字形式: 0-D562图像的数字形式 : 1-D5 6 6 6 6 5 4 4 3 2 163图像的数字形式 : 2-D5 6 6 6 6 5 4

19、 4 3 2 1 5 6 6 6 6 5 4 4 3 2 1 5 6 6 6 6 5 4 4 3 2 1 5 6 6 6 6 5 4 4 3 2 1f(1,5) = 6Raster scanning光栅扫描64如何数字化 ?65如何数字化？假设模拟图像f(x,y)的f表示灰度，其数值称作灰度值。采样：是从连续空间(x,y)中获取灰度值f的样本的操作。量化：将样本的灰度由实数向整数进行变换表达的操作（模数转换）扫描：实际进行采样、量化的顺序和方法。（图像内像素位置的寻址）66采样采样格子间隔越小，图像就越清晰；缩小采样间隔，图像尺寸在变大的同时数据量也将迅速增加。67采样定理模拟信号f(x)不含

20、有比max更高的频率成分时，与x相关的间隔为（1/(2max)）的f(x)样本值序列可以完全决定f(x)。2022/7/17关于采样的进一步讨论采样函数 x=mx, y=ny (m, n =0, 1, 2, )采样函数定义：682022/7/17关于采样的进一步讨论设 f(x,y)原图像； fs(x,y)采样后图像则： fs(x,y) f(x,y) s(x,y)分别作傅立叶变换，令： f(x,y) F(u,v)；s(x,y) S(u,v)； fs(x,y) Fs(u,v)有： Fs(u,v) = F(u,v) * S(u,v)692022/7/17关于采样的进一步讨论根据卷积定理，及 u =

21、1/x； v = 1/y有：说明：采样图像的频谱是原始连续图像频谱在空间域上的无限重复，周期为： 1/x（u方向）， 1/y （v方向）702022/7/17关于采样的进一步讨论设原始图像是有限带宽的，即：适当选取x，y ，可Fs(u,v)相邻周期频谱互不重叠.7172采样图像失真图像失真当采样间隔大于奈奎斯特间隔（x（1/(2max)）时，由于比1/2采样频率高的频率成分折返混入低频域，所以称作折叠噪声(folding noise)。由于在与原本存在的频率不同的频率中混叠产生该信号(alias)，该现象称为图像失真或混叠现象。对于具有周期性构造的图像，在用与该周期性构造具有一定几何关系的采样

22、格子进行采样时，将会产生波纹图案(moire pattern,moire fringes)。如图所示的图例中，可以看到原本图像中不存在的墙壁面的周期性条纹。波纹图案73量化74量化误差量化误差：原灰度与量化灰度级之间的差。由于在灰度由实数向整数进行变换操作中会产生舍入误差，所以得出与原灰度值有出入的数值。改变量化级数的效果在模拟图像上灰度变化平滑处，如果量化级数不充分，相邻灰度级区域所对应的量化误差将增大，这两个相邻区域的界线就可能呈现在图像上。该界线原本是不存在于原图像中，因此称它为虚轮廓或虚边缘。75改变量化级数的效果虚（伪）轮廓76量化误差量化对象的灰度范围（dynamic range,

23、动态量程）确定的条件下，随着量化级数增加，量化级间隔变小，使得量化误差减小。如何决定量化级数？定量分析伴随量化误差而产生的信噪比（S/N）。设信号功率的峰-峰值为Sp-p、噪声功率的均方根值（RMS）为Nrms。不失一般性，假设动态量程是在将图像进行均等分级量化时产生的。将灰度设为f，一个量化级的幅度为q。如果假定q中的量化误差是一致的，则分级量化噪声功率Nq为77如何决定量化级数？因为分级量化噪声的平均值为0，所以Nq就是量化噪声的方差。同样，Nrms为量化噪声的标准差，所以可表示为：另一方面，比特量化级数为n，灰度级数设为Q，则有因此，S/N为据此，为使得S/N在s以上对图像进行量化时，至

24、少要达到满足以下要求的量化级数2022/7/17扫描采样、量化只是一个概念性流程，实际进行的采样、量化顺序和方法，根据图像输入仪器结构和方式的不同也有所不同。顺序移动读取图像上的点一般称作扫描。扫描是将二维或三维表达的拍摄对象的灰度变换为一维时间信号的过程。由于声音原本是一维时间信号，所以在数字化中不存在扫描的概念，即扫描是图像数字化所特有的。扫描不仅用在图像数字化上，电视摄像机等的模拟图像摄像系统向一维时间信号的变换需要扫描。相反，由一维时间信号再生图像，显示在平面CRT显示器和液晶显示器上也要进行扫描。782022/7/17扫描光栅扫描逐行扫描隔行扫描792022/7/17扫描标准(EIA

25、) RS-170美国单色广播电视标准30 frames/s525 lines/frame2 fields/frame50 us/line225 cycles/line225/50=4.5 MHz Bandwidth24.5=9 MHz Sampling frequency(EIA) RS-170A(NTSC)与 RS-170略有差异的彩色电视标准CCIR,PAL 欧洲与中国等的单色及彩色模拟电视标准25frames/s, 625lines/frameframe:帧 field:场PAL= Phase Alternating Line(逐行倒相制式)NTSC=National Televisio

26、n System Committee(全国电视系统委员会美)EIA: Electronic Industries Association8081数字化前后图像2022/7/172.3 图像数字表达数字图像L(i,j)中像素为二维排列，其坐标系和像素标号使用了多种形式:处理光栅型数字图像时，经常使用以左上角为原点的坐标系(a),(b)，处理向量型数字图像时，经常使用以左下角为原点的坐标系(c),(d) 。2022/7/17常用的直角坐标系2022/7/17MATLAB编程常用的坐标系In matlab:Row12.MCol 1 2 . . . N在这个坐标系统中，图像被看作离散单元，在像素坐标与

27、Matlab中表示矩阵的下标之间有一一对应关系. 这种对应关系使得图像数据矩阵与图像显示方式之间的关系非常易于理解。2022/7/17图像数字表达20018010080200180100402001005030180703010对于一个 3232图像,8bit灰度图像有多少灰度级?总数据量是多少?对于这类图像共可表示多少幅不同的图像?如果这是一个RGB彩色图像, 8bit3，那么共有多少种色彩?图像数据量又是多少?2022/7/17彩色图像、多通道图像和三维图像 由于彩色图像具有相当于三原色的三个通道，所以称为三通道图像。单色图像称为单通道图像。 各通道以k表示时，多通道图像可以表示为Lk(i

28、,j)。假设k=1,2,K时，各像素的灰度水平可以记为向量L=L1,L2,LKLK表示通道k的灰度水平。这时向量L是指向K维空间的某一点。在这个意义上，多通道图像也可称为多维图像。2022/7/17彩色图像、多通道图像和三维图像多通道图像在计算机中的表达（存储）方式，按通道排列顺序不同，有CIP(Channel Interleaved by Pixel)，CIL(Channel Interleaved by Line)，CSQ(Channel Sequential)三种格式。如图1-14所示，当M（行）x N（列）x K（通道）的图像采用图1-13(a)坐标系时，其在这三种格式中的像素排列方式

29、。如果能够将全部图像数据放在内存或缓存中进行处理时，上述三种排列方式没有区别。但是，由于内存有限，依次在内存中读取必要的部分图像数据进行处理时，根据数据存储格式的不同其访问速度大不相同，即按像素单位对各通道的灰度水平进行操作时，采用CIP格式较好；但在按各通道单位访问时，采用CSQ格式较好；CIL格式则居于两者之间。2022/7/17彩色图像、多通道图像和三维图像2022/7/172.4 像素间的一些基本关系像素的邻域邻接,连通性,区域,边界距离测量2022/7/17邻域4-邻域: 四个水平和垂直像素8-邻域: 4-邻域+4 对角像素0 1 01 p 10 1 01 1 11 p 11 1 1

30、2022/7/17邻接8-邻接的模糊性!m: mixed混合的2022/7/17距离测量D(p,q)=0 (D(p,q)=0 if p=q)D(p,q)=D(q,p), andD(p,q)=D(p,z)+D(q,z)D4 距离:D8 距离:欧氏距离:22 1 22 1 0 1 22 1 222 2 2 2 22 1 1 1 22 1 0 1 22 1 1 1 22 2 2 2 2212 1 0 1 212对于像素p, q, z, 以及其坐标 (x,y), (s,t), 和 (u,v), D 就是一个距离函数或测度，如果2022/7/172.5 数字图像质量灰度分布特性对比度噪声分辨率锐化度（自

31、学补充讲义）调制传递函数（自学补充讲义）2022/7/17灰度分布特性图像的明暗变化情况称作灰度等级或色调，灰度等级的具体表现一般称作灰度分布特性。灰度分布特性的好坏，取决于中间色调的数量以及如何使用这些中间色调。如果中间色调数量少，图像质量将会明显降低。灰度直方图反映了图像灰度级的最小值、最大值、平均值以及标准差等各灰度分布参数，因此可以用作评价灰度分布特性的指标。2022/7/17灰度分布特性不同的图像2022/7/17对比度图像的明暗差别称作对比度。如何定义图像的明暗程度依赖于图像媒介。在自身不发光的情况下（称为反射型图像），使用数字图像中的灰度最大值Lmax和最小值Lmin来定义对比度

32、C2022/7/17对比度计算例%Contrast = (255-105)/(255+105) = 41.6%2551052022/7/17噪声是原本并不存在于输入或输出之前的图像灰度中，也不存在于拍摄对象的亮度等原始信号中的信号。噪声一般分为随机噪声和系统噪声。作为与噪声相关的图像质量指标，经常使用信噪比（SNR）。信噪比指的是信号S和噪声N之间的比，以S/N的形式表示。用分贝（dB）单位表示时，S和N使用振幅的平方所表示的量（能量）。(下标p表示功率，下标v表示幅度)2022/7/17关于信噪比计算从数字图像灰度的角度出发，关注信噪比时，不用分贝单位而用无单位S/N计算得出信噪比将会更容易理解。但是，涉及感性的图像质量评价时，建议使用分贝单位的S/N。这时因为人感觉到的亮度以及声音的大小或音质等感觉量与所给予的刺激量的对数大体上成正比。2022/7/17关于信噪比计算信号S和噪声N的定义，根据信号的认知方式和噪声的性质等，有不同的方