宋怀波第1讲：图像处理基础知识.ppt

1,数字图像处理,宋怀波 机械与电子工程学院,2,第1章 绪论,1. 数字图像 2. 数字图像处理的基本概念 3. 数字图像处理 4. 相关学科和领域（comes first）,3,相关研究领域及应用简介,1. 医药领域,4,相关研究领域及应用简介,1. 医药领域,5,相关研究领域及应用简介,2. 工业领域,电容器尺寸测量,6,相关研究领域及应用简介,2. 工业领域,7,相关研究领域及应用简介,2. 工业领域,彩色线序检测,8,相关研究领域及应用简介,2. 工业领域,9,相关研究领域及应用简介,3. 军事领域,微型侦查仿生机器人,2004年伊朗帕尔钦军事基地卫星图,10,相关研究领域及应用简介,3. 军事领域,美卫星拍摄的青海某地附近的DF-31A洲际导弹发射阵地卫星图,美卫星拍摄的青海某驻军基地里排列的DF-31A导弹发射车,中国目前能够打到美国本土的洲际导弹数量总计不到50枚，而“东风-31A”现在的部署数量不足25枚。,11,相关研究领域及应用简介,4. 农业领域（本人工作）,12,相关研究领域及应用简介,4. 农业领域（本人工作续）,13,相关研究领域及应用简介,4. 农业领域（本人工作续）,14,4. 农业领域（本人工作续）,15,16,4. 农业领域（本人工作续）,识别率可达98.33%,17,相关研究领域及应用简介,5. 其他领域（本人工作续）,18,网页图像版面分析,19,相关研究领域及应用简介,5. 其他领域（本人工作续）,20,教材及参考书,Rafael C. Gonzalez, Richard E. Woods，Digital Image Processing (Second Edition)，Prentice Hall，2003。 阮秋琦，数字图像处理学，电子工业出版社，2004年。 何东健，数字图像处理，西安电子科技大学出版社，2003 章毓晋，图象工程上册图象处理和分析，清华大学出版社，2003年。 章毓晋，基于内容的视觉信息检索，科学出版社，2003年。,21,1.1 数字图像,1.1.1 数字图像的基本概念 图：反射光或透射光的分布，或自身发出的能量 （客观） 像：人的视觉系统对图的接收在大脑中形成的印象或认识 （主 观） 图像处理: 是对图像信息进行加工处理，以满足人的视觉心理和实际应用的需求。,Figure Picture image,22,1.1.1 数字图像的基本概念,模拟图像 连续的，采用数字化（离散化）表示和数字技术处理之前，图像是连续的，这一类图像称为模拟图像或连续图像 连续：指从时间上和从数值上是不间断的 思考：电影里的图像是数字的还是模拟的？,23,1.1.1 数字图像的基本概念,数字图像 由连续的模拟图像采样和量化而得。 组成数字图像的基本单位是像素，所以数字图像是像素的集合。 像素的值代表图像在该位置的亮度（或灰度），称为图像的灰度值。 数字图像像素具有整数坐标和整数灰度值。,24,1.1.1 数字图像的基本概念,数字图像处理(Digital Image Processing) 将图像信号转换成数字信号并用计算机对其进行处理的过程。 作为一门学科形成于20世纪60年代初。 早期图像处理的目的是以改善图像质量、改善人的视觉效果为目的。 图像处理中，输入的是质量低（或不符合人要求）的图像，输出的是改善质量后的图像。 常用的处理方法有图像增强、复原、编码、压缩等。,25,1.1.1 数字图像的基本概念,图像是一种语言 表达方法直观 表现力强 图像是人类信息获取和交流的主要方式 视、听、触、嗅、味等,26,1.1.2 数字图像的基本特点,图像是人类信息获取的重要手段 数字图像的分辨率逐步提高 数字图像可以充分利用现代化的数字通讯和信息传输技术 数字图像可以长期保存和永不失真,27,1.2.1 数字图像处理的基本特点,信息量大： 5125128bit256KB 256KB25帧/s6400KB=6.25MB 占用的频带较宽： 电视图像的带宽6MHz，而语言带宽4KHz，占用频带越宽，技术实现难度越大 像素相关性大： 压缩潜力大 评价受人的影响大,28,表达： 建模，图像采样、数字化 图像和视觉基础 图像变换： 提高图像质量,图像处理,图像基础,图像增强： 改善图像质量 图像几何处理： 平移、缩放、旋转、扭曲 图像复原： 去噪声、去模糊 图像重建： 重建原始图像 图像编码压缩： 减少存储量和传输量 图像分割： 分割、理解、目标描述,1.2.2 数字图像处理的主要研究内容,29,1.2.2 数字图像处理的主要研究内容,图像的增强 图像增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。,30,1.2.2 数字图像处理的主要研究内容,图像复原,31,31,图像的平滑 (Image Smoothing) 即图像的去噪声处理，主要是为了去除实际成像过程中，因成像设备和环境所造成的图像失真，提取有用信息。,1.2.2 数字图像处理的主要研究内容,原图像,噪声干扰的图像,去噪后的图像（Wiener滤波）,32,33,33,1.2.2 数字图像处理的主要研究内容,边缘锐化 加强图像的轮廓边缘和细节，形成完整的边界，将物体从图像中分离出来或将表示同一物体表面的区域检测出来。 锐化的作用是要使灰度反差增强，因为边缘和轮廓都位于灰度突变的地方。所以锐化算法的实现是基于微分作用。 它是早期视觉理论和算法中的基本问题。,34,34,1.2.2 数字图像处理的主要研究内容,图像分割（separate？Divide？Segment！） 将图像分成若干部分，每一部分对应于某一物体表面。 在进行分割时，每一部分的灰度或纹理符合某一种均匀测度度量。 其本质是将像素进行分类。分类依据是像素的灰度值、颜色、频谱特性、空间特性或纹理特性等。,35,35,1.2.2 数字图像处理的主要研究内容,图像校正 数字图像信息的获取来自于CCD 。但其I/O特性不是线性的，如果不进行校正处理，将无法得到好的图像效果。 图像校正是为改善图像质量而提出的一种处理方法。,36,校正,没有校正前,为2.0的校正,37,第2章 图像处理基础知识,2.1 图像数字化 2.2 图像数据结构 2.3 图像文件格式 2.4 图像质量评价,38,38,计算机图像处理的内容,如何对模拟图像进行采样、量化以产生数字图像 图像的数字化是指将一幅图像从原来的形式转化为数字的形式，主要研究如何对图像进行采样、量化以及编码等过程。 如何压缩图像数据以便存储和传输 图像编码压缩可减少用于描述图像的数据量，以节省图像传输和处理的时间，减少存储容量。 如何对数字图像做各种变换以方便处理,39,39,图像变换 由于图像阵列很大，直接在空间域中进行处理涉及的计算量很大。 图像变换方法： 傅立叶变换、离散余弦变换、离散小波变换等 几何变换：如图像缩放、旋转、平移、投影等。 目的： 将空间域的处理转换为变换域的处理，减少计算量，获得更有效的处理。,图像重构(Image Reconstruction) 采用滤波方法，如去噪、干扰和模糊等，恢复或重建原图像。,40,40,1.2 图像与图像数字化过程,图像的表示 物体所发出的光线进入人眼，在人眼的视网膜上成象，这就是人眼所看到的客观世界，称之为景象。 “象”反映了客观景物的亮度和颜色随空间位置和方向的变化，因此“象”是空间坐标的函数。,41,41,在空间图像信息中，光强度是其基本要素，它随图像空间坐标(x,y,z)及光线的波长和时间t的变化而变化，因此空间图像函数可表示为：,平面图像同样可表示为：,42,CCD器件.swf CCD器件1.swf,2.1.1 图像传感器与数字成像,电荷耦合器件(CCD)是典型的固体图象传感器，它是1970年贝尔实验室的WSBoyle和GESmith发明的。,它成功地应用于数码相机、摄像机、扫描仪、广播电视、可视电话和无线电传真，而且在生产过程自动检测和控制等领域已显示出广阔的前景和巨大的潜力。,43,数字图像输入输出设备,44,CCD光敏元的基础是金属氧化物硅MOS电容器,1、 CCD的工作原理,CCD的单元结构,P型半导体多数载流子为空穴 加正电压,Metal Oxide Semiconductor,接地,45,CCD的单元结构,N型半导体多数载流子为电子 加负电压,半导体也可采用N型半导体，如下图所示。,很薄,接地,46,入射光强则光生电荷多，弱则光生电荷少，无光照的光敏元则无光生电荷。 这样就把光的强弱变成与其成例的电荷的数量，实现了光电转换。 若停止光照，电荷在一定时间内也不会损失，可实现对光照的记忆。,47,近年来另一种图像感器互补金属氧化物场效应管CMOS光电传感器。 已在电脑、笔记本电脑、掌上电脑、视频电话、扫描仪、数码相机、摄影机、监视器、车载电话、指纹认证等图像输入领域得到广泛的应用。 CMOS型CCD和普通MOS型CCD使用相同的感光元件，具有相同的灵敏度和光谱特性，但光电转换后的信息读取方式不同。CMOS光电传感器经光电转换后直接产生电流或电压信号，信号读取十分简单。,Complement Metal Oxide Semiconductor,48,2.1.2 数字化原理,图像数字化概述 数字化的目的是把真实的图像转变成计算机能够接受的显示和存储格式，以便于计算机进行分析处理。 图像的数字化过程分为采样、量化与编码三步。 采样的实质就是要用多少个点来描述一张图像，采样的结果即通常所说的图像分辨率。如，一幅640480的图像，表示这幅图像由307200个像素点组成。 采样频率是指一秒钟内采样的次数，它反映了采样点之间的间隔大小。 采样频率越高，得到的图像样本就越细腻逼真，图像的质量也越高，但要求的存储量也越大。,49,1数学模型,50,2采样和量化 采样：空间上的离散化 量化：灰度上的离散化,连续信号（抽样、量化）数字信号,2.1.2 数字化原理,51,采样点阵：正方形、正三角,图像矩阵的特点： 有限值 数字化抽样：正方形点阵、三角形点阵、正六角形点阵等,2.1.2 数字化原理,52,3. 采样定理 一维采样定理：惠特克卡切尼柯夫香农采样定理,2.1.2 数字化原理,二维采样定理：采样频率大于图像信号最高频率的2倍,53,5.量化 均匀量化 非均匀量化 a）基于视觉特性：对亮度值急剧变化部分无需过细分层，进行粗量化,对亮度值平缓变化部分需过细分层，进行细量化 b）基于概率分布：先计算所有可能的亮度值出现的概率分布，对概率分布大的进行细量化,对概率分布小的进行粗量化。 非均匀量化可以减少量化误差，又能用较少的比特数实现量化,2.1.2 数字化原理,54,量化和采样是两个不同的概念，量化是在每个采样点上进行的，所以必须先采样后量化。 量化和采样是图像数字化的不可或缺的两个操作，二者紧密相关，同时完成。,2.1.2 数字化原理,6. 采样和量化的关系,55,2.1.2 数字化原理,56,2.1.2 数字化原理,57,57,图像采样就是在水平和垂直方向上等间隔地分割成网状,58,58,图像量化,采样后得到的亮度或色彩在取值空间上仍连续。把这些连续量表示的像素值离散化为整数值的操作叫量化。 图像量化实际就是将图像采样后的样本值的范围分为有限多个区域，落入某区域中的所有样本值用同一值表示，用有限的离散数值量来代替无限的连续模拟量。,量化时确定的离散取值个数称为量化级数，表示量化的色彩或亮度值所需的二进制位数称为量化字长。 一般可用8位、16位、24位或更高的字长来表示颜色。 量化字长越大，越能真实反映原有图像的颜色。但得到的数字图像容量也越大。,59,88 像素 (256色),1616像素(256色),3232像素 (256色),6464像素 (16位量化，65536种颜色),不同采样精度所获得的图像分辨率不同,马赛克！,60,60,5 bit(32色),4 bit (16色),3 bit (8色),2 bit (4色),1 bit (2色),不同量化字长的灰度图象效果,61,图像界永恒的Lena,她是让无数专家为之痴迷和痛苦的研究对象； 是充斥着枯燥数学公式的论文中最吸引眼球的光芒； 任何一本图像处理书籍，都能看到她动人的微笑； 她就是Lena，她的照片是图像处理领域使用最为广泛的标准测试图。,62,一举成名计算机界,1973年，美国南加州大学信号与图像处理研究所年轻的助教亚历山大和研究员威廉，试图从一叠常用的测试图片中找出一张适合测试压缩算法的图片：最好是人脸，表面光滑，内容多层次。,正巧有人拿着一本花花公子杂志（1972年11月刊）到实验室串门。 亚历山大发现这张有着光滑面庞和繁杂饰物的图片正好符合要求，于是，他们撕下这张彩图，将上半部扫描成一张512512像素大小的图片，“雷娜图”就此诞生。 特别提示： 年满十八岁打算Google的同学们，搜素之前请先卸载绿坝； 十八岁以下的小朋友请耐心等待长大。,63,图像界永恒的Lena,亚历山大用此图测试了自己的压缩算法，满意地完成了论文。 远在芝加哥的雷娜对此一无所知，在结束自己的模特生涯后，她回到故乡瑞典，结婚生子。 论文发表后，不断有人向他索要原始的扫描件，以便比较。久而久之，这张图片成为了图像处理领域的一个标准测试图。 研究者奋斗的目标只有一个：如何在保证图片质量的同时让它的压缩率高一点，再高一点,64,图像界永恒的Lena,1988年，一家瑞典的电脑出版社联系并采访到了雷娜，这是她十五年来首次得知自己的照片被应用在计算机行业里。 1991年，国际光学工程学会下属的Optical Engineering杂志使用雷娜图作为其7月刊的封面。至此，花花公子才得知这