北京大学数字图像处理(冈萨雷斯)通用课件

1、研究生课程研究生课程数字图像处理数字图像处理 Digital Image ProcessingDigital Image Processing彭宇新彭宇新 北京大学计算机科学技术研北京大学计算机科学技术研究所究所 E_mail:E_mail:数字图像处理数字图像处理课程介绍课程介绍教材及参考书教材及参考书上课主要内容上课主要内容课程目的与要求课程目的与要求考试内容考试内容助教老师助教老师国内外相关会议和杂志国内外相关会议和杂志目前需要做的事情目前需要做的事情教材及参考书教材及参考书教材教材RafaeRafael l C C. . GonzalezGonzalez, , RicharRichar

2、d d E E. . Woods Woods 著，著，阮秋琦、阮宇智等译，数字图像处理（第阮秋琦、阮宇智等译，数字图像处理（第 二二版），电子工业出版社，版），电子工业出版社，20032003年。年。RafaeRafael l C C. . GonzalezGonzalez, , RicharRichard d E E. Woods. Woods， DigitaDigital l ImagImage e Processing(Second Edition)Processing(Second Edition)，PrenticPrentice e Hall Hall，20032003。教材及参考书

3、（续）教材及参考书（续）参考书参考书Kenneth R. CastlemanKenneth R. Castleman著，朱志刚、林学訚、石定著，朱志刚、林学訚、石定 机等译，数字图像处理，电子工业出版社，机等译，数字图像处理，电子工业出版社，20022002年。年。章毓晋，图象工程上册章毓晋，图象工程上册图象处理和分析，清华大图象处理和分析，清华大 学出版社，学出版社，20032003年。年。阮秋琦，数字图像处理学，电子工业出版社，阮秋琦，数字图像处理学，电子工业出版社，2004 2004 年。年。杨枝灵、王开等，杨枝灵、王开等，Visual C+Visual C+数字图像获取、处理数字图像获

4、取、处理 及实践应用，人民邮电出版社，及实践应用，人民邮电出版社，20032003年。年。章毓晋，基于内容的视觉信息检索，科学出版社，章毓晋，基于内容的视觉信息检索，科学出版社， 20032003年。年。上课主要内容上课主要内容1.1.概述概述2.2.空间域图像增强空间域图像增强3.3.彩色图像处理彩色图像处理4.4.基于内容的图像检索（补充）基于内容的图像检索（补充）5.5.傅里叶变换傅里叶变换6.6.频率域图像增强频率域图像增强7.7.图像复原图像复原8.8.图像压缩（图像压缩（1 1）上课主要内容（续）上课主要内容（续）9.9.图像压缩（图像压缩（2 2）10.10.形态学图像处理形态学

5、图像处理11.11.图像分割图像分割12.12.表示与描述表示与描述13.13.基于内容的视频分析和检索技术（补充）基于内容的视频分析和检索技术（补充）14.14.考试复习考试复习课程目的与要求课程目的与要求掌握数字图像处理的基本概念、原理和掌握数字图像处理的基本概念、原理和 方法方法初步运用所学知识解决实际问题初步运用所学知识解决实际问题为图像处理及相关领域的研究打下基础为图像处理及相关领域的研究打下基础图像处理图像处理计算机视觉计算机视觉基于内容的图像、视频检索基于内容的图像、视频检索人脸识别、指纹识别、掌纹识别、虹膜识别人脸识别、指纹识别、掌纹识别、虹膜识别图像分类、图像和视频的语义概念

6、检测、图像分类、图像和视频的语义概念检测、考试内容考试内容平时作业平时作业50%50%，考试成绩，考试成绩50%50%平时作业选择下列两个之一：平时作业选择下列两个之一：分组完成一个大作业分组完成一个大作业其他与图像处理相关的课题其他与图像处理相关的课题( (需要上课老师需要上课老师 认可认可) )考试闭卷完成（基本概念、原理和算法）考试闭卷完成（基本概念、原理和算法）助教老师助教老师曹磊E_mail: 电话：82529384注意：有不懂的地方多问助教老师，充分发挥助教老师的 指导作用国内外相关会议和杂志国内外相关会议和杂志国内杂志：一级学报国内杂志：一级学报软件学报软件学报电子学报电子学报计

7、算机研究与发展计算机研究与发展JournaJournal l of of TechnologyTechnologyComputeComputer r Science Science (JCST)(SCI)(JCST)(SCI)andand计算机学报计算机学报国内外相关会议和杂志（续）国内外相关会议和杂志（续）国外会议：国外会议：IEEE International Conference on Computer IEEE International Conference on Computer Vision (ICCV)Vision (ICCV)IEEE International Confer

8、ence on Computer IEEE International Conference on Computer Vision and Pattern Recognition (CVPR)Vision and Pattern Recognition (CVPR)ACM Multimedia Conference (MM)ACM Multimedia Conference (MM)国内外相关会议和杂志（续）国内外相关会议和杂志（续）国外会议：国外会议：IEEE International Conference on Image IEEE International Conference on

9、 Image Processing (ICIP)Processing (ICIP)IEEE International Conference on Multimedia IEEE International Conference on Multimedia and Expo (ICME)and Expo (ICME)International Conference on Pattern International Conference on Pattern Recognition (ICPR)Recognition (ICPR)ACM International Conference on I

10、mage and ACM International Conference on Image and Video Retrieval (CIVR)Video Retrieval (CIVR)国内外相关会议和杂志（续）国内外相关会议和杂志（续）国外期刊：国外期刊：IEEE Transactions on Pattern Analysis and IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI)Machine Intelligence (PAMI)IEEE Transactions on Image Proc

11、essing (IP)IEEE Transactions on Image Processing (IP)IEEE Transactions on Circuits and Systems for IEEE Transactions on Circuits and Systems for Video Technology (CSVT)Video Technology (CSVT)International Journal of Computer Vision International Journal of Computer Vision (IJCV)(IJCV)Pattern Recogni

12、tion (PR)Pattern Recognition (PR)Image and Vision Computing (IVC)Image and Vision Computing (IVC)目前需要做的事情目前需要做的事情选课学生发送下列信息给老师选课学生发送下列信息给老师: : 姓名姓名学号学号联系方式：联系方式：E_mail,E_mail,电话电话硕士生或博士生，年级硕士生或博士生，年级所在院系、实验室、导师所在院系、实验室、导师研究方向研究方向数字图像处理基础数字图像处理基础概述概述概念：图像、数字图像、像素概念：图像、数字图像、像素数字图像处理的起源数字图像处理的起源数字图像处理的

13、应用领域数字图像处理的应用领域图像处理系统的部件图像处理系统的部件基础知识基础知识图像的采样和量化图像的采样和量化数字图像的表示数字图像的表示数字图像的质量数字图像的质量像素间的一些基本关系像素间的一些基本关系什么是图像？什么是图像？定义为二维函数定义为二维函数f(x,y),f(x,y),其中，其中，x,yx,y是空间坐标，是空间坐标，f(x,y)f(x,y)是点（是点（x,yx,y）的幅值）的幅值灰度图像是一个二维灰度（或亮度）函数灰度图像是一个二维灰度（或亮度）函数f(x,y)f(x,y)彩色图像由三个（如彩色图像由三个（如RGB,HSVRGB,HSV）二维灰度（或亮度）函）二维灰度（或亮

14、度）函数数f(x,y)f(x,y)组成组成x xy yy yx x什么是数字图像？什么是数字图像？像素组成的二维排列，可以用矩阵表示像素组成的二维排列，可以用矩阵表示 对于单色（灰度）图像而言，每个像素的亮度用一个对于单色（灰度）图像而言，每个像素的亮度用一个数数 值来表示，通常数值范围在值来表示，通常数值范围在0 0到到255255之间，之间，0 0表示黑、表示黑、255255表表 示白，其它值表示处于黑白之间的灰度示白，其它值表示处于黑白之间的灰度彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。 通常，三元组的每个数值也是在通常，三元组的每个

15、数值也是在0 0到到255255之间，之间，0 0表示相应表示相应 的基色在该像素中没有，而的基色在该像素中没有，而255255则代表相应的基色在该像则代表相应的基色在该像 素中取得最大值素中取得最大值yx数字图像的像素表示数字图像的像素表示xy什么是像素？什么是像素？数字图像由二维的元素组成，每一个元素具有一个数字图像由二维的元素组成，每一个元素具有一个 特定的位置（特定的位置（x,yx,y）和幅值）和幅值f(x,y),f(x,y),这些元素就称为像素这些元素就称为像素数字图像处理的起源数字图像处理的起源人类分析人类分析图像在传输过程后的更好复原图像在传输过程后的更好复原空间应用：图像增强、

16、图像复原空间应用：图像增强、图像复原医学图像医学图像作用：通过图像增强、图像复原等技术，增强或复作用：通过图像增强、图像复原等技术，增强或复 原模糊或损毁的图像原模糊或损毁的图像机器感知机器感知自动字符识别自动字符识别OCROCR人脸识别人脸识别指纹识别，生物特征识指纹识别，生物特征识别别数字图像处理的应用领域数字图像处理的应用领域传统领域传统领域医学、空间应用、地理学、生物学、军事医学、空间应用、地理学、生物学、军事最新领域最新领域数码相机数码相机(DC)(DC)、数码摄像机、数码摄像机(DV)(DV)指纹识别、人脸识别指纹识别、人脸识别互联网、视频、多媒体等互联网、视频、多媒体等基于内容的

17、图像检索、视频检索、多媒体检索基于内容的图像检索、视频检索、多媒体检索水印、游戏、电影特技、虚拟现实、电子商务等水印、游戏、电影特技、虚拟现实、电子商务等数字图像处理的应用无处不在数字图像处理的应用无处不在例例1 1：图像增：图像增强强直方图均衡化直方图均衡化例例2 2：人脸检测与识别：人脸检测与识别例例3 3：镜头边界检测：镜头边界检测例例4 4：基于内容的图像检索：基于内容的图像检索 例例5 5：基于内容的镜头检索：基于内容的镜头检索例例6 6：基于内容的视频片断检索：基于内容的视频片断检索例例7 7：视频字幕识别：视频字幕识别例例7 7：视频字幕识别：视频字幕识别例例8 8：101101

18、个视频概念的检测个视频概念的检测视频语义标注的基本方法测试 视频训练 学习标注训练 视频库语义 概念 模型视频 标注特征提取特征提取概念 检测例例8 8：101101个视频概念的检测个视频概念的检测输入图像输入图像输出图像输出图像数数 字字 化化 设设 备备图图 像像 输输 出出 设设 备备InternetInternet图像存储系统图像存储系统图像处理系统的基本组成结构图像处理系统的基本组成结构图像处理计算机图像处理计算机图图 像像图像处理系统的基本组成结构图像处理系统的基本组成结构主要由三大部分组成主要由三大部分组成图像数字化设备，包括数码相机、数图像数字化设备，包括数码相机、数 码摄像机

19、、带照相和码摄像机、带照相和/ /或摄像功能的手机或摄像功能的手机 等等图像处理设备，包括计算机和存储系图像处理设备，包括计算机和存储系 统统图像输出设备，包括打印机，也可以图像输出设备，包括打印机，也可以 输出到输出到InternetInternet上的其它设备上的其它设备图像存储系统图像存储系统图像文件格式体系互联网用：GIF、JPG印 刷 用：TIF、JPG、TAG 、PCX 国际标准：TIF、JPG、BMP图像存储体系：分级存储 内存存储：处理时使用 硬盘存储：处理、备份时用（在线） 备份存储：光盘、磁带（离线、近线） 网络存储：SAN、 NAS为什么要用SAN传统存储解决方案 信息岛

20、存储区域网SAN(Storage Area Network)SANSANSAN是什么？SAN是什么？（续）不是client/server,而是client/storage devices独 立 于 L A N 之 外 的 高 速 存 储 网 络一 般 采 用 高 速 的 光 纤 通 道 作 为 传 输 媒 体（ 2 G b i t / s ）将 存 储 设 备 通 过 光 通 道 互 连 设 备 构 成 一 个 存储 子 网支 持 服 务 器 和 存 储 设 备 之 间 任 意 到 任 意 的 连接S A N上的任何一台服务器均可存取网络中的任何一个存 储设备对 网 上 的 存 储 资 源 实

21、 施 集 中 统 一 的 管 理NAS (Network Attached Storage)是什么？是优化的文件服务器，存储设备与服务器均直接连 接到LAN上，使用TCP/IP等LAN协议，通过LAN实现数据交 换和存储管理。由于使用网络协议，因而会有速度和延 时的问题，且系统扩展能力受到网络带宽的限制。File I/OFile I/OSAN与NAS比较SANNAS块级共享文件级共享远程存储访问远程文件访问存储专用网共享LAN存储协议（如FCP)网络协议(如TCP/IP)集中式管理分散式管理无限的扩展能力有限的扩展能力更高的连接速度和处理能力较低的连接速度和处理能力数字图像处理基础数字图像处理

22、基础图像的采样和量化图像的采样和量化数字图像的表示数字图像的表示数字图像的质量数字图像的质量像素间的一些基本关系像素间的一些基本关系 邻域处理方邻域处理方法是图像增强和复原过程法是图像增强和复原过程的核心的核心图像的采样和量化图像的采样和量化大多数传感器的输出是连续电压波形为了产生一幅数字图像，需要把连续的 感知数据转化为数字形式这包括两种处理：取样和量化取样：图像空间坐标的数字化量化：图像函数值（灰度值）的数字化N N图像采样图像采样空间坐标(x,y)的数字化被称为图像采样确定水平和垂直方向上的像素个数N、MM M函数取值的数字化被称为图像的量化，如 量化到256个灰度级f图像的量化图像的量

23、化图像的采样与数字图像的质量图像的采样与数字图像的质量图像的采样与数字图像的质量图像的采样与数字图像的质量1024102451251225625612812864643232265x180133x9066x4533x22图像的采样与数字图像的质量图像的采样与数字图像的质量256灰度级灰度级16灰度级灰度级8灰度级灰度级4灰度级灰度级图像的量化与数字图像的质量图像的量化与数字图像的质量非统一的图像的采样 在灰度级变化尖锐的区域，用细腻的采样， 在灰度级比较平滑的区域，用粗糙的采样图像的采样和量化图像的采样和量化图像的采样和量化图像的采样和量化非统一的图像的量化 在边界附近使用较少的灰度级。剩余的

24、 灰度级可用于灰度级变化比较平滑的区 域 避免或减少由于量化的太粗糙，在灰度 级变化比较平滑的区域出现假轮廓的现 象数字图像处理基础数字图像处理基础图像的采样和量化图像的采样和量化数字图像的表示数字图像的表示数字图像的质量数字图像的质量像素间的一些基本关系像素间的一些基本关系二维离散亮度函数f(x,y)x，y说明图像像素的空间坐标函数值 f 代表了在点(x,y)处像素的灰度 值二维矩阵Am,nm , n说明图像的宽和高。 矩阵元素a(i，j)的值，表示图像在第 i 行，第 j 列的像素的灰度值；i,j表示几何 位置数字图像的表示数字图像的表示图像描述信息如图像高度和宽度等 信息图像数据顺序存放

25、的连续数据BMP格式1.位图文件头2.位图信息头3.调色板4.图像数据headData数字图像的表示数字图像的表示typedef struct tagBITMAPFILEHEADERWORDDWORD WORD WORD DWORDbfType;bfSize; bfReserved1; bfReserved2; bfOffBits;/文件类型，必须是字符串”BM”/指定文件大小/保留字，不考虑/保留字，不考虑/从文件头到位图数据的偏移字节数 BITMAPFILEHEADER;BMPBMP格式格式1 1、位图文件头、位图文件头typedef struct tagBITMAPINFOHEADERD

26、WORD LONG LONG WORD WORD DWORD DWORD LONG LONG DWORD DWORDbiSize; biWidth; biHeight; biPlanes; biBitCount biCompression; biSizeImage;biXPelsPerMeter; biYPelsPerMeter; biClrUsed; biClrImportant;/该结构的长度，40个字节/图像的宽度，单位是像素/图像的高度，单位是像素/必须是1/颜色位数，如1，4，8，24/压缩类型，如BI_RGB,BI_RLE4/实际位图数据占用的字节数/水平分辨率/垂直分辨率/实际使

27、用的颜色数/重要的颜色数 BITMAPINFOHEADER;BMPBMP格式格式2 2、位图信息头、位图信息头BMPBMP格式格式3 3、调色板、调色板typedef struct tagRGBQUADBYTE BYTE BYTE BYTErgbBlue; rgbGreen; rgbRed; rgbReserved;/该颜色的蓝色分量/该颜色的绿色分量/该颜色的红色分量/保留值，不考虑 RGBQUAD;注：有些位图不需要调色板，如真彩色图， 它们的BITMAPINFOHEADER后面直接是位图数据BMPBMP格式格式4 4、实际的图像数据、实际的图像数据对于对于2 2色位图，色位图，1 1位表

28、示一个像素颜色，位表示一个像素颜色， 所以一个字节表示所以一个字节表示8 8个像素个像素对于对于1616色位图，色位图，4 4位表示一个像素颜色，位表示一个像素颜色， 所以一个字节表示所以一个字节表示2 2个像素个像素对于对于256256色位图，色位图，1 1个字节表示个字节表示1 1个像素个像素对于真彩色图，对于真彩色图，3 3个字节表示一个像素个字节表示一个像素数字图像处理基础数字图像处理基础图像的采样和量化图像的采样和量化数字图像的表示数字图像的表示数字图像的质量数字图像的质量像素间的一些基本关系像素间的一些基本关系图像的质量：图像的质量：1 1、层次、层次灰度级：表示像素明暗程度的整数

29、量例如：像素的取值范围为0-255，就称该 图像为256个灰度级的图像层次：表示图像实际拥有的灰度级的 数量例如：具有32种不同取值的图像，可称 该图像具有32个层次图像数据的实际层次越多，视觉效果就越好256个层次的图像16个层次的图像64个层次的图像图像的质量：图像的质量：1 1、层次、层次图像的质量：图像的质量：2 2、对比度、对比度对比度：是指一幅图像中灰度反差的大小 对比度 = 最大亮度 / 最小亮度 与清晰度相关的主要因素 亮度 对比度 尺寸大小 细微层次 颜色饱和度图像的质量：图像的质量：3 3、清晰度、清晰度降低亮度影响清晰度因素影响清晰度因素1 1、亮度、亮度原图降低对比度原

30、图影响清晰度因素影响清晰度因素2 2、对比度、对比度缩小尺寸原图影响清晰度因素影响清晰度因素3 3、尺寸大小、尺寸大小减少细微层次原图影响清晰度因素影响清晰度因素4 4、细微层次、细微层次降低颜色饱和度原图影响清晰度因素影响清晰度因素5 5、颜色饱和度、颜色饱和度数字图像处理基础数字图像处理基础图像的采样和量化图像的采样和量化数字图像的表示数字图像的表示数字图像的质量数字图像的质量像素间的一些基本关系像素间的一些基本关系像素间的一些基本关系像素间的一些基本关系相邻像素：4邻域D邻域8邻域连通性4连通8连通m连通距离(x-1,y)P(x+1,y)4邻域：像素p(x,y)的4邻域是： (x+1,y

31、)；(x-1,y)；(x,y+1)；(x,y-1)用N4(p)表示像素p的4邻域(x,y+1)(x,y-1)相邻像相邻像素素4 4邻域邻域D邻域定义：像素p(x,y)的D邻域是：对角上的点 (x+1,y+1)；(x+1,y-1)；(x-1,y+1)；(x-1,y-1)用ND(p)表示像素p的D邻域相邻像素相邻像素D D邻域邻域(x-1,y+1)(x+1,y+1)(x-1,y-1)(x+1,y-1)P相邻像素相邻像素8 8邻域邻域8邻域定义：像素p(x,y)的8邻域是： 4邻域的点 D邻域的点用N8(p)表示像素p的8邻域。 N8(p) = N4(p) + ND(p)P 连通性是描述区域和边界的

32、重要概 念 两个像素连通的两个必要条件是： 两个像素的位置是否相邻 两个像素的灰度值是否满足特定的相 似性准则（或者是否相等） 4连通、8连通、m连通的定义像素间的连通性像素间的连通性 对于具有值V的像素p和q，如果q在 集合N4(p)中，则称这两个像素是4 连通的像素的连通性像素的连通性4 4连通连通pq像素的连通性像素的连通性8 8连通连通 对于具有值V的像素p和q，如果q在集 合N8(p)中，则称这两个像素是8连通 的pq对 于 具 有 值 V 的 像 素 p 和 q ，如 果 :I.q在集合N4(p)中，或II.q在集合ND(p)中，并且N4(p)与N4(q) 的交集为空（没有值V的像

33、素） 则称这两个像素是m连通的，即4连通和D连通的混合连通。像素的连通性像素的连通性m m连通连通是m连通不是m连通像素的连通性像素的连通性 m m连通连通p qp q 通路的定义一条从具有坐标(x,y)的像素p,到具有坐标(s,t) 的像素q的通路，是具有坐标(x0,y0),(x1,y1),.,(xn,yn)的不同像素的序列。其中，(x0,y0) = (x,y)，(xn,yn) = (s,t)， (xi,yi) 和(xi-1,yi-1)是邻接的，1 i n，n 是路径的长度。如果(x0,y0) = (xn,yn) ,则该通 路是闭合通路像素的连通性像素的连通性通路通路像 素 之 间 距 离

34、的 定 义欧 氏 距 离 定 义D4距 离 （ 城 市 距 离 ） 定 义D8距 离 （ 棋 盘 距 离 ） 定 义像素的连通性像素的连通性距离距离像素之间距离的定义像素之间距离的定义对于像素p、q和z，分别具有坐标(x,y)， (s,t)和(u,v)，如果(1) D(p,q) 0 (D(p,q)=0，当且仅 当p =q),(2) D(p,q)=D(q,p)(3)D(p,z) D(p,q) + D(q,z) 则称D是距离函数或度量欧式距离定义欧式距离定义 像素p(x,y)和q(s,t)间的欧式距离定 义如下：D p, q x s2 y t2e 对于这个距离计算法，具有与(x,y) 距离小于等于

35、某个值r的像素是：包含 在以(x,y)为圆心，以r为半径的圆平 面D D4 4距离（城市距离）距离（城市距离）像素p(x,y)和q(s,t)之间的D4距 离定义为：D4(p,q) = |x s| + |y t|具有D4= 1的像素是(x,y)的4邻域rD D4 4距离举例距离举例 具有与(x,y)距离小于 等于某个值r的那些像 素形成一个菱形例如，与点(x,y)（中 心点）D4距离小于等 于2的像素，形成右边 固定距离的轮廓22 1221 01 22 122D D8 8距离（棋盘距离）距离（棋盘距离） 像素p(x,y)和q(s,t)之间的D8距离定义为：D8(p,q) = max(|x s|

36、,|y t|)rD D8 8距离举例距离举例 具有与(x,y)距离小于 等于某个值r的那些像 素形成一个正方形例如，与点(x,y)（中心点）D 距离小于等8于2的像素，形成右边固定距离的轮廓具有D8= 1的像素是(x,y)的8邻域22 22221 11221 01221 11222 222数字图像处理（数字图像处理（1 1）任何问题？任何问题？研究生课程研究生课程数字图像处理数字图像处理 Digital Image ProcessingDigital Image Processing彭宇新彭宇新 北京大学计算机科学技术研北京大学计算机科学技术研究所究所 E_mail:E_mail:研究生课程研

37、究生课程图图 像像 增增 强强处理策略处理策略处理方法处理方法 空域方法空域方法点处理（变换）点处理（变换）模板处理（滤波）模板处理（滤波）频域方法频域方法 全局处理全局处理局部处理局部处理处理对处理对象象灰度图像灰度图像彩色图像彩色图像空间域图像增强空间域图像增强基础知识基础知识基本概念基本概念点运算点运算代数运算代数运算直方图运算直方图运算应用实例应用实例镜头边界的检测（补充知识）镜头边界的检测（补充知识）空间滤波器空间滤波器平滑空间滤波器平滑空间滤波器锐化空间滤波器锐化空间滤波器基本概念基本概念图像增强分为两类：图像增强分为两类：空间域增强：对图像的像素直接处理空间域增强：对图像的像素直

38、接处理频域增强频域增强 ： 修改图像的傅里叶变换（后面介绍）修改图像的傅里叶变换（后面介绍）空间域增强：空间域增强： gx, y Tf x, yf(x,y)f(x,y)是原图像是原图像g(x,y)g(x,y)是处理后的图像是处理后的图像T T是作用于是作用于f f的操作，定义在的操作，定义在(x,y)(x,y)的邻域的邻域空间域增强的简化形式：空间域增强的简化形式： s Trr r是是f(x,y)f(x,y)在任意点在任意点(x,y)(x,y)的灰度级的灰度级s s是是g(x,y)g(x,y)在任意点在任意点(x,y)(x,y)的灰度级的灰度级点运算点运算点运算点运算1 1反转变换，反转变换，

39、2 2对数变换对数变换0,L-10,L-1为图像的灰度级。作用：黑的变白，白的变黑为图像的灰度级。作用：黑的变白，白的变黑有时原图的动态范围太大，超出某些显示设备的允许有时原图的动态范围太大，超出某些显示设备的允许 动态范围，如直接使用原图，则一部分细节可能丢失动态范围，如直接使用原图，则一部分细节可能丢失解决办法是对原图进行灰度压缩，如对数变换解决办法是对原图进行灰度压缩，如对数变换反转变换反转变换：s L 1 r对数变换对数变换：s c log1 rc c是常数是常数r 0点运算点运算1 1反转变换，反转变换，2 2对数变换对数变换图图a a显示了值为显示了值为0 0- - 1.5106

40、的的傅里叶频谱傅里叶频谱在一个在一个8 8位的系统中显示位的系统中显示图图b b显示了对数变换在显示了对数变换在8 8位系统中的显示结果位系统中的显示结果a ab b点运算点运算3 3幂次变换幂次变换幂次变换：幂次变换：s cr c c和和 是正常数是正常数 1 提高灰度级，在正比函数上方，使图像变亮提高灰度级，在正比函数上方，使图像变亮 1 降低灰度级，在正比函数下方，使图像变暗降低灰度级，在正比函数下方，使图像变暗例：人体胸上部脊椎骨折的核磁共振图像例：人体胸上部脊椎骨折的核磁共振图像 1 提高灰度级，使图像变亮。提高灰度级，使图像变亮。c=1c=1, , 0.6,0.4,0.3点运算点运

41、算3 3幂次变换幂次变换 0.4增强效果最好增强效果最好点运算点运算3 3幂次变换幂次变换 5例：航空地面图像例：航空地面图像 1降低灰度级，使图像变暗降低灰度级，使图像变暗c=1,c=1, 3,4,5 3 4点运算点运算4 4对比度拉伸对比度拉伸思想：提高图像处理时灰度级思想：提高图像处理时灰度级 的动态范围的动态范围点运算点运算5 5灰度级切片灰度级切片关心范围指定较高值，关心范围指定较高值， 其它保持不变其它保持不变r rr r关心范围指定较高值，关心范围指定较高值， 其它指定较低值其它指定较低值s ss sa a变换变换b b变换变换一幅一幅图图像像a a变换结果变换结果0255255

42、点运算点运算5 5灰度级切片灰度级切片点运算点运算6 6位平面切片位平面切片位平面切片位平面切片 假设图像中每个像素的灰度级是假设图像中每个像素的灰度级是256256，这可，这可以用以用8 8位来表位来表示，假设图像是由示，假设图像是由8 8个个1 1位平面组成，范围从位平面位平面组成，范围从位平面0 0到位到位平面平面7 7。其中，位平面。其中，位平面0 0包含图像中像素的最低位，位平面包含图像中像素的最低位，位平面 7 7包含像素的最高位包含像素的最高位点运算点运算6 6位平面切片位平面切片作用作用通过对特定位提高亮度，改善图像质量通过对特定位提高亮度，改善图像质量较高位（如前较高位（如前

43、4 4位）包含大多数视觉重要数位）包含大多数视觉重要数 据据较低位（如后较低位（如后4 4位）对图像中的微小细节有位）对图像中的微小细节有 作用作用分解为位平面，可以分析每一位在图像中的分解为位平面，可以分析每一位在图像中的 相对重要性相对重要性点运算点运算6 6位平面切片位平面切片一幅一幅8 8比特分形图像比特分形图像点运算点运算6 6位平面切片位平面切片代数运算代数运算算术运算算术运算加加减减乘乘除除: :一幅图像取反和另一幅图像相乘一幅图像取反和另一幅图像相乘逻辑运算逻辑运算非非与与或或异或异或加法运算的定义C(x,y) = A(x,y) + B(x,y)主要应用举例 去除叠加性噪声 生

44、成图像叠加效果代数运算代数运算加法加法去除叠加性噪声对于原图像f(x,y),有一个噪声图像集 gi(x,y) i =1,2,.N其中：gi(x,y) = f(x,y) + h(x,y)i假设噪声h(x,y)均值为0，且互不相关 N个图像的均值定义为：g(x,y) = 1/N(g0(x,y)+g1(x,y)+ gN(x,y)期望值E(g(x,y) = f(x,y)上述图像均值将降低噪声的影响代数运算代数运算加法加法代数运算代数运算加法加法原图原图噪声图像噪声图像N=8N=8N=16N=16N=64N=64N=128N=128去除叠加性噪声星系图举例N=8N=8N=16N=16N=64N=64N=

45、128N=128去除叠加性噪声星系图举例灰灰度度级级差差 别别 越越 小小， 图图像像 越越暗暗原图与均值图像的差值图像和直方图像素个数像素个数均均值值 减减 小小， 标标 准准 差差 减减 小小生成图像叠加效果 对于两个图像f(x,y)和h(x,y)的均值有：g(x,y) = 1/2f(x,y) + 1/2h(x,y) 推广这个公式为：g(x,y) = f(x,y) + h(x,y)其中+= 1可以得到各种图像合成的效果，也可以用于 两张图片的衔接代数运算代数运算加法加法代数运算代数运算加法加法减法的定义C(x,y) = A(x,y) - B(x,y)主要应用举例显示两幅图像的差异，检测同一

46、场景两 幅图像之间的变化如：视频中镜头边界的检测去除不需要的叠加性图案图像分割：如分割运动的车辆，减法去 掉静止部分，剩余的是运动元素和噪声代数运算代数运算减法减法 检测同一场景两幅图像之间的变化设：时间1的图像为T1(x,y)， 时间2的图像为T2(x,y)g(x,y) = T2(x,y) - T1(x,y)例：视频中镜头边界的检测(后面介绍)代数运算代数运算减法减法去除不需要的叠加性图案设：背景图像 b(x,y) ，前景背景混合 图 像 f(x,y)g(x,y) = f(x,y) b(x,y)g(x,y) 为去除了背景的图像。代数运算代数运算减法减法代数运算代数运算减法减法g(x,y)叠加

47、蓝色背景叠加蓝色背景减去背景减去背景b(x,y)b(x,y)去除不需要的叠加性图案 例：电视制作的蓝屏技术问题？问题？f(x,y)代数运算代数运算乘法乘法乘法的定义C(x,y) = A(x,y) * B(x,y)主要应用举例图像的局部显示 用二值蒙板图像与原图像做乘法代数运算代数运算乘法乘法非的定义g(x,y) = 255 - f(x,y)主要应用举例 获得一个阴图像 获得一个子图像的补图像代数运算代数运算1、非、非代数运算代数运算1、非、非获得一个阴图像=代数运算代数运算1、非、非获得一个子图像的补图像与运算的定义g(x,y) = f(x,y) h(x,y)主要应用举例求两个子图像的相交子图

48、 =代数运算代数运算2、与、与代数运算代数运算2、与、与模板运算：提取感兴趣的子图像或运算的定义g(x,y) = f(x,y) v h(x,y)主要应用举例合并子图像 =代数运算代数运算3、或、或代数运算代数运算3、或、或模板运算：提取感兴趣的子图像异或运算的定义g(x,y) = f(x,y) h(x,y)主要应用举例获得相交子图像代数运算代数运算4、异或、异或 =直方图运算直方图运算直方图定义直方图定义直方图均衡化直方图均衡化一个灰度级在范围0，L-1的数字图像的直 方图是一个离散函数h(rk)= nknk是图像中灰度级为rk的像素个数rk 是第k个灰度级，k = 0,1,2,L-1由于rk

49、的增量是1，直方图可表示为：p(k)= nk 即，图像中不同灰度级像素出现的次数直方图定义直方图定义图像直方图的定义（1）图像直方图的定义（2）一个灰度级在范围0，L-1的数字图像的直 方图是一个离散函数p(rk)= nk/nn 是图像的像素总数 nk是图像中灰度级为rk的像素个数rk 是第k个灰度级，k = 0,1,2,L-1直方图定义直方图定义两种图像直方图定义的比较其中，定义（2） 使函数值正则化到0,1区间，成为实数函 数 函数值的范围与象素的总数无关 给出灰度级rk在图像中出现的概率密度统计直方图定义直方图定义h(rk)= nk定义(1)p(rk)= nk/n定义(2)图像直方图的定

50、义举例p(rk) rk直方图定义直方图定义灰度级灰度级rk像素数像素数目目p(rk)直方图均衡化达到的效果直方图均衡化达到的效果直方图应用举例直方图均衡化 希望一幅图像的像素占有全部可能的灰度级 且分布均匀，能够具有高对比度 使用的方法是灰度级变换：s = T(r) 基本思想是把原始图的直方图变换为均匀分 布的形式，这样就增加了像素灰度值的动态 范围，从而达到增强图像整体对比度的效果直方图均衡化直方图均衡化直方图均衡化直方图均衡化0r1s=T(r)T(r)满足下列两个条件：（1）T(r)在区间0r1中为单值且单调递增（2）当0r1时,0T(r) 1条件（1）保证原图各灰度级在变换后仍保持从黑

51、到白（或从白到黑）的排列次序条件（2）保证变换前后灰度值动态范围的一致性直方图均衡化直方图均衡化Pr(r)是r的概率密度函数，Ps(s)是s的概 率密度函数，Pr(r)和T(r)已知，且T-1(s) 满足上述条件(1)，所以dssrPs Pr dr直方图均衡化直方图均衡化r已知一种重要的变换函数：s T r 0 pr w dwdsdTdrdrrrrpw dw pr drr d 0关于上限的定积分的导数就是该上限的积分值（莱布尼茨准则）1 1pr pr drrrps s pr r ds直方图均衡化直方图均衡化n对于离散值：prnkrkjrjkknnprs T r kj 0j 0k0,1,2,L-

52、1sk称作直方图均衡化将输入图像中灰度级为rk（横坐标）的像素映射 到输出图像中灰度级为sk （横坐标）的对应像素 得到已知变换函数的离散形式为：kjrjnnp r sk Trk kj0kj0直方图均衡化直方图均衡化r rk ks sk k应用应用镜头边界的检测镜头边界的检测为什么要补充该部分知识？为什么要补充该部分知识？涉及两幅图像相减涉及两幅图像相减涉及直方图知识涉及直方图知识涉及两幅图像直方图的相减涉及两幅图像直方图的相减什么是镜头？什么是镜头？镜头检测方法镜头检测方法1 1连续帧相减连续帧相减镜头检测方法镜头检测方法2 2连续帧的直方图相减连续帧的直方图相减镜头检测方法镜头检测方法3

53、3时空切片分析时空切片分析什么是镜头？什么是镜头？ 从视频的制造产生来看，视频由一个个镜头 (shot)所组成 一个镜头是指一系列连续记录的图像帧，用于 表示一个时间段或相同地点连续的动作 镜头由摄像机一次摄像的开始和结束所决定什么是镜头？什么是镜头？检测到镜头及由镜头产生的关键帧，可以：检测到镜头及由镜头产生的关键帧，可以：提供基于关键帧的视频浏览提供基于内容的视频检索和查询计算机自动分析和总结，节省人力和时间使海量视频数据的管理和索引成为可能镜头检测方法镜头检测方法1 1连续帧相减连续帧相减算法原理算法原理：计算相邻两帧像素变化的数目。当 超过设定的阈值时，即找到镜头的边界缺点缺点：对摄像

54、机运动敏感，如放缩、平移解决办法解决办法：通过滤波器的使用来降低。在比较 一帧的每个像素前，用它的邻近区域的平均值来代 替，这也过滤了输入图像的一些噪声镜头检测方法镜头检测方法2 2直方图相减直方图相减算法原理：算法原理：统计相邻两帧中所有像素在 不同灰度（颜色）上的分布差异，当差异 的累加值超过阈值T时，即检测到镜头边界（后面有算法的详细说明）优点：优点：对对象运动不敏感，因为直方图 忽略了帧内的空间变化 缺点：缺点：可能两个图像有类似的直方图但 却是完全不同的内容。然而，这种事件的 概率是足够低镜头检测方法镜头检测方法2 2直方图相减直方图相减（1）首先计算相邻两帧颜色分布差值的均值和方差

55、镜头检测方法镜头检测方法2 2直方图相减直方图相减参考文献：参考文献：H.J.Zhang,A.Kankanhalli,and S.W.Smoliar, “Automatic Partitioning of Full-Motion Video”. ACM Multimedia System,Apr.1993.镜头检测方法镜头检测方法3 3时空切片分析时空切片分析什么是时空切片spatio-temporal slices？镜头检测方法镜头检测方法3 3时空切片分析时空切片分析颜色和纹理的不连续，表明镜头边界的出现镜头检测方法镜头检测方法3 3时空切片分析时空切片分析纹理的方向表明摄像机和对象的不同

56、运动镜头检测方法镜头检测方法3 3时空切片分析时空切片分析参考文献：C.W.Ngo,T.C.Pong,and R.T.Chin. “Video Partitioning by Temporal Slice Coherency”. IEEE Transactions on Circuits and Systems for Video Technology, Aug.2001.空间域图像增强空间域图像增强基础知识基础知识基本概念基本概念点运算点运算代数运算代数运算直方图运算直方图运算应用镜头边界的检测应用镜头边界的检测空间滤波器空间滤波器平滑空间滤波器平滑空间滤波器锐化空间滤波器锐化空间滤波器空间

57、滤波器空间滤波器空间滤波和空间滤波器的定义空间滤波和空间滤波器的定义 使用空间模板进行的图像处理，被称为空间滤波。模板本身被称为空间滤波 器空间滤波和空间滤波器的定义空间滤波和空间滤波器的定义在在 MN 的的图像图像f f上，使上，使用用 mn 的的滤波器：滤波器：abgx, y ws, t f x s, y t sat b其中，其中，m=2a+1,n=2b+1, w(s,t)m=2a+1,n=2b+1, w(s,t)是滤波是滤波器系数，器系数，f(x,y)f(x,y)是图像值是图像值空间滤波的简化形式：空间滤波的简化形式：mnR w1z1 w2z2 .wmnzmn wi zii1其中，其中，

58、w w是滤波器系数，是滤波器系数，z z是与该系数对应的图是与该系数对应的图 像灰度值，像灰度值，mnmn为滤波器中包含的像素点总数为滤波器中包含的像素点总数平滑空间滤波器的作用平滑空间滤波器的作用模糊处理模糊处理: :去除图像中一些不重要的细节去除图像中一些不重要的细节减小噪声减小噪声平滑空间滤波器的分类平滑空间滤波器的分类线性滤波器：均值滤波器线性滤波器：均值滤波器非线性滤波器非线性滤波器最大值滤波器最大值滤波器中值滤波器中值滤波器最小值滤波器最小值滤波器线性滤波器线性滤波器包含在滤波器邻域内像素的平均值，也包含在滤波器邻域内像素的平均值，也 称为均值滤波器称为均值滤波器作用作用减小图像灰

59、度减小图像灰度的的“尖尖锐锐”变化，减小噪变化，减小噪 声声由于图像边缘是由图像灰度尖锐变化由于图像边缘是由图像灰度尖锐变化 引起的，所以也存在边缘模糊的问题引起的，所以也存在边缘模糊的问题线性滤波器线性滤波器ababws, t sat bws, t f x s, y t gx, y sat ba ab b图图a a是标准的像素平均值是标准的像素平均值 图图b b是像素的加权平均，是像素的加权平均，表明一些像素更为重要表明一些像素更为重要线性滤波器线性滤波器例例1 1原图原图3 3 x x 3 35 5 x x 5 59 9 x x 9 915 x 1515 x 1535 x 3535 x 3

60、5线性滤波器线性滤波器例例2 2原图原图15 x 1515 x 15阈值阈值2525 x x b b图像的最高亮度图像的最高亮度提取感兴趣物体而模糊图像提取感兴趣物体而模糊图像什么是统计排序滤波器？什么是统计排序滤波器？是一种非线性滤波器是一种非线性滤波器基于滤波器所在图像区域中像素的排序，由基于滤波器所在图像区域中像素的排序，由 排序结果决定的值代替中心像素的值排序结果决定的值代替中心像素的值分类分类中值滤波器：中值滤波器： 用像素领域内的中间值代替该像素用像素领域内的中间值代替该像素最大值滤波器：用像素领域内的最大值代替该像素最大值滤波器：用像素领域内的最大值代替该像素最小值滤波器：用像素