数字图像处理及基本知识

.,数字图像处理相关基本知识主讲：吴发根,.,图像处理的内容相当丰富，涉及的相关知识和领域也非常宽广。本章从应用的角度介绍一些与图像和数字处理密切相关的图像的基本知识，为后续各章内容的学习做准备。,.,第二章图像的基本知识,2.1图像的概念2.2图像信息的分类2.3图像的获取及图像函数2.4图像的数字化和图像描述2.5图像的统计特性2.6常用的图像文件格式2.7计算机图像数据处理2.8图像质量评价2.9彩色图像简介,.,2.1图像的概念,“图像”一词在汉语中很难给出一个明确的定义。三个与图像有关的英语词：“Picture”、“image”和“Pattern”。“Picture”画、图画、图像、图片、电影等等；“image”像、图像、景像、映像、影像、映射等；“Pattern”模型、式样、样本、图案、图、图形等。,.,三个词大致可做如下区分：“Picture”是指与照片等相似的用手工描绘的人物或景物，其中侧重于手工描绘的一类“画”。,.,“image”是指用镜头等科技手段得到的视觉形象。一般来讲可定义为“以某一技术手段被再现于二维画面上的视觉信息”。通俗的说就是指那些用技术手段把目标（Object）原封不动的一模一样的再现的景物。它包含用计算机等机器产生的景物。,.,“Pattern”指的是图形，在拉丁语中指裁衣服的纸样。因此，它主要是指图案、曲线、图形。综上所述我们所说的图像处理应是“ImageProcessing”。这里要处理的主要是属于照片、复印图、电视、传真、计算机显示的一类图像。,.,2.2图像信息的分类：,图像信息的种类是多种多样的，这里就常见的图像信息进行简单的分类。概括起来，图像信息大致可分成三类，即：符号信息景物信息情绪信息。,.,（1）符号图像信息一般是用文字、符号、图形等表示的具体的或抽象的事物。例如文字，利用文字可组成文章，可以看成是用二值图像的形式携带这篇文章的寓意。最有代表意义的符号图像信息是电路图、机械图、建筑图等，它们都是用二值图像的形式向人们提供信息的。符号信息是以某一规则排列的记号，因此，在传送及处理中只要能表达清楚就可以了，它允许有较大的压缩。,.,（2）景物图像信息这是一种能给人以主观感觉但并不取决于人本身的客观场景信息。一般来讲它包含有丰富的内容，所含的信息量也较多。其特点是景物画面的内容比较复杂，在传输和处理中做到较大的压缩比较困难，在人机识别中需要较大的信息量。但在事先设定某种条件的情况下，是有可能在任何情况下保证正确判断的。,.,（3）、情绪图像信息这是一类依赖于受信者的图像信息，它不仅能给人以直观感觉，而能以其特殊的艺术内容刺激人的感官，使受信者“触景生情”引起感情上的波动和情绪上的共鸣。因此，它包含有更多的信息。这类图像信息不仅取决于图像本身的内容而且还与受信者的经历、文化修养、年龄、嗜好以及此时此刻的心境情绪有密切关系。因此，这类图像不仅无法考虑其概率模型，而且明确其信息量也是极其困难的。,.,以上是从图像所携带的信息的种类出发进行简单分类的。当然还可以从其他角度出发进行分类。如把图像分成静止图像和活动图像、单色图像和彩色图像等。在我们数字图像处理中所涉及到的是一些最普通类型的图像，它们的突出特点是都具有特殊的统计特性，并且有专门的应用。它包括：,.,TV型的自然风景：常见有的图片，如肖象、风景画、建筑物照片等。空间摄影照片和地球资源探测图片：这类图片的特点是往往没有适宜的方向，构图不十分明显，除了海岸线外，没有可区别的形状。电子显微镜照片和标准的显微镜照片：这是一类在冶金学、生物学、医学以及石油探测等都很感兴趣的一类照片。文本：这是指一类打印或手写的记号图像。图样：它们通常就是简单地由线段和图形构成的单色二值图像。专用图像：如：X射线照片、微波照片、红外热象或超声波图像等。这些图像各有特点，与在可见光下得到的图像有所不同。注：在今后讲课中所提到的一些图像只是极少数的有代表性而又实用的图像。这些图像经过研究大部分可以找到较为近似的模型和规律，这对方便处理和深入研究来讲无疑都是十分有利的。,.,图像是由照射源和形成图像的场景元素对光能的反射或吸收相结合而产生的。,照射源:可由传统光源引起如可见光等,也可由非传统光源引起如超声波等;,场景:可以是人们日常可见的物体，也可以是分子等。,获取图像的要素:,2.3图像的获取及图像函数(1)图像获取,.,图2-1显示了用来把照射能量变为数字图像的三种主要传感器装置。其原理是：利用对特殊类型能源敏感的传感器材料，把输入能源转换变为输出电压波形，然后将其数字化，从而得到数字图像信息。,.,2-1(c)传感器阵列,输出电压波形,能量,滤光器,电源输入,外壳,敏感材料,2-1(a)单个成像传感器,b),2-1(b)带状传感器,.,a.用单个传感器获取图像为用单个传感器获取二维图像，传感器和场景对象之间必须在x和y方向有相对位移。下图显示了一个高精度扫描装置（鼓形扫描或光电滚筒扫描器）。,.,工作原理为:,把一张图片装在一个滚筒上，滚筒由相应的装置驱动其转动，使传感器相对于图像做垂直方向运动。传感器安装在引导螺杆上，它可以在水平方向上移动。,.,其工作过程为:,图像,传感器,电压信号,数字图像,.,优点:,b.用带状传感器获取图像,在获取数字图像中更常用的是由单个传感器按线状排列而形成的带状传感器或传感器带,如下图,b),缺点:,是得到高分辨率图像的廉价方法,速度太慢,.,传感器带在一个方向上提供成像单元。相对于传感器带垂直方向的运动在另一方向上成像,如下图所示:,这是大多数平板扫描仪所用的装置。成像传感器带一次输出一幅图像的一行，随着传感器带的运动完成二维图像的获取。,线性移动,.,传感器带也可以安装成圆环形状，称为传感器环或环形传感器带它主要用于医学和工业成像，以得到三维物体的横断截面（切片）图像，如右图所示:,一个旋转的X射线源提供照射，而相对于射线源的传感器部分接受通过物体的X射线能量。,.,c.用传感器阵列获取图像将各个传感器以二维阵列形式排列就形成了传感器阵列。这是在数字摄像机上常见的主要结构。如右图:,.,下图是用传感器阵列获取数字图像的过程,照射(能)源,成像系统,(内部)图像平面,输出(数字化后的)图像,场景元素,.,右图所示的传感器阵列是二维的，主要优点是把图形能量聚焦到阵列表面一次就能得到完整的图像。,.,(2)图像函数,图像是用某一技术手段获得的、能为人的视觉系统所感受的信息形式。图像的实质:客观世界反射或透射某种物质能量的分布图,这种物质可能是可见光、X射线、红外线、超声波等。,.,(2)数字图像的描述,.,实际上，一幅自然的、模拟的图像经过数字化进入计算机后，一般都是用点位图来表示和描述的。一幅图像由许许多多描述每个像素的数据组成，这些数据通常称为图像数据，而这些数据通常是作为一个文件来存储的，这种文件又称为图像文件。点位图的获取通常用扫描仪、摄像机、激光视盘与视频信号数字化卡一类设备，通过这些设备把模拟的图像信号变成数字图像数据。,.,影响点位图文件大小的因素：,图像分辨率：分辨率越高，就是组成一幅图的像素越多，则图像文件越大。,像素深度：像素深度越深，就是表达单个像素的颜色和亮度的位数越多，图像文件越大。,点位图表示和描述的模式可分为：黑白图像、灰度图像、彩色图像。,.,a.黑白图像,定义：只有黑白两种颜色的图像称为黑白图像或单色图像，是指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为二值图像。特点：二值图像的像素值只能为0和1，图像中的每个像素值用1位存储。,.,b.灰度图像,定义：灰度图像是指每个像素的信息由一个量化的灰度级来描述的图像。如果每个像素的灰度值用一个字节表示，灰度值级数就等于256级，每个像素可以是0255之间的任何一个数。,特点：它只有亮度信息，没有颜色信息。占据存储空间较黑白图像要大。,.,图2-9黑白图像,图2-10灰度图像,.,c.彩色图像,定义：彩色图像除有亮度信息外，还包含有颜色信息。,特点：彩色图像的表示与所采用的彩色空间，即彩色的表示模型有关。同一幅彩色图像如果采用不同的彩色空间表示，对其的描述可能会有很大不同。,.,举例：以RGB（红绿蓝）彩色空间为例来简要说明彩色图像。在RGB彩色空间中，一幅彩色数字图像的各个像素的信息由RGB三原色信息构成，其中R(红)、G（绿）、B（蓝）是由不同的灰度级来描述的，三者共同决定了像素的亮度和色彩。彩色图像可按照颜色的数目来划分。例如，256色图像和真彩色图像（2的16次方216777216种颜色）等。,.,图23帧差值信号分布密度特性,由图可见，变化剧烈的图像与变化缓慢的图像其差值的分布是不一样的。,对于电视信号来说，除了像素间的差值外，还存在帧间差值。对帧间差值信号的分布密度特性测定的结果如图23所示。,.,2.6常用的图像文件格式,常用的静态图像文件格式,BMP,GIF,TIFF,JPEG,数字图像在计算机中是以图像文件的形式存放的，图像文件的格式一般包含文件数据的存储形式、大小、起止位置等内容。,.,(1)BMP文件格式,定义：BMP文件又称为位图文件（bitmap,简称BMP），是一种与设备无关的图像文件格式。,特点：是一种位映射的存储形式。,BMP文件的划分：,分四个域,位图文件参数头域,位图参数头域,调色板域,位图数据域,.,位图文件参数头域包含关于这个文件的信息，例如从哪里开始是位图数据的定位信息。位图参数头域含有关这幅图像的信息，例如以像素为单位的宽度和高度、位图的彩色、压缩方法等。调色板域中有图像颜色的RGB值定义。位图数据域是图像数据，用BYTE数据结构。其数据取决于压缩方法。,.,(2)GIF文件格式定义：即图形交换格式,GraphicsInterchangeFormat,简称GIF。特点:GIF文件格式支持216M种颜色，单个文件的多重图像，按行扫描的快速解码、有效地压缩以及硬件无关性。GIF图像文件以数据块(Block)为单位来存储图像的相关信息。数据块的分类如下:,.,控制块,专用块,图形描绘块,GIF文件头,逻辑屏幕描述块,图形控制扩展块,文件结束块,图像描述块,无格式文件扩展块,注释扩展块,应用扩展块,包含有用来控制数据流或者设置硬件参数的信息,包含有用来描绘在显示设备上显示图形的信息和数据,包含有与图像处理无关的信息,.,(3)TIFF文件格式,定义：标记图像文件格式（TagImageFileFormat,简称TIFF）是基于标志域的图像文件格式。有关图像的所有信息都存储标志域中，如图像的大小、所用计算机型号、制造商、图像的作者、说明、软件及数据。,特点：TIFF文件是一种极其灵活易变的格式，它可以支持多种压缩方法，TIFF文件一般比较大。,存储形式：图像数据以“条状”形式存储，可以通过图像文件目录中的登记项找到需要的图像数据。,.,(4)JPEG文件格式,定义:JPEG是JointPhotographicExpertsGroup（联合图像专家组）的缩写，是用于连续色调静态图像压缩的一种标准。其主要方法是采用预测编码（DPCM）、离散余弦变换（DCT）以及熵编码，以去除冗余的图像和彩色数据，属于有损压缩方式。,.,特点:JPEG是一种高效率的24位图像文件压缩格式，同样一幅图像，用JPEG格式存储的文件是其他类型文件的1/10-1/20，通常只有几十KB，而颜色仍然是24位，其质量损失非常小，基本上无法看出.,扩展名:jpg或jpeg。,.,JPEG文件的由下面8个部分组成：1）图像开始SOI标记。2）APPO标记。长度、表识符、版本号、X和Y的密度单位（units=0;无单位；units=1;点数/英寸；units=2;点数/厘米）、X方向像素密度、Y方向像素密度、缩略图水平像素数目、缩略图垂直像素数目、缩略图RGB位图。3）APPn标记，其中n=1-15（任选）。包括：APPn长度。,.,4）一个或者多个量化表。包括：量化表长度、量化表数目、量化表。5）桢图像开始SOFO。包括：桢开始长度、精度、每个颜色分量每个像素位数、图像高度、图像宽度、颜色分量数、对每个颜色分量的ID、垂直方向的样本因子、水平方向的样本因子、量化表号。6）一个或者多个霍夫曼表DHT。包括：霍夫曼表的长度、类型、AC或者DC、索引、位表、值表。,.,7）扫描开始SOS。包括：扫描开始长度、颜色分量数、每个颜色分量的ID、交流系数表号直流系数表号、压缩图像数据。8）图像结束EOI。,.,在图像编码、图像增强和图像复原等处理中经常要进行图像质量评价。,图像编码的目的是要在保持必要图像质量的条件下，以尽可能少的编码符号传输或存储图像；,图像增强的设计目标是要提高图像的视觉质量；,图像复原则补偿图像质量退化,使重建图像接近于无退化成像系统理想图像。,2.8图像质量的评价,.,这三种应用的共同因素是图像质量，即要保持、提高或恢复图像质量。,图像品质可以细分为两类：图像逼真度和图像可理解度。,已处理图像,标准图像,图像可理解度,图像逼真度,.,主观评价有两种不同的方式：绝对方式和比较方式。,绝对方式：让观察者观看一幅图像，请他们按照预先规定的评价标准判断图像质量，有时给观察者配备一套标准参考图像，以便评定时进行主观校准，有时观察者不得不只根据以往的观察经验进行判断。,比较方式：请观察者平定一套图像，比较某一特定图组中图像的优劣。,.,主观评价测试可分为三种。,.,将接受的信号与一K指数刻度板拟合，确定出指数K，其数值大小就反映了波形失真和图像质量下降的程度。这样就可将波形失真和图像质量退化联系起来，用统一标准的一套指数进行评价。几何畸变、光亮度值线性和空间度等指标，都可以用适当的电子测试信号在电视显示器上进行测试。,.,彩色可用亮度、色调和饱和度来描述。人眼看到任一彩色光都是这三个特性的综合效果。,2.8彩色图像简介,亮度,定义：亮度是光作用于人眼时所引起的明亮程度的感觉,相关因素：观察物体的发光强度，人类视觉系统的视敏函数,色调,.,定义：色调是当人眼看到一种或多种波长的光时所产生的彩色感觉,实质：它反映颜色的种类，是决定颜色的基本特性。,饱和度,定义：饱和度是颜色的纯度，即掺入白光的程度，指颜色的深浅程度。,通常把色调和饱和度通称为色度。亮度表示某彩色光的明暗程度，而色度则表示颜色的类别与深浅程度。,.,(2)彩色空间（彩色模型）a.RGB彩色空间计算机中的数字图像，用的最多的是RGB彩色空间。由于计算机彩色监视器的输入需要RGB三个彩色分量，通过三个分量的不同比例，在显示屏幕上合成所需要的任意颜色，所以不管用什么形式的彩色空间，最后输出一定要转化成RGB彩色空间。,.,三基色原理自然界常见的各种颜色光，都可由红（R）、绿(G)、蓝(B)三种颜色光按不同的比例相配而成，同样绝大多数颜色也可以分解成红、绿、蓝三种颜色光，这就是色度学中最基本的原理三基色原理。由于人眼对红、绿、蓝三种光最敏感，因此由这三种颜色相配所得的彩色范围也最广，所以一般都选这三种颜色作为基色（原色）。,.,把三种基色光按不同的比例相加称之为相加混色。由红、绿、蓝三基色进行相加的情况如下：,红色,蓝色,绿色,黄色,洋红,青色,白色,红色,青色,绿色,洋红,蓝色,黄色,白色,.,黄色、洋红和青色称为相加二次色，青色、洋红和黄色也称为红、绿、蓝三色的补色。相加混色的三基色及其补色如图2-16所示。RGB彩色空间可用图2-17所示的彩色立方体表示。,图2-16相加混色的三基色及其补色图2-17RGB彩色空间示意图,.,b.HIS彩色空间HIS彩色空间用H、I、S三个参数描述颜色特性。,H是色调，表示颜色，与波长有关；,S是饱和度，表示色纯度，即单色光中掺入白光的程度；,I是强度，表示人眼感知颜色的强弱程度，它和能量大小及人眼对不同波长的感知能力有关。,.,用图2-18a所示的一个三维空间的立体图，可以把HIS彩色空间的三个参数的特性更加形象地表示出来。在图2-18a所示的枣核形立体图中，垂直轴表示光的亮度变化，顶部最亮表示白色，低部最暗表示黑色，中间是介于白黑之间深浅不同的灰度。在与黑白轴垂直的水平面圆周上，如图2-18b所示的色环，各点代表光谱上各种不同的色调，如红、黄、绿、青、蓝、洋红等，构成闭合的圆环。,.,0,红,蓝,240,绿,120,H,S,黄,青,