光电图像处理：第二章 光电图像处理基础

第二章光电图像处理基础Chapter02FundamentatalsofOptoelectronicImageProcessing主要内容图像的视觉感知图像的获取和显示图像的表示及其简单运算数字图像的文件格式1.人眼结构(睫状体)(角膜)(虹膜)（晶状体）（视网膜）(巩膜)(脉络膜)（玻璃体）一、图像的视觉感知2.人眼视觉感知人眼观察一棵棕榈树的图解，C点为晶状体的光心一、图像的视觉感知①神经节细胞②感光细胞③杆状细胞④锥状细胞①双极细胞②锥状细胞③杆状细胞一、图像的视觉感知2.人眼视觉感知椎状细胞(cones):~600-700万个，感知色彩信息;杆状细胞(rods):~7500-15000万个，提取亮度信息。一、图像的视觉感知conesrods一、图像的视觉感知视觉的空间特性人眼的空间分辨能力为1’(1/60度)；灰度分辨能力大约64级。视觉的时间特性

活动图像的帧频至少是15帧/s的时候，人眼才有图像连贯的感觉。3.人眼的视觉特性与错觉一、图像的视觉感知3、人眼的视觉特性与错觉亮度(Brightness)区分

视觉错觉a正方形轮廓b圆形轮廓c等长d45度平行线3、人眼的视觉特性与错觉Findablackdot!

3、人眼的视觉特性与错觉Whatdoyouseehere?Avaseortwomenlookingateachother?Seeifyoucanfindthemboth.BlackorWhite?Motionillusions

Thismeansthatmikemayseethestandardmotionillusions.BarberPole.HumanMotionSystemIllusorySnakes主要内容图像的视觉感知图像的获取和显示图像的表示及简单运算数字图像的文件格式可见光：0.38~0.75μm；红外线：0.75~1000μm(>10个倍频)

1.光与电磁波谱（ElectromagneticSpectrum）二、图像的获取与显示可见波段：0.38-0.75um；子波段:

紫、蓝、绿、黄、橘黄、红色；物体颜色：物体反射光的性质决定；彩色光源质量：

—发光强度（Radiance）

—光通量（luminance）

—光亮度（Brightness）二、图像的获取与显示可见光谱二、图像的获取与显示Gamma-ray和X-ray：医学和天文学红外成像（Infraredimaging）：近、中、远、极远红外；微波成像（Microwaveimaging）；紫外成像；THz波（太赫兹波）不可见光谱THz射线（太赫兹射线）是从上个世纪80年代中后期，才被正式命名的，在此以前科学家们将统称为远红外射线。太赫兹波是指频率在0.1THz到10THz范围的电磁波，波长约0.03~3mm范围，介于微波与红外之间。

频率：0.1THZ---10THZ(3mm-0.03mm)宏观电子学向微观光子学过渡阶段THZ波THz波带很宽:0.1~10THz,而且单个THz脉冲就包含非常宽的带宽。THz波频率很高,是微波的1000倍以上,所以空间分辨率很高.由于THz通常由相干电流驱动的偶极子振荡或由相干的激光脉冲通过非线性光学参量、差频过程产生。因此,THz波具有很高的时间和空间相干性。THz波能量低，当频率恰好为1THz时,光子能量只有大约4meV,因此它不会对被检测的生物组织产生有害的电离,在医学成像方面有很好的应用前景。穿透性强，除了金属和水对THz有较强吸收,THz对其他物质都有很好的穿透性,因此,THz波在安全检查,反恐领域的应用前景被人们普遍看好。THZ波辐射的特点红外热成像钢包检测热风炉检测核磁共振(MRI)成像X-RAY成像Gamma-rays成像主要参数：采样尺寸图像尺寸物理参数灰度级别2.图想获取与采集1）单个传感器2）数字化器组成人工光源光传感器扫描装置二、图像的获取与显示

CCD

——电荷耦合器件（ChargeCoupleDevice）特点：灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。二、图像的获取与显示3.图像传感器(CCD/CMOSImageSensor)3.图像传感器(CCD/CMOSImageSensor)

CMOS

——互补金属氧化物半导体(Complementarymetaloxidesemiconductor)特点：集成度高、功耗低（不到CCD的1/3）、成本低;但是噪音比较大、灵敏度较低、对光源要求高。二、图像的获取与显示CCD/CMOS

GeorgeSmith,WillardBoyle(1969)诺贝尔物理学奖获得者(2009)高锟：光纤传输以用于光通信方方面带状传感器成像

线阵CCD阵列传感器成像面阵CCD

能在x、y两个方向都能实现电子自扫描，可以得二维图像。4.采样与量化——数字化器

图像数字化器必须能够把一幅图像分为图像元素（像素）并确定每个像素的位置，测量每个像素的灰度级，将连续数据量化以产生一个整数集合。数字化器件具备以下五个部分：

(1)采样孔：

使图像数字化器能够在整幅图像中取出独立的像素。

(2)扫描器件：

以预定的方式在图像上移动采样孔，按照顺序一一传输像素。(3)光传感器：

通过采样孔采集每个像素的亮度，将光信号转换为电信号。(4)转换器：

将转换器的连续输出转换为正数值，数字化部件由A/D转换电路组成。(5)输出介质：

固态存储器，磁盘或其他的设备。二、图像的获取与显示二、图像的获取与显示二、图像的获取与显示5.摄像机工作原理景物图像传感器DSP芯片Ａ/ＤUSB显示器镜头二、图像的获取与显示6.模拟彩色视频扫描显像注:CRT(CathodeRayTube,阴极射线管)

利用人眼的“缺陷”，把2D信号转换为1D时基信号进行显示。研究表明，人眼视网膜上的“印象”保留40ms左右才能消失。因此只要景象在40ms内重新出现，那么，人眼感觉就象景象没有消失一样，感觉到的是连续变化的景象。电影每秒更新24幅，每幅图播放2次，相当于48帧/S。由于荧光粉有“余辉效应”，信号消失后，荧光会持续一段时间后才消失，同时加上人眼的暂留作用，因此，实际要在荧光消失前再次接通信号，2D图像的每个点就象同时显示一样。这就是CRT扫描显示原理。二、图像的获取与显示常见电视制式主要参数对比制式参数NTSC（美国）1952年制定PAL（西德）1962年制定总扫描行数525625行频（Ｈz）1575015625隔行扫描2/12/1场频（Ｈz）60（59.94）50帧频（Ｈz）3025行同步宽度(um)4.7+-0.14.7+-0.2行消隐宽度(um)10.9+-0.212+-0.3高宽比4/34/3二、图像的获取与显示

(1)

颜色的三种表观特征明度(Luminance)色调(Hue)饱和度(Saturation)：

(2)

颜色的定量描述：LHS/IHS/HISRGB7.图像的颜色与彩色系统二、图像的获取与显示颜色的表观特征：明度（Luminance）：颜色明亮的程度；一幅灰度图像只有明度特征，而彩色图像还具有色调和饱和度两个色度特征；色调（Hue）：反映颜色的类别饱和度（Saturation）：表示颜色接近光谱色的程度。任何一种颜色都可以看着是某种光谱色与白色混合的结果，光谱色所占的比例越大，颜色接近光谱色的程度就越高，颜色的饱和度就愈高。饱和度高，颜色就深而艳。二、图像的获取与显示二、图像的获取与显示RGBColorModelRGBColorModelR=8bitsG=8bitsB=8bitsColordepth24bits=16777216colorsRGBcolormodels:basedoncartesiancoordinatesystem二、图像的获取与显示(3)

亮度方程：二、图像的获取与显示7.图像的颜色与彩色系统L=0.222R+0.707G+0.071B

(PAL制式)L=0.299R+0.587G+0.114B(NTSC制式)RGB和CMY（Cyan青\Magenta紫\Yellow黄）色彩系统

RGB色度空间可以比较准确的描述图像的亮度特性。但是，RGB在数值和技术实现上有一些不利的特点，不利于物理记录和传输。

为了便于计算，数字图像处理中，彩色图像的定量描述一般采用RGB/IHS。二、图像的获取与显示RGB-IHS变换法

IRBG

IHS柱形空间对任何3个[0,1]范围内的R、G、B值都可以用下面的公式转换到对应IHS模型中的I、H、S分量：

二、图像的获取与显示YUV（PAL）彩色系统

传输彩色信号，必须传输RGB三路信号，是不经济的。因此，通常将RGB分离成亮度和色差（U,V）信号。因为亮度信号对人的感觉更重要，可用同一通道而把色差信号亚采样合在一路信号中传输，U=R-Y，V=B-Y。二、图像的获取与显示YIQ（NTSC）色彩系统

Y-亮度,I，Q-色调（颜色和饱和度）UV分量旋转33°后的结果。二、图像的获取与显示YCrCb彩色系统

Cr=0.713U,Cb=0.564V主要是以高质量演播室为目的,CCIR601标准方案(1982)。注：国际无线电咨询委员会（InternationalRadioConsultativeCommittee，CCIR）二、图像的获取与显示黑白图像：

图像只有明暗程度的变化而没有色彩的变化，最简单的是二值图象，只有两种灰度，如（0or1）或（0or255）。伪彩色图像：

是指经过伪彩色处理而形成的彩色图象。其像素值是所谓的索引值，是按照灰度值进行彩色指定的结果，其色彩并不一定忠实于外界景物的真实色彩。假彩色图像：

是指遥感多波段图象合成的彩色图象。真彩色图像：

是忠实于外界景色的色彩的图象，其像素一般是颜色的真实值。8.彩色图像分类二、图像的获取与显示二、图像的获取与显示主要内容图像的视觉感知图像的获取和显示图像的表示及简单运算数字图像的文件格式1.空间表示0N-1M-1f(x,y)三、图像的表示及简单运算2、矩阵表示三、图像的表示及简单运算3、数学描述连续模型：

f表示图像的灰度，(x,y)二维空间的连续变化。离散模型：

经过采样和量化后的数字图像就是一个M×N矩阵。

随机场模型

把每一个像素都看成一个随机过程。三、图像的表示及简单运算

4、邻域：在一定意义下，与该像素相邻的像素的集合。OOOO*OOOOOOOOOOOOOOOO*OOOOOOOOOOOOOO*OO3×3邻域5×5邻域OOOO*OOOO4邻域N4(p)8邻域N8(p)这里：3×3邻域={(x+1,y),(x,y+1),(x-1,y),(x,y-1)}ND(p)=N8(p)-N4(p):对角邻域三、图像的表示及简单运算

距离3×3邻域5×5邻域4邻域N4(p)8邻域N8(p)三、图像的表示及简单运算像素(pixel)

Pixel（Pictureelement），图像的最小信息单位，通常是一个整数，其大小称为像素值。灰度级(Gray-level)

表示像素明暗程度的整数量称为灰度级。图像分辨率(Resolution)

指组成一幅图像的像素密度，也就是图幅参数。对同样大小的一幅图，如果组成该图的图像像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙。显示分辨率

指显示屏上能够显示出的像素数目。例如，显示分辨率为640×480表示显示屏分成480行，每行显示640个像素，整个显示屏就含有307200个显像点。图像深度（Bpp，Bitperpixel)

指存储每个像素所用的位数，它也是用来度量图像的灰度分辨率。三、图像的表示及简单运算5.基本术语

灰度级与图像深度的关系

1bit(位)——2级;

2bit(位)——4级

8bit(位)——256级

24bit(位)——256×256×256（真彩色图像）5.基本术语三、图像的表示及简单运算例如：8bit灰度图的颜色数:

28=256色

24bit真彩色表示的颜色数目为：

224=256×256×256=16777216色

一般而言，图像的质量取决于：层次(LevelorDetail)对比度(Contrast)清晰度(Distinctness)6.

图像质量评价三、图像的表示及简单运算灰度级：表示像素明暗程度的整数量。

例如：像素的取值范围为0-255，就称该图像为256个灰度级的图像。层次：表示图像实际拥有的灰度级的数量。

例如：具有32种不同取值的图像，可称该图像具有32个层次。图像数据的实际层次越多，视觉效果就越好。图像的层次(ImageLevel)图像的层次(ImageLevel)L=256L=64L=16对比度：是指一幅图像中灰度反差的大小对比度=最大亮度/最小亮度对比度(Contrast)与清晰度相关的主要因素清晰度(Distinctness)亮度(Luminance,Intensity)

对比度(Contrast)

尺寸大小(Size)

细微层次(Finedetail)

颜色饱和度(Colorsaturation)原图降低亮度清晰度(Distinctness)清晰度(Distinctness)原图降低对比度原图缩小尺寸清晰度(Distinctness)原图降少细微层次清晰度(Distinctness)原图降低饱和度清晰度(Distinctness)

相加相减相乘相除——代数运算(Algebraicoperations)三、图像的表示及简单运算若A(x,y),B(x,y)分别为两幅原始图像，C(x,y)为经过代数运算后的图像，则存在：

主要应用：

(1)对同一场景的多幅图像求平均值，降低加性噪声；

(2)一幅图像叠加到另一幅图像上去，达到二次暴光（Double-exposure)的效果。1.加运算代数运算(Algebraicoperations)

原理：对于原图像f(x,y),有一个噪声图像集{gi(x,y)}，i=1,2,...K。gi(x,y)=f(x,y)+ni(x,y)

其中，ni(x,y)是第i帧图像中的实际噪声的分布情况，假设符合某种特定的噪声分布n(x,y)，n(x,y)的均值为0，方差为，且n(x,y)中的不同位置(x,y)处的噪声分布互不相关。多幅图像求平均值，降低加性噪声。代数运算(Algebraicoperations)1.加运算则M个图像的均值为：可以证明【下面结论说明什么？】：多幅图像求平均值，降低加性噪声。代数运算(Algebraicoperations)M=1M=2M=4M=16多幅图像求平均值－举例应用实例图像加运算——生成图像叠加效果。对于两个图像f1(x,y)和f2(x,y)，二者均值有：则可以得到二次暴光的效果。代数运算(Algebraicoperations)加运算生成图像叠加效果—举例应用举例加运算生成图像叠加效果—举例千手观音应用举例图像加运算—简单图像融合推广公式为应用举例可以得到各种图像合成的效果，也可以用于两张图片的衔接。加运算生成图像叠加效果—举例应用举例主要应用：

(1)去除一幅图像中不需要的加性图案，如缓慢变化的背景阴影，周期性噪声等；(2)检测同一场景的两幅图像之间的变化；(3)运动检测。2.减运算

图像相减即在两幅图像之间对应像素做减法运算。代数运算(Algebraicoperations)图像相减—检测同一场景两幅图像之间的变化设:时间1的图像为f1(x,y)，时间2的图像为f2(x,y),则有，

g(x,y)=f2(x,y)-f1(x,y)=-应用举例左上:某序列图像的第100帧;下:某序列图像的第300帧;右上:两幅图像相减并取绝对值显示的结果图像相减—运动检测应用举例主要应用：(1)获得一个阴图像;(2)获得一个子图像的补图像。图像求反图像减运算求反运算——获得阴图像应用举例255—=求反运算——求子图像的补图像应用举例3.乘运算代数运算(Algebraicoperations)图像相乘即在两幅图像之间对应像素做乘法运算。图像相乘—局部显示应用举例主要应用：产生对颜色和多光谱图像分析十分重要的比率图像。二、代数运算(Algebraicoperations)4.除运算图像相除即在两幅图像之间对应像素做除法运算。遥感图像f1(x,y);图像相除—比率图像遥感图像f2(x,y);f1与f2之比。应用举例主要内容图像的视觉感知图像的获取和显示图像的表示及简单运算数字图像的文件格式绘画以及图像编辑软件都产生位图图像，也叫作栅格图像。位图图像是用小方形网格（位图或栅格），即人所共知的像素来代表图像，每个像素都被分配一个特定位置和颜色值。例如，在位图图像中自行车轮胎是由该位置的像素拼合组成的。处理位图图像时，编辑的是像素而不是对象或形状。四、数字图像的文件格式什么是位图(bitmap)?

位图四、数字图像的文件格式什么是矢量图形(Vectorgraph)?绘图软件创作的矢量图形，是由叫作矢量的数学对象所定义的直线和曲线组成的。矢量根据图形的几何特性来对其进行描述。

例如，矢量图形中的自行车轮胎是由数学定义的圆形组成，这个圆形按某一半径画出，放在特定位置并填充有特定的颜色。移动、缩放轮胎或更改轮胎颜色不会降低图形的品质。四、数字图像的文件格式位图图像与分辨率有关，即它包含固定数量的像素，代表图像数据。因此，如果在屏幕上以较大的倍数放大显示，或以过低的分辨率打印，位图图像会出现锯齿边缘，且会遗漏细节。在表现阴影和色彩（如在照片或绘画图象中）的细微变化方面，位图图像是最佳选择。矢量图形与分辨率无关，即可以将它缩放到任意大小和以任意分辨率在输出设备上打印出来，都不会遗漏细节或清晰度。因此，矢量图形是文字（尤其是小字）和粗图形的最佳选择，这些图形（比如徽标）在缩放到不同大小时必须保持清晰的线条。四、数字图像的文件格式矢量图缩放四、数字图像的文件格式位图(光栅)缩放四、数字图像的文件格式文件头BITMAPFILEHEADER

实际位图图像数据ImageData调色板位图信息头BITMAPINFOHEADER

调色板Palettebmp文件格式位图文件主要由以下４个部分组成：文件头(14byte)信息头(40byte)调色板实际图像数据四、数字图像的文件格式文件头内容文件头BITMAPFILEHEADER，是一个结构，定义如下：注：这个结构的长度是固定的，为14个字节(注：WORD为无符号16位整型，DWORD为无符号32位整型)。typedefstructtagBITMAPFILEHEADER{WORD

bfType;DWORD

bfSize;WORD

bfReserved1;WORD

bfReserved2;DWORD

bfOffBits;}BITMAPFILEHEADER;

bfType指定文件类型，必须是0x424D，即字符串“BM”，也就是说所有.bmp文件的头两个字节都是“BM”。bfSize指定文件大小，包括这14个字节。bfReserved1，bfReserved2

为保留字，不用考虑。bfOffBits为从文件头到实际的位图数据的偏移字节数，即文件结构图中前三个部分的长度之和。文件头内容typedefstructtagBITMAPINFOHEADER{DWORD

biSize;LONG

biWidth;LONG

biHeight;WORD

biPlanes;WORD

biBitCountDWORD

biCompression;DWORD

biSizeImage;LONG

biXPelsPerMeter;LONG

biYPelsPerMeter;DWORD

biClrUsed;DWORD

biClrImportant;}BITMAPINFOHEADER;注：这个结构的长度是固定的，为40个字节(LONG为32位长整型）。文件头内容biSize指定这个结构的长度，为40。biWidth指定图像的宽度，单位是像素。biHeight指定图像的高度，单位是像素。biPlanes必须是1，不用考虑。biBitCount指定表示颜色时要用到的位数，常用的值为1(黑白二色图),4(16色图),8(256色),24(真彩色图)(新的bmp格式支持32位色，这里就不做讨论了)。文件头内容biCompression指定位图是否压缩,有效的值为BI_RGB,BI_RLE8,BI_RLE4,BI_BITFIELDS(是一些Windows定义好的常量)。要说明的是，Windows位图可以采用RLE4,和RLE8的压缩格式,但用的不多。常用的只有第一种不压缩的情况,即biCompression为BI_RGB的情况。biSizeImage指定实际的位图数据占用的字节数，也可以从以下的公式中计算出来：biSizeImage=biWidth’×biHeight

注:上述公式中的biWidth’必须是4的整倍数(所以不是biWidth,而是biWidth’,表示大于或等于biWidth的,最接近4的整倍数。例如,如果biWidth=240,则biWidth’=240；如果biWidth=241，biWidth’=244)。如果biCompression为BI_RGB，则该项可能为零。文件头内容biXPelsPerMeter

指定目标设备的水平分辨率，单位是每米的象素数。biYPelsPerMeter

指定目标设备的垂直分辨率，单位同上。biClrUsed

指定本图象实际用到的颜色数，如果该值为零，则用到的颜色数为2biBitCount。biClrImportant指定本图像中重要的颜色数，如果该值为零，则认为所有的颜色都是重要的。信息头内容调色板调色板实际上是一个数组，共有biClrUsed个元素(如果该值为零，则有2biBitCount个元素)。数组中每个元素的类型是一个RGBQUAD结构，占4个字节，其定义如下：typedefstructtagRGBQUAD{BYTE

rgbBlue;

//该颜色的蓝色分量BYTE

rgbGreen;//该颜色的绿色分量BYTE

rgbRed;//该颜色的红色分量BYTE

rgbReserved;//保留值}RGBQUAD;

注：这是对那些需要调色板的位图文件而言的。有些位图，如真彩色图，是不需要调色板的，BITMAPINFO-HEADER后直接为位图数据。实际图像数据中，对于用到调色板的位图，图像数据就是该像素颜色在调色板中的索引值。对于真彩色图，图像数据就是实际的R、G、B值。实际图像数据2色位图：用1位(bit)就可以表示该像素的颜色，所以，1个字节(byte)可以表示8个像素。16色位图：用4位(bit)可以表示1个像素的颜色，所以1个字节(byte)可以表示2个像素。256色位图：1个字节(byte)刚好可以表示1个像素。真彩色图：3个字节(byte)才能表示1个像素。(1)每一行的字节数必须是4的整倍数，如果不是，则需要补齐。注意2点实际图像数据(2)一般来说，.BMP文件的数据从下到上，从左到右的。也就是说，从文件中最先读到的是图像最下面一行的左边第1个像素，然后是左边第2个像素……，接下来是倒数第2行左边第1个像素，左边第2个像素……。依次类推，最后得到的是最上面一行的最右1个象素。Taggedimagefileformat *.TIF

DOS,UNIX,andMacintoshimagesEncapsulatedPostScript *.EPS

PublishingindustryformatGraphicalinterchangeformat *.GIF

CompuServegraphics