第二章 图像采集

1、第二章第二章 图像采集图像采集主要内容：1.1.图像的数学模型图像的数学模型2.2.图像的数字化图像的数字化3.3.像素间的基本关系像素间的基本关系4.4.图像坐标变换图像坐标变换2/682.0 图像采集系统图像采集系统一般地，f(x,y)=T(h(x,y),p(x,y) 特例，f(x,y)=h(x,y)*p(x,y)，*为卷积运算成像系统h(x,y)采样系统量化器p(x,y,z)景物f(x,y)图像gs(x,y)采样图像gd(x,y), 数字图像图2-1图像采集过程空间场景空间场景观察窗观察窗目标投影目标投影处的处的“信息属性信息属性”2.0 图像数字化图像数字化2.1 几何成像模型几何成像

2、模型2.2 亮度成像模型亮度成像模型2.3 采样和量化采样和量化2.4 像素间联系像素间联系2.5 图像坐标变换图像坐标变换像素两要素像素两要素。3/682.1 几何成像模型几何成像模型投影成像几何投影成像几何投影成像涉及在不同坐标系统之间对“反映研究对象的反映研究对象的数量及其关系数量及其关系” 的坐标转换。利用齐次坐标可将这些转换线性化。(1)世界坐标系统 (XYZ)(2)摄像机坐标系统(Oxyz)(3)像平面坐标系统(Oxy)(4)计算机图像坐标系统(Row,Column)2.0 图像数字化图像数字化2.1 几何成像模型几何成像模型坐标系统坐标系统齐次坐标齐次坐标投影变换投影变换2.2

3、亮度成像模型亮度成像模型2.3 采样和量化采样和量化2.4 像素间联系像素间联系2.5 图像坐标变换图像坐标变换摄像机模型4/682.1.1投影成像几何投影成像几何摄像机坐标系统Oxyz中的图像平面坐标系统Oxy与其xy平面重合， z轴沿光学轴（由镜头中心给出）建立。(不妨使这几个坐标系的原点重合)图2-2 投影成像变换示意图5/68齐次坐标齐次坐标空间一个点的对应XYZ的定义为(kX, kY, kZ, k)，其中k是一个任意的非零常数。将齐次坐标变回笛卡尔坐标可用第4个坐标量去除前3个坐标量得到。齐次矢量点线将坐标系统用来表达，就可将坐标系统之间的转换表示成线性矩阵形式。在2-D空间上，点与

4、直线的表示形式可统一。(a,b,c)(x,y,1)=06/68投影变换投影变换3-D点投影后的图像平面坐标：投影变换矩阵 1000010000100011PXxZYyZ/1 , 1 ,ZZYXZYXPkzyxTT7/68逆投影变换 根据2-D图像坐标来确定3-D客观景物的坐标逆投影变换矩阵: 要利用逆投影变换将3-D空间点从其图像中恢复出来需要知道该点的至少一个世界坐标。 1/1000100001000011P)(),(ZyYZxX 1 , 0 ,ZYXkykxk8/68一般模型一般模型Dxx,xy,yzDyXYZfDzDOo,oW X,Y,Z()I(x,y)C x,y,z()摄像机坐标系统与

5、世界坐标系统分开，但摄像机坐标系统与像平面坐标系统重合 9/68一般模型一般模型上述模型可通过以下一系列步骤转换为世界坐标系统与摄像机坐标系统重合时的摄像机模型： 将像平面原点按矢量D移出世界坐标系统的原点； 以某个角（绕z轴）扫视x轴； 以某个角将z轴倾斜（绕x轴旋转） 10/682.2 亮度成像模型亮度成像模型 光度学光度学(luminous luminous flusflus) )是由光源向各个方向射出的光功率，也是由光源向各个方向射出的光功率，也即每一单位时间射出的光能量，以即每一单位时间射出的光能量，以表示，单位为流明表示，单位为流明(lumen(lumen，简，简称称 lm)lm)

6、。 (luminous intensity)是光源在单位立体角内辐射的光通量，以I表示，单位为坎德拉(candela，简称cd)。1坎德拉表示在单位立体角内辐射出1流明的光通量。 (illuminance)是从光源照射到单位面积上的光通量，以E表示,照度的单位为勒克斯(Lux，简称lx)。 1 lx = 1 lm/m2 。(luminance)是指一个表面的明亮程度，以L表示。 发光体沿某个方向的是用在该方向上的单位投影面积在单位立体角（其单位是球面度，sr）内发出的光通量来衡量的，单位是cd/m2（坎德拉每平方米），其中cd是发光强度的单位，1cd = 1 lm/sr。 2.0 图像数字化图

7、像数字化2.1 几何成像模型几何成像模型2.2 亮度成像模型亮度成像模型2.3 采样和量化采样和量化2.4 像素间联系像素间联系2.5 图像坐标变换图像坐标变换http:/ flux)：光源在单位时间内发出的光亮总和称为光源的光通量。光亮与人眼对光的敏感程度有关，不仅仅由光的能量决定。 例如：一只40W的普通白织灯的光通量为350-470lm，而一只40W的普通直管形荧光灯的光通量为2800lm左右，为白织灯的6-8倍。13/68一个简单的图像亮度成像模型一个简单的图像亮度成像模型2-D亮度函数照度函数 反射函数 ( , )( , ) ( , )f x yi x y r x y=0( , )f

8、 x y 0( , )i x y 0( , )1r x y单色图像f()在坐标(x, y)处的亮度值称做图像在该点的灰度值（不妨设为g)： GmingGmax 。区间Gmin,Gmax称为灰度值范围。黑天鹅绒不锈钢粉刷的白墙镀银器皿白雪0.010.650.800.900.9314/68xyOzbyaxyxfz, 0, 0),(木星设C(x,y,t,)为像源的空间辐射能量分布。(x,y)为空间坐标，t为时间，为波长，都有界都有界。0)(),(),(dVtyxCtyxYsVs()为相对光效函数，即人视觉的光谱反应。颜色，f(x,y)15/68xyO, 0, 0, 0),(czbyaxyxfz木星u

9、只考虑亮度时的模型只考虑亮度时的模型16/682.3 采样和量化采样和量化xyOzbyaxyxfz, 0, 0),(木星2.0 图像数字化图像数字化2.1 几何成像模型几何成像模型2.2 亮度成像模型亮度成像模型2.3 采样和量化采样和量化2.4 像素间联系像素间联系2.5 图像坐标变换图像坐标变换17/68光与电磁波谱光与电磁波谱T图像采样量化过程图像采样量化过程【冈萨雷斯冈萨雷斯】电子伏特电子伏特(eV)18/68图像感知和获取图像感知和获取单个传感器带状传感器传感器阵列【冈萨雷斯冈萨雷斯】19/68【冈萨雷斯冈萨雷斯】20/68【冈萨雷斯冈萨雷斯】21/68【冈萨雷斯冈萨雷斯】22/68

10、图像的数字化图像的数字化l数字化(digitizing-scanning,sampling and quantization)如图，不妨设所考虑的图像是长方形的。为了讨论方便起见，在图像如图，不妨设所考虑的图像是长方形的。为了讨论方便起见，在图像“像场像场”里取一个直角坐标原点里取一个直角坐标原点O, 建立直角坐标系建立直角坐标系xOy,则图像可以用一则图像可以用一个二元函数来表示：个二元函数来表示：z=f(x,y)。 z表示像场里表示像场里(x,y)点的点的“图像属性值图像属性值”。不妨设三个变量的取值范围为： ，对于变量z来说，情况复杂一些。这主要牵扯到图像的颜色问题。如果图像是“只有灰度

11、深浅”的图像，则可以把z的取值范围限定在一定的实数范围内，不失一般性，令 。 ,0,0byax,0cz 23/68xyOzbyaxyxfz, 0, 0),(木星24/68xyO, 0, 0, 0),(czbyaxyxfz木星25/68xyOz=f(x,y) x=0,1, , N-1; y=0,1, , M-1; z=0,1, , L-1对对x,y,z进行离散化，则全部抽样值共同构成一个离散进行离散化，则全部抽样值共同构成一个离散函数，不妨还用函数，不妨还用z=f(x,y)来表示。来表示。 l采样，量化，编码2022年5月13日12时02分26/68v采样（等距离采样）将0,a分成N等份:,)

12、1() 1(,)2() 1(,)2,), 01210aNaNNaNNaNNaiNiaNaNaNaNNi0,b分成M等份:,) 1() 1(,)2() 1(,)2,), 01210bMbMMbMMbMMbjMjbMbMbMbMMj在每个小区域) 1(,) 1(,MbjMjbNaiNia中取一个代表值（不妨设为 ），令),(MjbNia1, 1 , 0; 1, 1 , 0),(), (MjNiMjbNiafjif27/68v量化（整量化）,) 1() 1(,)2() 1(,)2,), 01210cLcLLcLLcLLclLlaLcLcLcLLl将0,c分成L等份:令)1(,),(),(LclLlc

13、jifljif若为方便起见，不妨令1, 1 , 0; 1, 1 , 0),(),(MjNijifjif称f(i,j)是图像f(x,y)的数字(化)图像.v编码一般，采样量化以后，需要对所得数据先进行PCM编码（脉码调制）28/68采样定理（采样定理（Nyquist)q一维采样定理：若连续信号f(t)的最高（/截止）频率为fc ,则采样频率必须满足 时，才能保证采样信号不失真地表示原信号。csff2dtetfTcjectfTTtTnjnntTnjn2/2/)/2()/2()(11,)(其它0|)()(cfuuFuF最高（/截止）频率解释：29/68dtetfTcjectfTTtTnjnntTnj

14、n2/2/)/2()/2()(11,)(Cn是频率为是频率为n/T的谐波信号所占的的谐波信号所占的“比重比重”。Cn为为“分分布布”。)()()()(1)(1()()()(,)(1)(2/2/2nnnxjnTnxjnTnxjTnunFenFTenFTxfuFourierxfenFTxfFFFF变换为的则设30/68t1t2t3t4t5t6f(t)F(u)ufctciiftt2)(11低频高频31/68q二维采样定理：如果二维信号f(x,y)的Fourier频谱F(u,v)满足：其它0| ,|),(),(ccVvUuvuFvuF其中，Uc,Vc是相应于空间变量x,y的最高截止频率，则当采样周期

15、满足yx ,cscsVVyUUx21,21时，采样信号 能唯一地恢复原信号f(x,y),且有, 2, 1, 0,),(nmynxmf图像采样图像采样32/68)()(sin)()(sin),(),(ymyyymyyxmxxxmxxynxmfyxfmn vuyx,适当地调整 之间的值的搭配关系，就能从连续参数的Fourier变换公式出发，通过离散化步骤，得到离散傅立叶变换关系。一般取：NvyNuxVyUxcc1,1,21,2133/68放大和收缩数字图像放大和收缩数字图像放大过采样收缩欠采样核心问题：新像素的位置？新位置上的像素灰度值？新像素的位置？新位置上的像素灰度值？）实数倍与整数倍放大）最

16、近领域内插(0阶插值)）像素复制）双线性内插(1阶插值)34/68)1, 1()1 , 1()0 , 1()1, 1 ()1 , 1 ()0 , 1 ()1, 0()1 , 0()0 , 0(),(NMfmfMfnfffNfffyxf（解析表达式，矩阵表达式）（解析表达式，矩阵表达式）采样点数和量化级数的选取采样点数和量化级数的选取(图像有图像有MN个像素个像素,每个像素有每个像素有L个灰度级别个灰度级别)u M，N和和L一般取一般取2的整数次幂；的整数次幂；u L=2k，若若L=256，则则k=8，此种量化称为图像的，此种量化称为图像的8bit量化，此时图像有量化，此时图像有256级灰度级灰

17、度（被量化为（被量化为256级灰度）。由于存在着量化误差，直观上级灰度）。由于存在着量化误差，直观上k越大重建图像失真越小。越大重建图像失真越小。对于人眼应用，一般对于人眼应用，一般k取取5-8；对于遥感图像等应用；对于遥感图像等应用k取取8-12；u MN必须满足奈奎斯特采样定理，否则会因采样点数不够，在重建图像时产生必须满足奈奎斯特采样定理，否则会因采样点数不够，在重建图像时产生混淆失真。混淆失真。u b=MNk为存储数字图像需要的比特数为存储数字图像需要的比特数*误差分析*数字图像表示数字图像表示35/68灰度级灰度级:表示像素明暗程度的整数量称为灰度级。层次层次( (灰度级数灰度级数)

18、:):表示灰度级的数量。像素像素:(pixel-picture element）图像的最小信息单 位，通常是一个整数，其大小称为像素值。图幅参数：图幅参数：图像采样密度，通常用“行数列数”表示空间与灰度级分辨率空间与灰度级分辨率36/681）图像分辨率：指组成一幅图像的像素密度，也就是图幅参数。对同样大小的一幅图，如果组成该图的图像像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙。(空间分辨率,灰度级分辨率)2）显示分辨率：指显示屏上能够显示出的像素数目。例如，显示分辨率为640480表示显示屏分成480行，每行显示640个像素，整个显示屏就含有307200个显像点。

19、3）像素深度：指存储每个像素所用的位数，它也是用来度量图像的分辨率。分辨率分辨率37/68图像质量与采样图像质量与采样 38/68图像质量与量化图像质量与量化 39/68某图的某个局部的数据某图的某个局部的数据 114 115 114 113 114 116 117 114 109 107 107 107 107 106 107 108 114 112 109 108 107 108 107 107 108 110 111 110 109 111 110 111 110 110 112 113 109 109 111 114 106 107 107 107 109 110 106 107 10

20、8 111 104 106 106 106 108 109 104 103 104 106 105 106 106 107 109 110 107 105 103 103 102 103 104 104 106 108 112 108 105 104 95 98 103 104 99 92 97 96 95 96 40/68一个一个Matlab程序示例程序示例 如下信息是通过matlab语言，读出的某图像的信息 Filename: c:A.jpg FileModDate: 13-Dec-2001 01:56:14 FileSize: 25076 Format: jpg FormatVersio

21、n: Width: 593 Height: 418 BitDepth: 24 ColorType: truecolor FormatSignature: 41/68黑白图像黑白图像： 图像只有明暗程度的变化而没有色彩的变化， 最简单的是二值图像，只有两种灰度；伪彩色图像伪彩色图像：是指经过伪彩色处理而形成的彩色图像。其像素 值是所谓的索引值，是按照灰度值进行彩色指定 的结果，其色彩并不一定忠实于外界景物的真实色彩；假彩色图像假彩色图像：是指遥感多波段图像合成的彩色图像；真彩色图像真彩色图像：是忠实于外界景色的色彩的图像，其像素一般是颜色的真实值。静止图像静止图像：图像的内容不随时间变化。活动图

22、像活动图像：前一帧和后一帧的图像内容随时间发生变化。矢量图像：由描述像素点阵的一组数据刻画的图像。点阵图像（位图）：由像素点阵所组成的图像。数字图像种类数字图像种类42/68黑白图像二值图像2022年5月13日12时02分43/68伪彩色图像伪彩色伪彩色伪彩色图像的含义是，每个像素的颜色不是由每个基色分伪彩色图像的含义是，每个像素的颜色不是由每个基色分量的数值直接决定，而是把像素值当作彩色查找表量的数值直接决定，而是把像素值当作彩色查找表CLUT(color look-up table)CLUT(color look-up table)的表项入口地址，去查找一个的表项入口地址，去查找一个显示图

23、像时使用的显示图像时使用的R R、G G、B B强度值，用查找出的强度值，用查找出的R R、G G、B B强强度值产生的彩色称为伪彩色。度值产生的彩色称为伪彩色。彩色查找表彩色查找表CLUT(color look up table)CLUT(color look up table)是一个事先做好的是一个事先做好的表，表项入口地址也称为索引号。例如表，表项入口地址也称为索引号。例如1616种颜色的查找表种颜色的查找表，0 0号索引对应黑色，号索引对应黑色，. . ，1515号索引对应白色。号索引对应白色。44/68假彩色图像对多光谱图像进行处理得到的图像45/68真彩色图像46/68此图来源于：

24、清华大学，计算机科学与技术系，智能技术与系统国家重点实验室，林福宗 （图像中的像素值的内容不一样）47/68点阵图像与矢量图像48/68活动图像（以上各种图像称做静止图像，MPEG格式）此活动图像来自回归97网 http:/ 5邻域邻域OOOO*OOOO4-邻域邻域N4(p)8-邻域邻域N8(p)33邻域邻域=(x+1,y), (x,y+1), (x-1,y), (x,y-1),2.4 像素间联系像素间联系ND(p)=N8(p)-N4(p):对角邻域1) 邻域邻域51/684邻接邻接设V是用于定义“邻接性”的像素集合（像素相似性准则）.qN4(p)8邻接邻接qN8(p)m邻接邻接(混合邻接混合

25、邻接) qN4(p) 或者或者 qND(p)且且N4(p) N4(q)无无V值像素值像素 qN4(p)例：对于二值图像，可定义V=1为“邻接灰度集合邻接灰度集合”前提前提: p,q都取都取V中值（像素是相似的）中值（像素是相似的）常用的三种邻接性：邻接邻接： 相邻相邻+像素属性相似像素属性相似52/68011010001例.关于4-，8-，m-邻接性是8邻接的但不是m邻接的两个图像子集S1和S2的邻接性2022年5月13日12时02分53/68l通路(4通路,8通路,m通路,闭合通路,通路长度）lp,q是连通的,连通分支,连通集 (仅有一个连通分支的集合；连通性：是针对一个由像素组成的集合而言

26、)l区域的边界(边缘,轮廓:区域中的特殊像素的集合)(连通集叫区域)2) 连通性连通性54/68pabocndemflgkjiha, i是4-连通的：abcdefghi; a, p是8-连通的4-连通分支：a,b,c,d,e,f,g,h,I,j,k, l, m,n,o, p8-连通分支：a,b,p55/68QABPCODNEIJKFHLGM4-连通分支:A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q8-连通分支:A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q56/683) 距离距离欧氏距离：De(p,q)=(x-s)2+(y-t)21/2D4距离：D4(p,q)=|x-s|+|y-t|D8距离：D8(p,q)=max|x-s|,|y-t|p=(x,y),q=(s,t)习题:D8=De=D4?57/6844344323443212344321(x,y)12344321234432344344D4距离，城区距离58/68唐长安复原图59/68唐洛阳复原图60/68333333332222233211123321(x,y)123321112332222233333333D8距离，棋盘距离61/68距离计算示例距离计算示例在图2.4.3中，两个像素p和q之间的DE距离为5（见图2.4.3(a)），D4距离为7（见图2.4.3(b)），D