信息与通信IPCam影像处理原理简介课件

1、IPCam影像处理原理简介2010.6概述光学方面：镜头、光圈、快门等光学参数，包括Sensor对成像的影响ISP算法：相关处理对图像质量的影响编解码简介影像方面：图像质量对比和评测镜头镜头的材质镜头的重要光学参数日用型、夜用型关键差别以及影响红外补光灯简介举例：1002使用的镜头和红外补光灯镜头的材质镜头的成像质量主要是由于材质、加工精度和镜片结构的不同等因素造成的。镜头材质有许多种，包括萤石、ED玻璃、玻璃、塑料等 。一般消费等级的数码产品应该很少有用到萤石，ED玻璃或玻璃就很够用了，而我们最常用的是塑料。 镜头基本概念重要光学参数EFLEFLEffective Focal Length

2、（有效焦距，简称焦距）指像方主点到焦点的距离。摄像机镜头是视频监视系统的最关键设备，它的质量（指标）优劣直接影响摄像机的整机指标，因此，摄像机镜头的选择是否恰当既关系到系统质量，又关系到工程造价。镜头相当于人眼的晶状体，如果没有晶状体，人眼看不到任何物体；如果没有镜头，那么摄像头所输出的图像就是白茫茫的一片，没有清晰的图像输出，这与我们家用摄像机和照相机的原理是一致的。当人眼的肌肉无法将晶状体拉伸至正常位置时，也就是人们常说的近视眼，眼前的景物就变得模糊不清；摄像头与镜头的配合也有类似现象，当图像变得不清楚时，可以调整摄像头的后焦点，改变sensor与镜头基准面的距离（相当于调整人眼晶状体的位

3、置），可以将模糊的图像变得清晰。镜头基本概念重要光学参数FOVFOV - Field Of View / View Angle（视场角）指物方空间能够成像的角度范围（一般照相物镜为60度左右）镜头基本概念重要光学参数CRA（1）CRAChief Ray Angle（主光角）光线通过光学系统射到 Image Sensor 时，主光线的入射角称为主光角。一般 Image Sensor 的有效画面末端（Maximum Image Height）的CRA比较重要。CRA miss match 会造成 dark corner（主要）以及 color non-uniformity镜头基本概念重要光学参数C

4、RA（2）CRA不匹配造成dark corner图例镜头基本概念重要光学参数FNO（1）FNOF数 / F#（光圈数）F1/相对孔径FNO决定受衍射限制的最高分辨率FNO决定像面照度为了控制通过镜头的光通量大小，在镜头的后部均设置了光圈。假定光圈的有效孔径为d，由于光线折射的关系，镜光实际有效的有效孔径为D，比d 大，D与焦距f 之比定义为相对孔径A，即A=D/f，镜头的相对孔径决定被摄像的照度，像的照度与镜头的相对孔径的倒数来表示镜头光圈的大小。F 值越小，光圈越大，到达sensor的光通量就越大。所以在焦距f 相同的情况下，F 值越小，表示镜头越好。 镜头的通光量以镜头的焦距和通光孔径的比

5、值来衡量，以F为标记，每个镜头上均标有其最大的F值，通光量与F值的平方成反比关系，F值越小，则光圈越大。镜头基本概念重要光学参数FNO（2） 不同F值的光圈示例 在曝光时间相同情况下，F越大，像面照度越低，照度与F的平方成反比镜头基本概念重要光学参数MTF（1）MTFModulation Transfer Function（调制传递函数）表征lens的成像质量的重要指标，MTF越大成像质量越好，图像越清晰。MTF随空间频率增大而减小。 MTF 曲线图 某空间频率下MTF与像质关系MTF Value像质0.1以下低劣0.10.3可分辨但像质差0.30.5一般0.50.8优良0.8以上卓越镜头基本

6、概念重要光学参数MTF（2）一种MTF test chart镜头基本概念畸变Distortion畸变不能正确的再现被摄物体的几何形状，往里凹或往外张开的现象称为 Distortion畸变种类畸变原因不同的视场，因放大率不同而产生畸变。畸变只改变物体的形状，但不影响分辨率。镜头基本概念防反射膜AR Coating: Anti-Reflection Coating（防反射膜） Coating 的作用主要是最小化空气和媒质间的折射率差异，最小化各方向的反射，使光的透过率更好的技术，要求至少在90%以上，一般在可见光范围内的波长的透过率为97%以上。如果Coating不当，会造成透过率较低，这样像面照

7、度就会减小，图像也就更暗。日用型、夜用型差别以及影响在不需要红外光补助的监控环境中，使用普通的日用型镜头，这是因为普通的日用型镜头带有IR filter，会隔绝某些波长的红外光。在有红外光补助的监控环境中，需要使用红外镜头，红外镜头可以透过特定波长的红外光。由于镜头对不同波长光线的折射率不同，故聚焦点的位置会有所差别，而白天室内可见光的波长和夜晚补光灯打开后的红外波长是不同的，这就是为什么白天调清晰了，夜视模糊，或者夜视调清晰了，白天模糊的原因。我们使用的红外镜头在白天比较强烈的阳光下图像有偏色的现象也是因为受到阳光中红外波段的干扰。红外LED补光灯简介发射红外线控制的距离与发射功率成正比。为

8、了增加红外线的控制距离，红外发光二极管工作于脉冲状态，因为脉动光（调制光）的有效传送距离与脉冲的峰值电流成正比，只需尽量提高峰值Ip，就能增加红外光的发射距离。提高Ip 的方法，是减小脉冲占空比，即压缩脉冲的宽度，减小占空比可使小功率红外发光二极管的发射距离大大增加。 举例：1002使用的镜头举例：1002使用的红外LEDSensor感光器件目前V2、V3、V5采用的都是MI360Array Format (4:3): 640H x 480V (307,200 pixels)Pixel Size and Type: 5.6 m x 5.6 mColor Filter Array: R, G a

9、nd B primary color filtersOptical Format: -inchFrame Rate: max 30 frames/secDynamic Range: 45dB, max 60dBPower Consumption: 65 mW at maximum data rate, 2.8VFunctional Temperature: -30 to +70图像处理技术颜色模型对比度锐度噪声抑制运动检测颜色模型RGB常用的颜色模型有三种，分别是RGB、YUV、HSV模型。RGB模型RGB是Red、Green和Blue的缩写，任意颜色都可以由红、绿、蓝这三种颜色不同比例混合后

10、产生。这个模型主要用于电子显示屏的颜色显示。RGB模型通常用三个八位或十六进制数来表示颜色，100%的红色、100%的绿色和100%蓝色混合，产生白色；0%的红色、0%的绿色和0%蓝色混合，产生黑色。RGB是一个加色模型。光源的亮度、色度、纯度混合在R、G、B三个参数中。光源的亮度(lightless)L就应该表示为：L=a*R+b*G+c*R这里的系数a,b,c具体的值依赖于显示器所采用的标准，以NTSC视频信号标准，则三个系数依次为：0.299、0.587、0.144颜色模型YUVYUV颜色模型是仅次于RGB模型的使用最广泛的颜色模型。事实上YUV只是一类颜色模型(YCrCb)的总称，它是

11、个很大的家族，具有相当多的存储格式，一般来说凡是基于YCrCb颜色模型的都可以称的上是YUV。Y代表了光源的亮度，色度信息也是组合在Cr、Cb中，其中Cr代表了光源中的红色分量，Cr代表了光源中的蓝色分量，因此它的变换公式是这样的：人眼对于亮度的敏感程度大于对于色度的敏感程度，所以完全可以让相临的像素使用同一个色度值，而人眼的感觉不会起太大的变化，通过损失色度信息来达到节省存储空间的目的，这就是YUV的基本思想。基于此，我们可以定义出许多YUV的格式，例如相临两个像素使用一个色度值的YUYV，JPEG/MPEG中相临四个像素使用一个色度值的YUV420等等。颜色模型HSV（1）H指的是Hue（

12、色调），它是“颜色”的同义词。S指的是Saturation（饱和度），它指的是颜色的纯度，即颜色中含有灰色（gray）的程度。饱和度越高，颜色越纯；饱和度越低，颜色中灰色成分越大。任何颜色，饱和度变成最小值时，都会变成灰色。V指的是Value，即颜色中白色的成分。这个值越大，颜色就越白越亮，这个值最小，颜色就越黑越暗。最大值时，所有颜色都变成白色，最小值时，所有颜色都变成黑色。颜色模型HSV（2）HSV模型是通过调节这三个值来标识颜色。它通常是一个color wheel的形式，所有边缘的颜色都是饱和度最高的颜色，越向圆心饱和度越小。Hue通过角度值选取，另有一个亮度轴，来选取Value值。HS

13、V模型上图，从左往右，自上而下的顺序，每副图是上一副图Hue旋转60度而得对比度是黑与白的比值，也就是从黑到白的渐变层次。比值越大，从黑到白的渐变层次就越多，从而色彩表现越丰富。对比度对视觉效果的影响非常关键，一般来说对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个画面都灰蒙蒙的。高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助。相对而言，在色彩层次方面，高对比度对图像的影响并不明显。对比度对于动态视频显示效果影响要更大一些，由于动态图像中明暗转换比较快，对比度越高，人的眼睛越容易分辨出这样的转换过程。增强对比度往往通过增加图像中某两个灰度值之间的动态范围来实现

14、。常用的对比度增强方法： 灰度变换 直方图调整对比度实例锐度目的为了增强被模糊的细节；消除或减弱傅立叶空间的低频分量，保持图像中的高频分量。因为图像中，低频分量对应图像中灰度值变化比较缓慢的区域，高频分量对应区域边缘等灰度值具有较大较快变化的部分。常用线形锐化滤波器实现，滤波器中心系数为正周围系数为负。锐度实例（1）锐度实例（2）噪声抑制噪声模型噪声一般是高频分量帧内去噪空间域低通滤波帧间去噪空间域+时间域低通滤波V3中的运动检测从视频码流中提取有用信息进行检测，并实时捕获当前帧画面检测灵敏度分5级，以应对室内外各种不同环境通过调节灵敏度，可以控制虚警情况的发生光照不太理想的黑暗环境下，由于噪

15、声较大，会导致虚警发生若运动过于缓慢，运动信息不够强，会造成漏报与大华终端对比测试(正在进行)：环境较暗时（白天实验室关灯），V3还能正常判断，大华无反应胳膊伸展运动，V3可以检测，大华无法检测如果天黑以后，V3会不停报虚警，大华无反应如果只露一个人头在动，V3无法检测，大华可以检测图像、视频压缩技术JPEG and Motion JPEGMPEG-4H.264JPEG and Motion JPEG国际标准化组织于1986年成立了JPEG (Joint Photographic Expert Group) 联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。J

16、PEG是常用的基于离散余弦变换(DCT)的编码方法。图像分割成8x8的像素块作为基本处理单元；基于DCT的有损编码基本系统；用于高压缩比、高精确度或渐进重建应用的扩展编码系统；对静止图像压缩率可达25:1；MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。MPEG-4为了适应在窄带宽（一般指384kbit/s）通信线路上对动态图像传输的要求，MPEG-4的制定初衷主要针对视频会议、可视电话超低比特率压缩（384kbit/s）的需求。MPEG-4利用了帧间图像的关联性，显著消减了帧间冗余信

17、息，提高了压缩率。H.264H264集中了以往标准的优点，并吸收了以往标准制定中积累的经验，采用简洁设计，使它比MPEG-4更容易推广。H.264创造了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术，使用了更精细的分象素运动矢量（1/4、1/8）和新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。 H.264主要有以下几大优点：高效压缩：与H.263+和MPEG-4 SP相比，减小50%比特率；延时约束方面有很好的柔韧性；容错能力； 编/解码的复杂性可伸缩性；解码全部细节：没有不匹配；高质量应用；网络友善。监控行业中常用分辨率目前监控行业中主要使用以下分辨率：SQCIF（128x9

18、6）、QCIF（176x144）、CIF（352x288）、4CIF（704x576） 、2CIF（704x288），D1（720 x576）、half-D1 （720 x288） 。SQCIF和QCIF的优点是存储量低，可以在窄带中使用，使用这种分辨率的产品价格低廉；缺点是图像质量往往很差、不被用户所接受。CIF是目前监控行业的主流分辨率，它的优点是存储量较低，能在普通宽带网络中传输，价格也相对低廉，它的图像质量较好，被大部分用户所接受。缺点是图像质量不能满足高清晰的要求。4CIF是标清分辨率，它的优点是图像清晰。缺点是存储量高，网络传输带宽要求很高，价格也较高。2CIF（704x288）已

19、被部分产品采用，用来解决CIF清晰度不够高和4CIF存储量高、价格高昂的缺点。但由于704x288只是水平分辨率的提升，图像质量提高不是特别明显。D1与4CIF类似，但是图像多了16列，主要是源于模拟电视PAL制式。图像质量评测方法静态分辨率测试颜色还原性测试最低照度测试视频流畅度测试静态分辨率测试（1）分辨率指摄像机摄取等间隔排列的黑白相间条纹时，在监视器上人眼能够看到的最大线数，当超过这一线数时，屏幕上就只能看到灰蒙蒙的一片而不能再分辨出黑白相间的线条。测试照明条件：光源色温为3100100k，照度为2000100lux；将标准分辨率图正放，将测试图的水平和垂直边框标志充满摄像头拍摄区域，

20、设置视频压缩分辨率为QVGA/CIF或者VGA/D1，在以下3种设置下进行测试：a) 画面质量设置为最高，网络带宽占用设置为不受限制；b) 网络带宽限制为1024k；c) 网络带宽限制为384k；测试指标：在384k网络带宽限制下，使用QVGA或者CIF分辨率进行视频压缩和传输时，水平分辨率应该达到200线以上。在384k网络带宽限制下，使用VGA或者D1分辨率进行视频压缩和传输时，水平分辨率应该达到350线以上。静态分辨率测试（2）在PC上通过客户端或者在IE窗口中显示解码画面，通过目测方式记录水平分辨率。例如，下面两个图中，右图取自某摄像头拍的分辨率板，可以看到，其水平分辨率大约为200线，超过200线的黑白条纹都无法分辨出来。颜色还原性测试颜色还原能力是指监控系统终端摄像头准确表示和记录景物中的各种颜色的能力。在D65光源下，将GretagMac