数字视频与图象处理系统的需求分析与系统设计

数字视频与图象处理系统的

需求分析与系统设计深圳大学信息工程学院纪震教授闻亭公司市场部2005年10-11月电子工程系、计算机系86名教职工，22名教授，34名副教授博士点一个：信号与信息处理硕士点七个：信号与信息处理通信与信息系统计算机应用计算机软件与理论模式识别与智能系统生物医学工程电路与系统深圳大学信息工程学院深圳大学信息工程学院电子工程本科专业－广东省首批名牌专业计算机科学与技术专业－广东省第二批名牌专业（QQ之父：马化腾，1993年毕业于计算机系）软件学院－广东省省级示范软件学院深圳大学国家Linux推广与培训中心（全国40家）http://cie.szu.edu.cn深圳大学-TIDSPs实验室DSP实验室成立于2003年，由深圳大学和美国德州仪器公司联合成立，着重研究数字信号的实时处理技术与硬件实现。实验室占地面积120平方米，实验室现有教师10名，其中教授2名，副教授4名，讲师和助教4名。

实验室主要研究方向有：图象编码技术及硬件实现、实时信号处理、嵌入式系统（ARM）、基于混沌理论的数字水印技术、射频识别及电子标签系统的核心技术、嵌入式生化分析仪器、固网短信综合测试技术。深圳市委书记黄丽满视察实验室深圳大学-TIDSPs实验室在研主要项目粒子群优化算法的研究及其在图象压缩编码中的应用，纪震教授，24万元潜信道理论及其应用研究，张力副教授，21万元分布嵌入式实时系统的安全关键性理论研究，黄强讲师，17万元学习矢量量化的研究及其在视频图象编码中的应用，纪震教授，18万元国家自然科学基金项目其他主要项目基于混沌理论的智能数字水印技术研究，网络与交换技术国家重点实验室开放基金，纪震教授智能数字水印系统的理论研究及其软、硬件开发，深圳市科技计划项目，张力副教授高性能旋转数字减影系统，深圳市科技计划项目,纪震教授嵌入式智能型的远程监控技术研究，深圳市科技计划项目，张基宏教授固网短信仿真仪研制，深圳市科技计划项目，钱恭斌副教授EndpointDataAcquisition/ProcessingSystem(EDAPS)，中微半导体设备(上海)有限公司，纪震教授深圳大学-TIDSPs实验室在研主要项目内容典型数字视频与图象处理系统的总体结构光谱学特性与传感器技术数字视频图象采集与预处理常见的图象处理方法数字视频图象的存储与传输序数字视频优点数字视频信号在传输处理过程中损失小数字视频信号处理高效、经济完成高性能和复杂处理功能数字化视频信号遵从压缩、解压缩之类的基本信息技术内容

典型数字视频与图象处理系统的总体结构光谱学特性与传感器技术数字视频图象采集与预处理常见的图象处理方法数字视频图象的存储与传输典型数字视频系统总体结构模拟视频信号低通滤波器模数转换器数字处理器数模转换器重建滤波器模拟视频信号抗混叠滤波器系统包含要素：系统输入（模拟、数字视频）数字信号处理技术（数字视频图象处理）系统输出（模拟、数字视频、传输、存储）数字视频存储与传输视频图象处理系统的基本结构

通信采集处理和分析显示存储图象处理后的结果或处理过程中需要观看图象将图象从一个地方传输到另一个地方

图象采集模块通常由图象传感器和模数转换器（ADC）组成图象数据在处理前后和处理过程中需要存储CCD、CMOSRAM、FLASH、光盘、磁盘、磁带以太网、PSTN、ISDN数字视频系统举例

网络视频处理器数字视频系统举例基于H.323音频、视频系统数字视频系统举例网络视频会议终端系统数字视频系统举例流媒体机顶盒系统内容典型数字视频与图象处理系统的总体结构

光谱学特性与传感器技术数字视频图象采集与预处理常见的图象处理方法数字视频图象的存储与传输彩色摄像机的分光：棱镜和滤色片分光RCCDGCCDBCCD红外滤光片变焦镜头R/BCCDGCCD红外滤光片变焦镜头红、蓝滤光片R/G/BCCD红、绿、蓝方格图案滤光片红外滤光片变焦镜头分色棱镜二向分色棱镜(a)三板式的棱镜分光(b)二板式的二向色棱镜分光(c)单板式的方格图案滤色片分光(3CCD)单传感器RGB"Bayer"ColorandMicroLenses

GRGRBGBGGRGRBGBG通过内插产生所缺的颜色CCD传感器的读出CMOS传感器通过行列地址选通读出光谱学特性与传感器技术CCD量子效率与光谱关系图象传感器产品简介图象传感器产品主要分为ＣＣＤ、ＣＭＯＳ、ＣID。可见光传感器：ＣＣＤ、ＣＭＯＳ、ＣＩD紫外传感器：CCD、ICCDX光图象传感器：ICCD红外传感器：混合型，读出电路采用ＣＣＤ、ＣＭＯＳ注：1、ICCD=像增强器＋可见光CCD2、像增强器＝外光电子效应＋光电倍增＋荧光屏ＣＣＤ（ChargedCoupledDevice）传感器优点高解析度（HighResolution）高敏感度（LowNoise）动态范围广（HighDynamicRange）良好的线性特性曲线（Linearity）大面积感光（LargeFieldofView）光谱响应广（BroadSpectralResponse）200～1000nm低影像失真（LowImageDistortion）体积小、重量轻低秏电力，不受强电磁场影响电荷传输效率佳：该效率系数影响信噪比、解像率，若电荷传输效率不佳，影像将变较模糊ＣＭＯＳ图象传感器ＣＭＯＳ图象传感器于８０年代发明以来，由于当时ＣＭＯＳ工艺制程的技术不高，以致于传感器在应用中的噪声较大，商品化进程一直较慢。

在低档产品方面，其画质质量已接近低档ＣＣＤ的解析度，相关业者希望用ＣＭＯＳ器件取代ＣＣＤ的努力正在逐渐明朗。ＣＭＯＳ图象传感器优点：价格低廉，单片式。未来将有几年时间，以１３０万像素至２００万像素为界，之上的应用领域中，将仍以ＣＣＤ主流，之下的产品中，将开始以ＣＭＯＳ传感器为主流。

目前CMOS传感器水平为300万象素。CID和CIS图象传感器CID（ChargedInjectDevice）电荷注入器

CID的优点為抗辐射性良好，大部份被用在太空及特殊用途的的影像擷取。CIS（ContactImageSensor）接觸式影像感測器接觸式影像感測器在掃描影像時，文件與感測模組直接接觸，感測模組的長度必須不小於被掃描文件或圖片的寬度，如此長的感測器必須用數個感光元件及透鏡陣列拼湊而成，因此不容易做到較高的解析度，所以CIS所掃描出來的影像解析度一般在600dpi以下。面型CCD工作原理面型CCD

面型CCD是由二維感測元件構成的，其感測基本單元跟線型CCD一樣。曝光時，電容吸收光子而產生電荷，並儲存於位井內，曝光完後再以電荷傳遞的方式，將各電位井內的電荷數一行、一行的讀出成為電壓訊號。

InterlineTransfer模式及FrameTransfer模式可改進FullFrameCCD的缺點；採用Interline傳遞模式的CCD必須在每一列電容旁製作一列相同但能避光的電容，讀取訊號時，先將電荷移至避光的電容內，再將電荷一一讀出，同時感光的元件，可接受下個影像的曝光。FrameTransfer模式的CCD則需要兩組CCD陣列，一組用來感光，另外一組避光的用來作電荷傳遞，感光的CCD曝光後，很快地將電荷一行行地傳遞到另一組避光CCD上，然後再將電荷讀出，同時感光用的CCD可以接受下個影像曝光。此兩種電荷傳輸方式的缺點是使用的矽晶片面積較大；另外，採用Interline傳遞模式的CCD，由於每個可感光的畫素均要有一個傳遞電荷用的電容，因此其有效面積較小，感光的靈敏度亦較小。CMOS传感器结构CMOS传感器工作原理

CMOS（ComplementaryMOS）影像感測器也是由陣列式的感光象素構成，象素結構可為MOS電容或是p-njunction的感光二極體，以為MOS電容為感光畫素的稱為photogate型，而以二極體為感光元件的CMOS稱為photodiode型，由於photgate會吸收藍光，因此目前的CMOS發展以photodiode型為主流。

CMOS影像感測器的特點是，在每一個象素上除了感光部份外，还包含由N-type及P-type的MOS电子晶体管構成的電路，使各象素感光所累積的電荷訊號能夠跟DRAM一樣，用行列式的电极随机读取（randomaccess）。有源、无源CMOS传感器

依象素上電路复杂程度不同，CMOS影像感測器又有PassivePixel及ActivePixel之分，主要的差別在於PassivePixel的電路是由單個電晶體構成列的選擇開關，让位于每一行末端的放大器能夠讀取行、列交會處的畫素所積存的電子訊號。PassivePixel的優點是電路單純，不會佔掉太多感光面積而影响到感測器的灵敏度（sensitivity），缺點則是訊號輸出線路阻抗高，容易产生随机噪声（randomnoise），使影像品質不佳。ActivePixel象素上的電路是由二個或二個以上的电子晶体管構成具有放大功能的放大器。CIS传感器结构示意图CIS传感器

CIS是由線型的光源、自焦透鏡陣列（Self-focusLensArray，或稱為RodLensArray）、光感測元件陣列構成，掃描時自焦透鏡陣列將反射自圖樣的光聚集成像於感測元件陣列上，得到對應於圖樣上色彩或黑白灰階變化的電子訊號，利用滾筒移動原稿或移動整個感測器模組，可將原稿一行行地掃描成電子格式。由於自焦透鏡陣列所成的像為1:1的正立實像，CIS的寬度必須不小於被掃描文件的寬度。红外传感器

近红外（0.7～1微米）短波红外（1～2.5微米）非制冷红外传感器（波长：3~5,8~12微米）高性能红外传感器（波长：3~5,8~12微米）由于常温300K的红外背景辐射波长在10微米附近，为了获得高灵敏度，红外探测器需要制冷到77K低温工作。红外探测器制冷方法相变制冷TE制冷T-J制冷机械制冷辐射制冷某制冷CCD信号处理方案CCD相机组成和原理框图视频缓冲CCD芯片光纤串行输出HFBR-1119T接口控制电路同步曝光控制曝光时间控制低噪声电源低噪声偏置电压时序和数字信号处理Spartan-350～5000K门Cool-Runner750~12K门Xinlinx－FPGA模拟预处理电路CDS滤波、信号调理A/D转换电路2～4Ch,16~18bit脉冲驱动偏置电压视频缓冲偏置电压脉冲驱动制冷控制输出接口电路电源电路CCD温度UTE温控为5块PCB，其中前2块安装在CCD相机两侧，第3块在相机支架内，其它安装在支架附近。相机CCD时序

CCD203转移模式：行间转移（ROW并行转移）采用四相时钟。寄存器转移（Column串行转移）采用三相时钟CCD转移物理过程内容典型数字视频与图象处理系统的总体结构光谱学特性与传感器技术

数字视频图象采集与预处理常见的图象处理方法数字视频图象的存储与传输模拟数字转换器设计A/D采样频率fs设计：fs

2f0动态范围：SMAX/QNOISE量化抽样值Q：Q=2nA/D量化比特n：2n

SMAX/QNOISE反映图象的对比度视频缓冲放大器的选择

选择低噪声放大器，尤其应该关注其低频1/f噪声指标，输入阻抗匹配。

初步选择OP27或低噪声三极管2N3904（MMBT3904LT1）作为缓冲级。双相关采样CDS（箝位方法）

CDS电路的作用：消除CCD的开关噪声。

目前没有高精度CDS集成器件能满足16bit精度要求。有两种方法可以实现CDS。采用箝位电路：将CCD输出信号中参考信号电平强制到某一固定电平上（如0V）；数字信号处理方法：对A/D采样后数据进行处理，将信号电平与参考信号电平相减而实现CDS功能，付出代价是A/D采样速率提高一倍。数字视频图象的采集绝大部分情况下，视频/图象的采集均采用专用采集芯片数字图象预处理与控制技术自动曝光控制白平衡自动对焦技术防抖技术防红眼技术自动曝光技术简介DIV在不同的光照环境条件下，如果不控制曝光量，视频图象输出信号幅度差异很大，为了减少光照环境的影响，必须检测外部的环境照度，自动控制曝光量，获得好的图象。环境照度大，减少曝光量；反之亦然。控制曝光量技术途径：自动曝光时间控制（电子快门控制）提高信号的放大增益自动光圈调整（高级单反数字相机）白平衡技术简介自动白平衡调整（AWB）定义：要求在不同色温环境下，照白色的物体，屏幕中的图象应也是白色的。色温表示光谱成份，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色（红、绿、蓝）的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。

在各种复杂的色温条件下都能正确还原出物体本来的色彩，需要对数码相机进行色彩方面的调教，从而找到正确的色彩平衡，这就是所谓的白平衡调整。对于数码相机而言，调节白平衡的问题就与色温有关，在不同的光线状况下，被拍摄物体的色彩会产生变化。用DC拍摄时需要校正白平衡，因为在不同的环境中色温是不一样的。那么，白平衡和色温之间到底有什么关系？白平衡实现技术途径大多数数码相机的白平衡选项中都具有5种以上的模式，大致有自动、白天、阴天、白炽灯、荧光灯等等。在荧光灯模式下白色物体会偏蓝。而在钨丝灯模式下，数码相机的白平衡功能则会加强图象的蓝色，以保证色彩的还原。在一些高级DC和DV中，如果您对预设的白平衡模式不满意，还可以使用手动白平衡调节方式。而在这之前大家需要找一个白色参照物，如白纸—类的东西（其实应该用18%的灰色调整，但这样的东西不太好找），只要用相机镜头对着它就可以进行白平衡调整了。自动对焦技术主动式对焦（自动测距）超声波测距红外线测距光电测距（PSD、线列CCD）被动式对焦静态图象处理方法动态图象处理方法先进对焦技术多点对焦人眼自动对焦主动式对焦第一代AF相机的代表有：美能达-7000型、尼康-F501、佳能EOS-600系列等。在当时的一些AF傻瓜相机上靠机内电源发射红外光，通过接受返回的信号来测量距离，这种称为主动式自动聚焦的方法，尽管画面没有横直线也不影响测距，但因有效距离太小，无法满足专业相机从长焦到微距的使用，也不能满足在创作中控制景深的需要，因而没被采用到单反相机上。被动式对焦到1988年后，以美能达-7000i、尼康-F4及F-801、佳能EOS-1为代表，运用了多组电荷耦件使自动调焦范围大了12倍并可预测运动物体的速度，使快门打开的瞬间计算出主体移动后的焦点位置，从而为动态（体育）摄影开创了新天地。DSP图象处理调焦（被动）从85年后各大相机生产厂家开始推出自动聚焦相机，它的原理是建立在“影像在完全正确对焦下，画面会获得至高的反差”，相机靠红外线感应器检测景物的垂直线，再由机身里的相位差检测系统来驱动镜头移动，实现焦距的自动调整。对于一些低反差无直线的单色调物体比如墙壁等，自动调焦系统就会失灵。重点、多点对焦中央单点对焦能适应大多数拍摄情况，但要求要把对焦目标放进AF区域内，也存在很大的局限，因为我们在构图时需要聚焦的主体不一定总在画面的中心区域。因此现在很多较高级的数码相机都支持多点自动对焦。如佳能PowerShotS45就支持多达9点的人工智能自动对焦（AiAF）。智能型自动调焦相机是将人的思维与相机操作完美结合起来，如美能达7xi、在测距元件上加进16位CPU微电脑处理器，在测距的自动化方面增添了符合个性需要的各种模式，然而对自动聚焦研究的脚步并没就此停止……，直至EOS-3的推出，可以实现自动对焦的区域越来越广，照片拍摄速度也大大提高了。DIV防抖动技术大家知道，在不用三脚架的手持摄影中，从生物学角度看摄影者总会产生不可避免的微小晃动，这些微小的晃动在一段快门时间内，往往会使光轴发生偏移，从而导致照片模糊。尤其是在日暮时分和在室内拍摄时，由于快门速度较低，晃动产生的影响会更大。而防抖动功能就是通过光学透镜或者CCD的移动来补偿这种“光轴偏移”，从而使晃动的影响减少，使画面更加清晰。从现在的主流技术来看，佳能、松下、索尼以及柯尼卡美能达公司都掌握并且应用了这种技术，前三者通过镜头的浮动透镜来纠正“光轴偏移”，后者则创新地使用CCD浮动来实现，简称AS。这几个厂商都宣称他们的防抖动技术能够将安全快门降低2到3档，甚至4档。两者的差异是：前者是光学防抖动，后者是电子防抖动。防红眼技术许多数码相机发烧友在拍摄人物特写照片的时候，都会遇到一个问题，那就是人物的面部经常出现红眼情况。所谓“红眼”是指数码相机在使用闪光灯模式下拍摄人像特写的时候，往往会发生照片上人眼的瞳孔呈现红色斑点的现象。造成这种问题的原因是，在比较暗的环境中人眼的瞳孔就会放大，此时如果使用闪光灯的距离以及相机镜头的变焦距离比较近，则强烈的闪光灯光线会通过人眼瞳孔中丰富的毛细血管反射进入镜头画面，所以反映在照片上就形成了红色的斑点。为了能够解决照片中的红眼问题，各大数码厂商都不约而同地推出了防红眼技术，大体上可以分为两类。防红眼技术途径数码相机使用较多的是通过闪光灯预闪技术，当启动防红眼功能以后，相机就会在使用闪光灯正式闪光拍照之前预闪一次或者多次，目的是使得人眼的瞳孔缩小并适应闪光灯的光线，从而在照片中减轻红眼现象。通过相机内置的软件实现的。这套方案结合了全新的IRISS技术，它是图象红眼智能处理软件（英文名称为：IntelligentRed-EyeImagingSoftwareSolution）的简称。利用IRISS技术就可以在数码相机拍摄的过程中自动正确地检测并确认“红眼”现象。同时通过数码媒体处理的DSP技术，就可以在成像的过程中消除红眼问题带来的影响，显示出更加完美的照片效果。内容典型数字视频与图象处理系统的总体结构光谱学特性与传感器技术数字视频图象采集与预处理

常见的图象处理方法数字视频图象的存储与传输常见数字图象处理方法图象变换通过图象的变换，改变图象的表示域及表示数据。如傅立叶变换、DCT等图象增强针对使图象质量下降的原因，采取简单易行的方法，改善图象质量图象分析对给定的图象及已分割的图象区域用更为简单明确的数值、符号或图形来表示，反映原图象的重要信息及原图象的主要特性图象压缩减少传输图象时所需花费的代价，采用合适方法对图象进行压缩和编码，以便于图象的传输和存储图象变换意义通过图象变换，改变图象的表示域及表示数据，可以给后继工作带来极大方便。图象分析图象增强图象压缩图象变换-傅立叶变换在图象处理的广泛应用领域中起着重要作用信号的频域变换反映了线性系统固有和重要特征傅立叶变换是唯一的，可唯一重构信号快速傅立叶变换的应用滤波器频率响应-滤波器冲激响应的傅立叶变换就是该滤波器的频率响应快速卷积-两个函数卷积的傅立叶变换等于两个函数傅立叶变换的乘积图象特征识别-用于与卷积密切相关的相关运算（correlation），相关运算用于模板匹配，可以用于对某些模板对应的特征进行定位。图象变换-离散余弦变换（DCT）大多数情况下，用于图象压缩，如JPEG、H.26x等JPEG图象压缩算法中图象被分成8×8或者16×16的块对每个块进行DCT变换DCT变换系数被量化、编码及传输收端，量化的DCT系数被解码、反量化逆DCT变换，得到一幅重构图象图象变换-离散小波变换傅立叶变换具有局限性反映信号或函数整体特性，不具有信号的局部特征在空间不是局部的，但在频域是完全局部的小波的发展实际信号处理中，往往关心的是信号在局部范围内的特性，如：何时发出的音节、何时出现的地震反射回波、何时出现飞弹火炮等利用适合稳态信号处理的傅立叶变换，难以解决非稳态信号的处理问题“wavelet”，是波形类似局部的波形函数，一个均值为零的局域函数图象变换-离散小波变换小波在频率上和空间上都是局部的，即他们的变化率是受限制的傅立叶变换是唯一的，小波变换却不唯一，有许多可能的小波集合可被选择，在不同小波的平滑性和紧密性间折衷选择紧密性隐含着计算复杂性，FFT对n值输入的计算复杂度为O(nlogn)，小波变换为O(n)小波变换借助于滤波器组，输入信号的过滤就是某种小波变换。低通滤波或与平滑函数的卷积，以及高通滤波均利用于小波变换小波例子图象增强以改善图象质量为目的引起图象质量退化的原因对比度问题-局部或全部偏低影响图象视觉噪声干扰问题-使图象蒙受干扰和破坏清晰度下降问题-使图象模糊不清，甚至严重失真不估计图象实际退化的过程和因素而加以矫正，只考虑图象退化的一般性质，加以修正，以求得一般的或平均的图象质量的改进，如：边缘锐化去模糊、平滑去噪声、直方图修正、对比度增强等图象复原例子图象增强图象增强是综合和一般性地改善图象质量，解决图象由于噪声、模糊退化和对比度降低等三类问题，获得最好的视觉效果处理方法点运算方法空域运算方法变换域运算和处理图象增强灰度调整对比度增强方法图象灰度变换直方图修正局部统计自适应图象增强方法-图象有明显的不均匀背景和对比度分布时采用利用局部窗口的均值统计量，自适应调节中心象素点的灰度均值，有效去除不均匀背景干扰利用局部窗口的方差统计量，自适应调节中心象素点的灰度放大系数，有效增强低对比度图象伪彩色图象增强-将不同灰度的图象赋