与编码空分复用

1、彩色CMOS图像传感器的图像采集方式在CMOS图像传感器的光电转换过程中，光子转换为电荷的多少与光波波 长关系不大，所以它原本是单色传感器。彩色CMOS图像传感器是通过应用微 平板技术，在每个像素上镀上颜色滤光器制造出来的。各像素滤光器颜色分配常 采用传统的“Bayer”模式，每四方相邻的四个像素构成一组，每组有两绿、一红、 一蓝。多出的绿色像素是为了使传感器的输出更接近于人眼对光的反应。为了将尽可能多的光线都集中到像素的光敏单元，常常还给CMOS图像传 感器每个像素装上微透镜。微透镜有两种方法实现。一种方法是将塑料在每个像 素上沉积为圆形或正方形;然后采用腐蚀或融制的方法，将透镜变为弯形。还

2、有 一种技术是通过几个掩模蚀刻步骤，在不同颜色像素上制成不同的台阶状透镜。最常见的CMOS图像传感器器件的数据输出格式是Bayer原始数据输出格 式。Bayer原始数据的一般格式为：奇数扫描行 GRGRGR.GRGR偶数扫描行BGBGBG.BGBG数据采样时，奇数扫描行的第1, 2, 3, 4.像素分别采样和输出G, R, G, R.数据;偶数扫描行的第1, 2, 3, 4.像素分别采样和输出B, G, B, G.数据。在像素颜色值的后处理过程中，首先要根据一定的彩色图像恢复算法，参照 该像素周围的另两种颜色像素，估计出该位置像素本来RGB三色的分量值。3.6.2 DM6467 视频端口使用一

3、般的DSP芯片做设计时，我们需要把视频采集芯片输出的视频信号 放到FFIO中，然后通过DSP的外部数据总线传输到DSP内部。这种设计方法 在硬件实现上比较复杂，需要增加FFIO芯片，并且在和DSP外部总线的连接上 也增加了复杂度。此外，视频格式多种多样，DSP把视频信号都作为普通的数据 会出现各种实际的问题，如信号格式和同步的问题28。多媒体处理器的出现，解决了这一问题。以DM6467为例，它有三个20-bit 的视频端口，我们在设计时无需外加缓存芯片，而且可以把视频采集、显示芯片 直接连接到端口上。DM6467的每个视频端口都包含了两个通道A和B20，但是整个端口总是 被配置成一整个采集或者

4、显示模式。在被配置成同一模式的前提下，16/20-bit 的端口可以被分为两个8/10-bit的通道。FFIO缓存的容量总共是5120-Byet,可 以分配给两个通道。在网络摄像机的设计中，我们把视频端口配置成采集模式。DM6467的视频采集端口可实现以下功能：采集速率可以达到1 GHz;两路8/10 bit数字视频输入，数字视频可以为YCbCr4:2:2格式或者ITU-R B.T656格式，精度为8bit或者10bit;一路YUV4:2:2格式的Y/C 16/20-bit数字视频输入，两个8/10-bit通道分 别输入 Y 和 Cb/Cr 信号。支持 SMPTE260M, SMPTE274M

5、, SPTE296M, ITU-BT1120 等标准；通过A/D转换器的直接连接，能够同时接收两路10-bit或一路20-bit的 原始视频数据(Raw Data)。DM6467的每个视频端口都包含了一个FIFO来储存输入或输出的视频数 据。视频端口和芯片内部的DMA传输器一起在视频端口 FIFO与外部或片上内 存之间搬移数据。3.6.3网络摄像机的视频采集模块设计前文提到，CMOS APS图像传感器在价格、性能和功耗等各方面都优于CCD 图像传感器，而且集成了很多图像处理功能，因此在本文的网络摄像机采集模块 设计中，我们选用了 Micron公司生产的CMOS APS图像传感器芯片一一 MT9

6、T001。MT9T001是一款OXGA格式(有效像素为2048*1536)的CMOS数字图像传 感器。芯片上集成了模拟及数字自动增益调整、电平偏置调整。视窗大小切换、 行列调整和闪光模式等功能，这些功能都可通过12C总线接口进行编程控制【26。这款300万像素的传感器除保持了 CMOS图像传感器器件一贯的小巧、低 价、集成度高的优势外，还额外增加噪声抑止功能，具备了 CCD传感器的低噪 声特性，能够提供高清晰的锐利影响，并能捕捉到连续和静态图像，可以为本文 的高清晰度网络摄像机提供高质量的视频信号数据。功能框图如图3-4所示。Two-WireSerialClockSyncSignals10-b

7、itData图3-4 MT9T001功能框图Fig.3-4 Function Diagram of MT9T001DM6467和CMOS图像传感器的连接如图3-5所示。为了接收视频数据， DM6467的视频端口必须配置成原始数据采集模式。在这种模式下，DM6467对 接收到的数据不作任何选择或插值处理。这种操作模式适合接收CMOS图像传 感器等特殊格式的数据。由于是传输原始数据，DM6467和MT9T00l之间的连 线也相对简单，不需要行、场同步信号。当CAPENA信号被使能后，VPID数据 总线将开始接收数据;采集速率由CMOS传感器的PIXCLK时钟决定。DM6467 通过12C总线(SC

8、L和SDA)控制CMOS图像传感器的工作模式。CLK_IN PIXCLK LINE_VALIDD9:0SCLKSDATA TRIGGER SROBE RESETz STANDBYOEzVCLKINAVP1CLK0CAPENAVP1CTL0VP1D9:0SCLSDAGPO1GPO21 一,.*-J., SYSRESET图3-5 DM6467和MT9T001的电路连接Fig.3-5 The Connections Between DM6467 and MT9T0013.7音频传输模块考虑到多媒体监控这个发展方向，本文对利用DM6467的多通道音频串口 (McASP)实现音频输入、输出模块，扩展了网

9、络摄像机的应用。音频输入模块的 作用是把输入的模拟音频信号，经过A/D转换并压缩编码后，交由网络模块传 输到以太网上。音频输出模块则是将网络模块接收到的音频数据进行解码和D/A 转换后，通过3.5mm的音频端子输出。音频传输模块的功能结构图如图3-6所 示。图3-6音频传输模块的功能结构图Fig.3-6 Audio Transmission Modules of the Function Structure3.7.1 DM6467的多通道音频串口 (McASP)McASP的功能是为多通道的音频应用提供一个通用的串行接口，它支持 TDM流，I2S(Inter-Integred Suond)协议等

10、多种音频传输。McASP包括了传输和 接收部分，它们可以完全独立的传输不同的音频数据格式、工作在不同的时钟。 当然，传输和接收部分也可以被同步。McASP的特点包括：两个独立的时钟(发送和接收)；8个串行数据通道，独立可分配；每个时钟包括：可编程的时钟生成器；可编程的帧同步生成器；支持时隙大小包括8、12、16、20、24、28和32bits。利用DM6467的多通道音频串口，我们选用一片音频编解码芯片(Codec)直 接和它连接，就可以完成所需的音频传输功能【2013.7.2音频编解码芯片由于在网络摄像机中音频传输是一个辅助性的模块，我们希望它不要占用太 多的电路板空间和系统资源。同时，为了

11、满足高采样率、高信噪比、高速数据传 输及控制灵活方便等要求，我们选择了 Tl公司的音频编解码芯片 (CODEC)TVL320AIC33芯片来实现音频模块的功能。TLV32OAIC33是一款把模拟功能高度集成的高性能立体声音频编解码器，主要由以下功能模块构成291两路D/A转换输出一一 Line_Out和耳机输出AIC33片内两路Sigma_delta型DAC转换电路可提供100dB的输出信噪比， 数据精度为16位，采样率可以在8k到96k的频率范围内调节。左右两路声道经 DA变换后的模拟量直接从ROUT和LOUT引脚输出;同时也可以经片内可调增 益放大器放大后，分别从RHPOUT和LHPOUT

12、引脚输出耳机信号.，网络摄像 机利用两个可以选择的0欧姆电阻，可以根据不同的应用场合选择。默认的状态 是RHPOUT和LHPOUT输出耳机信号。两路A/D转换输入一一 Line_In和麦克风输入AIC33片内两路Sigma 一 delta型ADC转换电路可提供90dB的输出信噪比， 数据精度为16位，采样率可以在8k到96k的频率范围内调节。所采样的左右两 路模拟信号分别从RLINEIN和LLINEIN引脚输入，经可调增益放大器放大后送 入ADC转换器的输入端。通过设定片内的选择器，ADC的输入信号也可来自 MCINI引脚所接的麦克风。网络摄像机系统使用两个0欧姆电阻做为选择开关， 根据不同应

13、用场合选择。默认状态是用RLINEIN和LLINEIN输出。数字音频接口AIC33通过数字音频接口向外围设备传送两路数字音频数据;并通过数字音 频接口从外围设备获取音频数据，经D/A转换器转换成模拟信号输出。数字音 频接口支持多种工作模式，可方便的与多种外围设备接口。串行传输时钟最高可 达 20MHz。控制接口外围设备通过控制接口向AIC33单向传输控制命令，AIC33片内的所有控 制寄存器均由控制接口修改。通过向控制接口发送命令，外围设备可以方便地修 改AIC33的工作片内控制寄存器，从而实现对AIC33工作模式的控制，如调节 各通道增益，设定数字音频接口工作模式等。同时，AIC33还具有很

14、低的能耗，回放模式下功率为23mW，省电模式下小 于15uw。硬件模块选择AIC33实现音频模块，可以保证测试系统对采样频率和 采样精度的要求，提高测试结果的准确性。4运动目标检测算法4.1运动目标检测的一般方法早期的运动目标检测主要是通过视频帧的比较来检测图像的变化，即通过对 视频数据的解码，连续帧之间进行比较，对于像素灰度值变化较大的区域，判别 为有运动物体的存在，但是视频帧数据的编码一般都是有损压缩的，这就一定会 存在误报和不准确的现象。随着编解码等图像处理技术的发展，以及研究人员对 运动目标检测越来越多的关注，运动目标检测算法得到了极大地丰富和发展，目 前运动目标检测一般算法归纳为三类

15、:光流法、时间差分法和背景减除法。三类 算法通过采用不同的手段对图像属性进行比较，将图像分割为各具特征的区域并 提取感兴趣的目标，这里图像的属性包括了像素灰度值、颜色、纹理以及连续帧 之间不同相关性等。下面对三类算法的基本思想、具体实现和检测性能，以及在 实际应用中改进的方向进行简要介绍。4.1.1光流法光流法(Optical Flow)是指利用运动物体光流特性随时间变化进行运动目标 检测的方法，光流是由Gibson在1950年提出的一个概念，它是指空间的运动物 体使观测面上的像素点产生运动的瞬时速度场，光流在图像平面产生的是一种二 维的瞬时速度场，这种具有方向的二维速度场是现实三维空间中运动

16、物体在成像 表面上的投影，因此光流不仅包含了目标的运动信息，同时还包括目标的三维结 构信息，通过对光流分析可以得到场景中运动目标的速度、数目、相对距离以及 目标的结构特征等。假设用f (x, y,t)来表示像素点(x, y)在t时刻的亮度，u (x, y)和v (x, y)表示 该点此刻的光流在x和y轴上分量，在t + At时刻，该点运动到(x + Ax,y + Ay)位置， 即Ax = At xu(x, y)， Ay = At x v(x, y)，因为照度保持不变，则有：f (x + At x u (x, y ), y + At x v (x, y ), t + At)= f (x, y,

17、t)(式 4-1)f (x + At x u (x, y ), y + At x v (x, y), t + At)= f (x, y, t)(式 4-2)由于亮度随x、y、t平稳变化，可将上式进行Taylor展开：f (x, y, t )+Ax f + Ay f + A应 + e (Ax, Ay, At)= f (x, y, t) axayat(式 4-3)f (x, y,t)+Axf + Ay f + Atf + e(Ax,Ay,At)= f (x, y,t) axayat(式 4-4)其中，e (Ax, Ay, At )是Ax、Ay、At 一阶以上的所有高阶项。当两边同时消除f (x,

18、y,t)项并除以At，同时使At 0，则有：af dx + af dy + af = 0ax dt ay dt at(式 4-5)因为光流u =半，v =当，令= f ，痔=f ，号=f，则： dt dtexx 刁yy cttf + f + f= 0(式 4-6)公式(4-6)表征了光流分量与空间和时间梯度之间的关系，称之为光流场约束 方程。但是在图像中，一个像素点存在u、v两个未知变量，所以仅利用这一约 束方程，还并不能够对光流进行唯一求解。因此不同的研究者又提不同的约束条 件，使用不同的方法来求解光流，其中比较常用如:Hom Sehunek方法，认为 光流在满足光流约束方程的同时，又满足全

19、局平滑性，最后经过复杂的推导，使 用变分法将光流约束方程转化为一对偏微分方程，最终求解光流 ；Lucas 一 Kandade方法使用了 一种基于像素递归的方法进行光流求解，该方法不仅提高了 算法的精度，也减小了算法的复杂度，为光流法在实时系统的应用提供了可能。4.1.2时间差分法时间差分法(Temporal Difference)也称帧间差分法，其基本思想是通过相邻 帧之间差分，利用相邻帧之间运动区域的强相关性进行检测，然后通过对图像序 列进行滤波处理来确定运动目标。时间差分法的理想假设是背景像素点的特征值 和位置在图像序列中不会发生变化，然后通过比较视频序列中相邻帧的对应像素 点特征值来发现

20、存在变化的区域，即为运动目标区域。常用的时间差分根据差分帧数分为:两帧差分法和三帧差分法两帧差分法即在相邻两帧之间进行直接差分，在所得的差分图像中利用门限 判决，像素值没有发生变化或变化较小的区域，差分值较小，被作为背景删除掉， 差分值大于门限的像素点包含了绝大部分的运动目标信息而被保留。假设视频图 像的第k帧表示为人(x, y )，(x, y)表示第x行和第y列对应的像素点，二值差分 图像用Dk (x, y)表示，则有：D (x, y)= l (x, y)T (x, y)(式 4-7)得出差分图像后，需要设置合理的闭值门限T，将差分图像二值化为只有运 动目标的图像M (x,y):kM (x,

21、 y)J, Dk (x，y口k0,else(式 4-8)在二值图像Mk (x, y)中，1表示有运动目标出现的区域，0表示背景区域。这种最简的时间差分法，门限T的选择是算法检测效果好坏的关键，T选择的合 理性取决于运动场景中目标与背景的差异化，对于目标与背景差别明显的场景， 应提高门限值，以利于对噪声抑制，而对于目标与背景相似的场景，门限T的选 择比较困难，过低容易出现大面积误检，而过高又容易将目标漏检。因此，门限T 一般根据对具体场景的经验值来设置，本文取CVRR的标准Laboratory原始 测试视频进行测试，将门限T设置为20。两帧差分法的计算速度最快，同时也只需要存储相邻的两帧图片，占

22、用的内存较少。两帧差分法易受到噪声干扰的影响，且检测目标易出现重影，三帧差分 法能比较好的解决两帧差分法中存在的一些问题，在实际应用中也更广泛。三帧运动目标区域，差分法是指利用三帧图像相邻两帧进行两两差分，然后将结果进行与运算来获得 刘于第k帧的检测过程可表示如下：M G, y)K G，y)-L G y)10else(式 4-9)M 2 G，y H0Ik+1(x，y(x，y)-Telse(式 4-10)Mk & y)T0M (x, y) M (x, y ) = 1else(式 4-11)三帧差分法较两帧差分法具有更好的检测性能，能够消除背景显露区，解决 重影问题，但是无论两帧差分法还是三帧差分

23、法，差分法最大的缺陷在于无法完 整的检测出运动目标的全部信息，对于内部纹理均匀而运动又十分缓慢的目标， 容易产生内部空洞现象，尤其当目标运动速度变化时，该方法检测出目标存在严 重误差。此外，在视频监控中，检测目标的多样性，以及背景变化的复杂性，都 给门限T的设置带来了很大的困难，根据经验值设定的闭值门限T，不具备对场 景的适应性，而众多的时间差分法研究者设计的自适应调整门限方法，往往在增 加巨大的计算代价同时，对同一场景内存在不同目标情况下，无法获得合理的门 限值。当然，时间差分法本身也有诸多的优点，如检测速度快，对于动态环境具 有较强的自适应性，因此差分法一般用于对目标形状检测要求不高，场景

24、中运动 目标种类比较单一，而对检测实时性要求较高的应用环境等中。4.1.3背景减除法背景减除法(Background subtraction)是目前运动目标检测中应用最广泛的七(x, y )-Bk (x, y ) Telse一种方法，其基本思想是:首先利用检测场景的可用有效信息构建背景图像，然 后使图像序列中当前帧图像与背景参考图像进行差分来检测运动区域。Mk (x,y)=(式 4-12)从差分的意义上说时间差分法也可归属为背景减除法，但是它的背景图像构 建过于简单，仅仅利用了相邻一帧作为图像背景。背景减除法的关键就在于背景 图像Bk (x, y )的构建，以及背景图像是否可以根据背景的变化进行适当的更新。 一般的背景减除法工作流程如图4.1所示。图4.1背景差分法运动目标检测流程Fig.4.1 Background Difference Method of Moving Object Detecting Process预处理部分主要完成对输入视频图像的格式转换和一些环境噪声的消除，背 景建立和目标检测是背景减除法的核心环节，目标的后处理主要是利用滤波手段 去除检测结果的伪目标点，这三项也是论文后续研究的重点内容，在一般的建立 背景过程中都会引入检测结果的反馈331可以根据检测结果更好的进行背景的 更新。在背景减除法中，建立背景图像一般是通过构