基于WEB的嵌入式视频采集压缩瘦身服务器的设计

1、2022-3-24欧赛尔电子工作室http:/基于基于WEBWEB的嵌入式视频采集压的嵌入式视频采集压缩瘦身服务器的设计缩瘦身服务器的设计西安交通大学信号与信息处理研究所 报告人：王黎明2022-3-24欧赛尔电子工作室http:/概述概述 1.系统的开发背景系统的开发背景 2.系统实现的主要功能系统实现的主要功能 3.系统实现具体方案系统实现具体方案 4.主要使用的技术主要使用的技术 2022-3-24欧赛尔电子工作室http:/1 1、系统的开发背景、系统的开发背景2022-3-24欧赛尔电子工作室http:/嵌入式视频采集压缩系统嵌入式视频采集压缩系统 开发背景开发背景嵌入式嵌入式323

2、2位微控制器系统与高性能数字信号处理器相结合位微控制器系统与高性能数字信号处理器相结合视频实时性要求进行硬压缩以及要求可以实现几种压缩标准视频实时性要求进行硬压缩以及要求可以实现几种压缩标准未来智能化网络化的需要未来智能化网络化的需要2022-3-24欧赛尔电子工作室http:/1.1.嵌入式视频采集压缩系统嵌入式视频采集压缩系统 开发背景（开发背景（1 1）（1）运行嵌入式操作系统的运行嵌入式操作系统的3232位微控制器系统与数字信号处理器相结合位微控制器系统与数字信号处理器相结合 数字信号处理（数字信号处理（DSP）芯片技术发展很快，因其强大的计算能力广泛应用于通信、控）芯片技术发展很快，

3、因其强大的计算能力广泛应用于通信、控制、信号分析等领域。但作为一种专用处理器，通常不能完成一些通用微处理器完成的工制、信号分析等领域。但作为一种专用处理器，通常不能完成一些通用微处理器完成的工作，也就不能有效地支持各种网络协议如作，也就不能有效地支持各种网络协议如TCP/IP或者或者UDP/IP。 而运行嵌入式操作系统的而运行嵌入式操作系统的32位微控制器系统能够有效支持各种网络协议，但是在处位微控制器系统能够有效支持各种网络协议，但是在处理一些运算量较大的任务（如语音和图像信号的压缩和解压缩、数据通信中的加解密算法理一些运算量较大的任务（如语音和图像信号的压缩和解压缩、数据通信中的加解密算法

4、等）有时就不能够胜任。等）有时就不能够胜任。 因此本系统就是将两者因此本系统就是将两者结合结合起来，共同实现一个任务。起来，共同实现一个任务。ADC转换ADC转换高速DSP处理高速DSP处理和编码和编码共享存储器共享存储器双口SRAM双口SRAM32位嵌入式32位嵌入式微处理器微处理器串口串口DSP总线扩展DSP总线扩展以太网接口以太网接口扩展存储器扩展存储器2022-3-24欧赛尔电子工作室http:/1.1.嵌入式视频采集压缩系统嵌入式视频采集压缩系统 开发背景（开发背景（2 2）（2）视频实时性要求进行硬压缩以及要求可以实现几种压缩标准视频实时性要求进行硬压缩以及要求可以实现几种压缩标准

5、 当前当前PC机通用机通用CPU的处理能力和操作系统的结构，压缩实时性不高的处理能力和操作系统的结构，压缩实时性不高 硬件的实时压缩是专用芯片。对于用户很难能进行二次开发。硬件的实时压缩是专用芯片。对于用户很难能进行二次开发。 通用通用DSP作为编解码芯片的视频压缩具有较强的扩展性和二次开发能力作为编解码芯片的视频压缩具有较强的扩展性和二次开发能力2022-3-24欧赛尔电子工作室http:/1.1.嵌入式视频采集压缩系统嵌入式视频采集压缩系统 开发背景（开发背景（3 3）（3）未来网络化的需要）未来网络化的需要 Internet和和Intranet已经渗透到社会生活的每个角落，当一台设备具有

6、网络已经渗透到社会生活的每个角落，当一台设备具有网络智能时，人们可以在任何地方、任何时间、任何地点、使用任何平台随时浏览实智能时，人们可以在任何地方、任何时间、任何地点、使用任何平台随时浏览实时的状态，并在远程实现对这台设备的监视、控制、诊断、测试和配置。时的状态，并在远程实现对这台设备的监视、控制、诊断、测试和配置。 预计在不远的未来，每个设备中都将有一个预计在不远的未来，每个设备中都将有一个IP地址，每个设备都具有远程维地址，每个设备都具有远程维护功能并都能从护功能并都能从Internet获取智能控制获取智能控制。也就是嵌入式操作系统设备作为网络服。也就是嵌入式操作系统设备作为网络服务器，

7、拥有自己的务器，拥有自己的IP地址，所面向的设备作为客户机地址，所面向的设备作为客户机。2022-3-24欧赛尔电子工作室http:/1.1.嵌入式视频采集压缩系统嵌入式视频采集压缩系统 开发背景（开发背景（4 4） 本系统将运行嵌入式操作系统的本系统将运行嵌入式操作系统的3232位微处理器系统与数字信号处理器相位微处理器系统与数字信号处理器相结合，构成一个基于视频采集压缩系统的瘦身结合，构成一个基于视频采集压缩系统的瘦身WEBWEB服务器。服务器。2022-3-24欧赛尔电子工作室http:/2、系统实现的功能、系统实现的功能2022-3-24欧赛尔电子工作室http:/2.2. 嵌入式视频

8、采集压缩系统实现的功能嵌入式视频采集压缩系统实现的功能1) ) 支持支持PAL/NTSC合成视频的捕捉和采集，可以接受合成视频的捕捉和采集，可以接受CCD摄像头输出的模拟视频信号，将其摄像头输出的模拟视频信号，将其 采样量化为复合采样量化为复合CCIR.601标准的数字视频信号标准的数字视频信号2) 能够对数字视频数据进行压缩和编码处理，能够对数字视频数据进行压缩和编码处理，具体采用的多媒体压缩标准可以具体采用的多媒体压缩标准可以H.263 、MJPEG MJPEG2000、 MPEG1、MPEG2等等3) 带有音频扩展接口，可以很方便的构成音频视频同步的网络视频监控系统，带有音频扩展接口，可

9、以很方便的构成音频视频同步的网络视频监控系统，Audio/Video流的流的复合，完全实现音视频同步复合，完全实现音视频同步4) 视频亮度对比度饱和度色度灰度可调等视频亮度对比度饱和度色度灰度可调等 5）监控系统可对镜头进行光圈、焦距、景深距离的控制操作对云台可做全方位控制，系统可以对）监控系统可对镜头进行光圈、焦距、景深距离的控制操作对云台可做全方位控制，系统可以对云台的上下左右的转动以及配套的云台护罩的相应设备进行全方位的控制云台的上下左右的转动以及配套的云台护罩的相应设备进行全方位的控制 6 6）通过局域网或者因特网和提供在线监控，可以在远程工作站查看，）通过局域网或者因特网和提供在线监

10、控，可以在远程工作站查看，通过局域网或者因特网和实通过局域网或者因特网和实现远程摇摄现远程摇摄/倾斜倾斜/放缩放缩8） 系统留有进一步完善和二次开发的余地，具有良好的软硬件接口，可以方便的集成到其它系统留有进一步完善和二次开发的余地，具有良好的软硬件接口，可以方便的集成到其它视频处理之中视频处理之中2022-3-24欧赛尔电子工作室http:/3. 3. 系统的实现方案系统的实现方案2022-3-24欧赛尔电子工作室http:/3.3. 嵌入式视频采集压缩系统的实现方案嵌入式视频采集压缩系统的实现方案 1）系统总体实现方案 2）系统总体实现框图 3）系统实现的创新性 4）系统实现的主要模块 5

11、）系统的软件模块2022-3-24欧赛尔电子工作室. 系统的总体实现方案系统的总体实现方案 本用于视频会议或者监控的嵌入式视频压缩卡系统是以SAMSUNG公司的嵌入式ARM-S3C4510B芯片技术和TI公司的高性能C62x系列定点DSP芯片技术为基础，以太网络（Ethernet）接口结构的嵌入式视频图像采集压缩系统，其主要功能是将由CCD摄像头获得的模拟视频信号经A/D转换为数字视频信号后，视频信号通过高速DSP压缩成各种符合不同压缩标准的数据码流。视频压缩后的数据流由嵌入式微控制芯片ARM-S3C4510B通过DSP的扩展总线xBUS读出，通过嵌入式操作系统的UD

12、P/IP协议栈，将数据打包，并运行web服务器，等待客户服务端通过网络访问数据流。 从而实现一个基于web的嵌入式视频压缩瘦身服务器。 DSP（SLAVE mode） ARM（MASTER mode）2022-3-24欧赛尔电子工作室. 系统总体实现框图系统总体实现框图2022-3-24欧赛尔电子工作室http:/3.33.3. .系统实现的创新性系统实现的创新性 （1 1）采用独立的双处理器的结构，一个处理器用于视频的压缩，一个处理器用于运行操作系统采用独立的双处理器的结构，一个处理器用于视频的压缩，一个处理器用于运行操作系统实现控制功能，实现实现控制功能，实现DS

13、P的强大运算功能与嵌入式微处理器的强大控制功能相结合。的强大运算功能与嵌入式微处理器的强大控制功能相结合。 （2）操作系统）操作系统uClinux内核嵌入到微处理器中，这种嵌入式操作系统内核源代码是公开的，易于内核嵌入到微处理器中，这种嵌入式操作系统内核源代码是公开的，易于在此基础上进行开发，同时在此基础上进行开发，同时uClinux操作系统本身带有完整的网络协议栈，无需开发者移植网操作系统本身带有完整的网络协议栈，无需开发者移植网络协议。络协议。 （3）独立的双处理器通信中采用）独立的双处理器通信中采用DSP的扩展总线的扩展总线xBUS，这样可以充分利用，这样可以充分利用DSP的双总线结构，

14、的双总线结构，尽量减少总线带宽的冲突。尽量减少总线带宽的冲突。 （4）压缩算法上使用了国际上最新的）压缩算法上使用了国际上最新的MotionJPEG2000的压缩算法。的压缩算法。 （5）对摄像头现场控制也可以通过网络进行远程控制。）对摄像头现场控制也可以通过网络进行远程控制。 2022-3-24欧赛尔电子工作室http:/3.43.4系统的主要模块系统的主要模块视频DSP压缩模块硬件系统软件系统存储器模块视频采集模块主处理器模块音频模块电源模块硬件驱动模块视频编码子系统控制子系统DSP处理器模块处理器模块2022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的主要模

15、块嵌入式微处理器模块微处理器模块存储模块以太网控制模块DSP接口控制模块硬件系统软件系统BOOT启动代码uClinux操作系统代码嵌入式微处理器模块嵌入式微处理器模块2022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的主要模块CCD摄像头视频A/DSAA7114HCVBSS-VideoAL440BFIFOVPOBUSTMS320C6202BDSPEMIFEPM7128SEPM7128SCPLDCPLDIGPHIGPVIDQIGP1GIO1RTS1F_RCKF_WCKWRSTRRSTREWEINT0INT1nCE2nRE视频采集模块：视频采集模块： 该模块的主要功能

16、是将从CCD摄像头输入的模拟视频信号转换为数字信号。普通CCD摄像头的输出是NTSC制式(或PAL制式)的复合全电视信号CVBS或是S-Video信号，二者均为模拟信号。通过PHILIPS公司的TV 解码芯片SAA7114H将模拟TV信号解码并且模数转换为符合CCIR.601标准的数字视频信号，并且存储到专用的视频FIFO芯片AL440B中，等待DSP处理。 CPLD通过SAA7114H的输出状态信号以及C6202B DSP的相应输出控制信号生成FIFO AL440B的控制信号。通过检测SAA7114H输出的同步信号来生成DSP中断，通知DSP读取视频FIFO中已满的一场图像数据。 2022-

17、3-24欧赛尔电子工作室http:/3.43.4 系统的主要模块系统的主要模块主处理器模块主处理器模块 模块主要是由TMS320C6202B DSP芯片，以及时钟电路等DSP外围器件构成。DSP运行的内部时钟是264MHz，外部的SDRAM运行在132MHz时钟。主要实现的功能：完成对视频AD模块输出的数字视频流的压缩编码完成对整个硬件系统各模块的控制功能，实现数字视频流的传输控制通过C6202B DSP的xBUS总线将压缩后的视频流传送到微控制器上通过C6202B DSP的McBSP1模拟I2C总线，对视频AD芯片SAA7114H进行初始化，对视频FIFO通过模拟I2C总线进行配置。对于需要

18、进行语音处理的，完成相应的语音压缩编码的功能。2022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的主要模块EMIF数据总线技术数据总线技术TMS320C6202BTMS320C6202BDSPDSP8M8bit 150MHz8M8bit 150MHzSDRAMSDRAM块2 CE0ED31:08M8bit 150MHz8M8bit 150MHzSDRAMSDRAM块1 CE0ED15:0ED31:16LVTH162245LSD15:04Mbits 80MHz4Mbits 80MHzFIFOFIFO段2 CE2LSD15：84Mbits 80MHz4Mbits 80

19、MHzFIFOFIFO段1 CE2LSD7:0512Kbyte512KbyteFLASHFLASHCE1LSD7:02022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的主要模块TMS320C6202BTMS320C6202BDSPDSPEA21:2EA14:2SDRAMSDRAM块1块1CE0SDRAMSDRAM块2块2CE0SDA15.2EA18:2512Kbyte512KbyteFLASHFLASHCE1FA16:0ALB16244ALB16244EMIF地址总线技术地址总线技术2022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的

20、主要模块音频模块音频模块 系统的音频模块主要是以一块语音AD/DA芯片TLC320AD50C以及与之配套的模拟音频输入输出电路构成。TLC320AD50C芯片最高采样率到22.05KHz，可以满足绝大多数语音应用的要求。该芯片的数字音频输入输出接口采用SPI模式，直接和C6202B DSP的McBSP0无缝连接。 系统中AD50采用主模式方式，而DSP的McBSP接口采用从模式形式，SPI总线通信中所需要的时钟CLK和分帧信号FS均由AD50产生并输入到DSP。 AD50SCLKFSDOUTDINC6202BDSPMcBSP0CLKS0FSR0FSX0DR0DX02022-3-24欧赛尔电子工

21、作室http:/3.4 3.4 系统的主要模块系统的主要模块电源模块电源模块 DSP的电源采用两种电压供电，DSP对这两种电压有上电顺序的要求，要求内要求内核电源（核电源（CVdd）先于）先于I/O电源（电源（DVdd）上电。）上电。考虑到DSP的功耗问题，采用TI公司的电源模块TPS56300对DSP分别供电。 为了保证C6202B芯片在电源低于要求的电平时会产生失控状态，在系统中加入了电源监控电路。该电路能确保DSP在系统加电过程中及电源电压低于一定门限值时始终处于复位状态。电源监控电路采用电源监控电路采用TI公司的公司的TPS3707-33，同时它还可接手工复位开关以便人工控制。 考虑到

22、因为整个系统的器件比较多，功耗可能比较大，因此使用了一片LM1117为系统提供3.3V的备用电源。整个系统的电源为：模拟 3.3v，5.0V 数字 1.5v，3.3v，5.0v 2022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的主要模块 以太网控制模块以太网控制模块 因为S3C4510B微控制器本身内置的以太网控制器，因此在硬件的设计上只需用实现物理层的一些协议要求。如电平转换，隔离滤波等。2022-3-24欧赛尔电子工作室http:/3.4 3.4 系统的主要模块系统的主要模块C6202B DSP与与S3C4510B接口模块接口模块 DSP与微控制器的接口是通

23、过C6202B的扩展总线xBUS实现的。这样做的优点是充分利用DSP的带宽资源，减少总线上的冲突，减轻EMIF总线压力。接口DSP采用异步从模式，即DSP（slave），S3C4510B（master） DSP为高速器件，S3C4510B为低速器件，况且DSP工作在从模式下，这样就无需加入共享存储器模块，节省了开发的成本，同时也降低了开发的难度。2022-3-24欧赛尔电子工作室http:/3.5 3.5 系统的软件模块系统的软件模块DSP初始化程序包初始化程序包 1）C6202B上电初始化配置上电初始化配置 2）EMIF总线控制寄存器以及总线控制寄存器以及McBSP寄存器配置寄存器配置 3）设置）设置DMA传输寄存器传输寄存器 4）设置中断向量表）设置中断向量表视频视频AD和和FIFO初始化程序包初始化程序包 1）I2C总线模拟软件包总线模拟软件包 2）视频）视频AD配置软件包配置软件包 3）视频）视频FIFO配置软件包配置软件包音频音频AD/DA程序包程序包 1）设置）设置DMA传输通道寄存器传输通道寄存器2022-3-24欧赛尔电子工作室http:/3.5 3.5 系统的软件模块系统的软件模块视频压缩程序包视频压缩程序包 1）DMA传输奇数场图像和偶数场图像插成一帧图像程序传输奇数场图像