基于DAVINC的数字监控系统

1、基于基于Davinci的的数字视频监控系统数字视频监控系统程雷雷程雷雷模块设计模块设计n流媒体传输模块n视频处理模块nCodec Engine框架分析2022-3-22青岛理工大学 通信学院2流媒体传输模块n流媒体传输模块： 采用 RTP 协议H.264 数据包发送到网络中，并支持一定的流媒体控制策略。2022-3-22青岛理工大学 通信学院3网络通信协议技术2022-3-22青岛理工大学 通信学院4网络通信协议技术视频监控系统中,最重要的一部分就是解决视频的网络传输问题。nTCP协议提供可靠的传输,适合于传输准确性要求较高的控制命令nUDP协议实时性好,可传输视音频数据,但还需要同RTP/R

2、TCP等协议结合起来用。nRTP是实时传输协议,它提供时间戳、序列号和其它方式来处理实时数据传输中的时间事项;RTCP是RTP的控制部分,进行服务质量和成员数管理; nRTSP是控制协议,它从服务器端初始化和直接传输视音频数据流,它只提供n遥控功能,数据传输是由RTP完成的;HTTP是超文本传输协议,负责传输Web页面2022-3-22青岛理工大学 通信学院5网络传输技术网络视频传输技术的发展离不开一系列支持多媒体通信的网络协议。流媒体技术是网络音视频技术发展到一定阶段的产物,是一种解决多媒体播放时的网络带宽问题的“软技术”。流媒体技术并不是单一的技术,它涉及到流媒体数据的采集、压缩、存储、传

3、输以及网络通信等多项技术,是融合很多网络技术之后所产生的技术。流媒体技术领域主要采用一系列的实时协议,包括实时传输协议（RTP）、实时传输控制协议（RTCP）、实时流协议（RTSP）等实现流式传输。2022-3-22青岛理工大学 通信学院62022-3-22青岛理工大学 通信学院7n网络视频信息传输的主要特点是对传输时间有严格限制，多媒体数据的传输往.往要求高带宽、低延时和低抖动。nRTP 协议是针对用于 Internet 上的多媒体数据流的一种传输协议。该协议可基于多播或单播网络提供端到端的网络实时数据传输，为实时数据传输提供时序重构、帧遗失检测、数据安全等多种服务。通常 RTP 算法并不作

4、为一个独立的网络层来实现，而是作为应用程序代码的一部分。n实时传输控制协议 RTCP（用于QoS质量服务反馈和同步媒体流） 和 RTP 一起提供流量控制和拥塞控制服务。在 RTP会话期间，各参与者周期性地传送 RTCP 包。RTCP 包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP 和 RTCP 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。视频处理模块n视频处理模块包括视频采集、视频编码n视频采集功能，把 ARM 搜集的原始视频数据帧（如 YUYV），传递给视频编码模

5、块；n视频编码功能，把 DSP 压缩编码后的数据帧转交给流媒体传输模块，为网络传输做好准备2022-3-22青岛理工大学 通信学院8视频采集模块nDM6446的VPSS视频处理子系统包括了视频处理前端（VPFE）和视频处理后端（VPBE）。其中,视频采集模块对应视频处理前端,而视频回显模块对应视频处理后端。nVPFE包括CCD控制模块、图像缩放模块、预览模块、三个自动模块(H3A,即自动对焦、自动曝光、自动白平衡)、柱状图模块。n视频采集的工作流程如下n首先,CCD控制模块接收从视频解码芯片TVP5146输出的YUV格式的标准数字视频信号。此时,预览模块将从CCD控制模块接收的未经处理的视频信

6、号,通过坐标转换,变成YcbCr422格式的数据,提供下一步的视频处理,即视频压缩,此时视频采集的过程完成。当然,通过视频处理前端,我们可以硬件处理一些常用的视频处理环节。比如,用户需要将一副小图片放大,可以通过图像缩放模块,将从预览模块处理后的图像进行放大处理。此外,视频处理前端还支持硬件自动对焦、自动曝光和自动白平衡2022-3-22青岛理工大学 通信学院9VPSS系统框图2022-3-22青岛理工大学 通信学院102022-3-22青岛理工大学 通信学院11视频采集是基于视频采集硬件子系统视频采集是基于视频采集硬件子系统,采用实现视频采集驱动采用实现视频采集驱动,通过调用函数操作视频设备

7、通过调用函数操作视频设备,实现了视频采集模块实现了视频采集模块DVEVM开发板视频输入硬件电路的系统框图如下：开发板视频输入硬件电路的系统框图如下：视频采集模块2022-3-22青岛理工大学 通信学院12DVEVM开发板上的视频输入接口可以分为以下两类开发板上的视频输入接口可以分为以下两类:（1）模拟视频输入接口）模拟视频输入接口,包括一个包括一个S-Video端子输入接口和一个端子输入接口和一个AV端子端子输入接口输入接口,这两个端子的输入信号都连接到解码器芯片的输入接口转为这两个端子的输入信号都连接到解码器芯片的输入接口转为数字信号后再输入到达芬奇芯片的视频处理前端接口数字信号后再输入到达

8、芬奇芯片的视频处理前端接口;（2）数字视频输入接口）数字视频输入接口,在板上提供了一个的接口卡插座在板上提供了一个的接口卡插座,用户可以自己用户可以自己制作接口电路。这个接口将直接把用户的数据送到达芬奇芯片的视频处制作接口电路。这个接口将直接把用户的数据送到达芬奇芯片的视频处理前端接口管脚上。理前端接口管脚上。系统采用模拟摄像头经过系统采用模拟摄像头经过A/V接口输送到接口输送到TVP5146的输入端的输入端视频输入接口视频输入接口2022-3-22青岛理工大学 通信学院13视频采集驱动视频采集驱动在操作系统上控制一个硬件系统在操作系统上控制一个硬件系统,就必须为其编写相应的驱动程序。视频就必

9、须为其编写相应的驱动程序。视频采集系统与一般的外围硬件设备一个很大的不同采集系统与一般的外围硬件设备一个很大的不同,在于它需要处理数量巨在于它需要处理数量巨大的原始视频数据大的原始视频数据,因此内核专门引入了一个标准的视频设备驱动接口因此内核专门引入了一个标准的视频设备驱动接口,即即Video for Linux(简称简称V4L),可以高效地管理视频设备。可以高效地管理视频设备。Linux2.5 X内核将其升级到第二版本内核将其升级到第二版本,即即Video for Linux2(简称简称V4L2),而而现在的现在的V4L2除了支持传统的视频采集设备之外除了支持传统的视频采集设备之外,还支持音

10、频采集设备、还支持音频采集设备、FM收音设备、视频输出设备等。因此收音设备、视频输出设备等。因此V4L2定义为一套用于处理定义为一套用于处理Linux上多媒体设备的标准应用编程接口函数上多媒体设备的标准应用编程接口函数,通过这些函数通过这些函数,可以执行打开、可以执行打开、读写、关闭等基本操作。读写、关闭等基本操作。2022-3-22青岛理工大学 通信学院14视频采集系统驱动程序接口图视频采集系统驱动程序接口图2022-3-22青岛理工大学 通信学院15视频压缩算法视频压缩算法H.264压缩算法压缩算法优点：优点：1低码流（Low Bit Rate）：和MPEG2和MPEG4 ASP等压缩技术

11、相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。显然，H.264压缩技术的采用将大大节省用户的下载时间和数据流量收费。2高质量的图象：H.264能提供连续、流畅的高质量图象（DVD质量）。3容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。4网络适应性强：H.264提供了网络适应层（Network Adaptation Layer）, 使得H.264的文件能容易地在不同网络上传输（例如互联网，CDMA，GPRS，WCDMA，CDMA2000等）2022-3-22青岛理工大学 通信学院16音频音频输入音频输入/输

12、出电路输出电路 TLV320AIC33 是是 TI 推出的一款高性能的立推出的一款高性能的立体声音频体声音频 Codec 芯片，该款芯片能同时对音频信号进行芯片，该款芯片能同时对音频信号进行 A/D、D/A 转换，实现音频信号的采集和播放。转换，实现音频信号的采集和播放。AIC23 与与DM6446 的的 I/O 电压兼容，可以实现与电压兼容，可以实现与 DM6446 的的 Mc ASP（复通道音频接入接口） 接口无缝连接接口无缝连接2022-3-22青岛理工大学 通信学院17RPC远程过程调用远程过程调用(RPC)本地过程调用是一个处理器向自己发出命令本地过程调用是一个处理器向自己发出命令,

13、而而RPC是一个处理器向另外是一个处理器向另外一个处理器发出命令。在远程过程调用的术语里一个处理器发出命令。在远程过程调用的术语里,执行命令的处理器叫做执行命令的处理器叫做服务器。服务器。客户端向服务器发送命令及参数客户端向服务器发送命令及参数,需要跨越物理上的通信媒介需要跨越物理上的通信媒介,这一过程需这一过程需要借助通信协议栈。一旦服务器执行完了命令要借助通信协议栈。一旦服务器执行完了命令,它通过通信媒介向客户端它通过通信媒介向客户端返回命令的执行结果。我们把处理器之间的通信媒介称为处理器间通信返回命令的执行结果。我们把处理器之间的通信媒介称为处理器间通信层（层（IPC层），典型的层），典

14、型的IPC层就是层就是IP网络。网络。基于达芬奇技术的基于达芬奇技术的DMS3206446处理器的双核之间则使用共享内存作为处理器的双核之间则使用共享内存作为IPC层层,使用的通信协议称为使用的通信协议称为DSPLink。2022-3-22青岛理工大学 通信学院18RPC软件层次简图软件层次简图2022-3-22青岛理工大学 通信学院19Codec Engine框架分析框架分析Codec Engine是一系列用于表示和运行算法的应用编程接口是一系列用于表示和运行算法的应用编程接口,其其中中xDAIS(,数字多媒体标准化数字多媒体标准化DSP算法接口算法接口)是指一整套的多媒体是指一整套的多媒体

15、算法编程接口。算法编程接口。Codec Engine定义了四类编解码器算法接口标准定义了四类编解码器算法接口标准,分别是视频、分别是视频、图像、语音、音频图像、语音、音频,取四个单词的首字母取四个单词的首字母VISA代表代表xDM编解码器编解码器算法接口标准。算法接口标准。在解决达芬奇双处理器架构问题时引入了在解决达芬奇双处理器架构问题时引入了RPC(远程过程控制远程过程控制)的的概念概念,。在达芬奇芯片在达芬奇芯片DM6446里里,ARM作为客户端作为客户端,DSP作为服务端作为服务端,它们它们之间的物理链路就是两个处理器之间共享的之间的物理链路就是两个处理器之间共享的DDR2存储器存储器,

16、而将而将物理链路上的通信协议称为物理链路上的通信协议称为DSPLink。达芬奇技术构架扩展了基本达芬奇技术构架扩展了基本RPC的概念的概念,用用VISA软件层连接软件层连接引擎功能层引擎功能层,2022-3-22青岛理工大学 通信学院20Codec Engine 构架简图构架简图2022-3-22青岛理工大学 通信学院21视频压缩算法视频压缩算法H.264压缩算法压缩算法优点：优点：1低码流（Low Bit Rate）：和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。显然，H.264压缩技术的采用将大

17、大节省用户的下载时间和数据流量收费。2高质量的图象：H.264能提供连续、流畅的高质量图象（DVD质量）。3容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。4网络适应性强：H.264提供了网络适应层（Network Adaptation Layer）, 使得H.264的文件能容易地在不同网络上传输（例如互联网，CDMA，GPRS，WCDMA，CDMA2000等）DDR22022-3-22青岛理工大学 通信学院22DARM 和和DSP通过共享的通过共享的DDR2存储器内存进行实际的物理数据交存储器内存进行实际的物理数据交换换,称为两处理器间的物理链路层。称为两处

18、理器间的物理链路层。DVEVM开发板上具有开发板上具有64M DDR2内存内存,其内存分配情况如表所示其内存分配情况如表所示2022-3-22青岛理工大学 通信学院23DDR与DDR2DDR又名双倍速率同步动态随机处理器。是在又名双倍速率同步动态随机处理器。是在SDRAMSDRAM的基础上发展起来的的基础上发展起来的, ,由由于它能在一个时钟周期的上升沿和下降沿各传输一次数据于它能在一个时钟周期的上升沿和下降沿各传输一次数据, ,因此被称为双倍因此被称为双倍速率同步动态随机存储器。速率同步动态随机存储器。DDR2DDR2是第二代内存是第二代内存, ,对第一代对第一代DDRDDR存储技术进行了改进和优化存储技术进行了改进和优化,DDR2,DDR2的存储的存储速率比第一代更快速率比第一代更快, ,相同速率下相同速率下, ,单位功耗更小。单位功耗更小。DDR2 DDR2 与与 DDR DDR 相比，其主要变化为以下几点相比，其主要变化为以下几点 (1) (1) 内部数据预取宽度变为内部数据预取宽度变为