基于DSP的视频采集及网络传输模块的设计

1、目录摘要. I Abstract. I I第1章绪论 (11.1 课题背景 (11.2 网络摄像机技术发展概况 (11.3 本课题主要研究内容及工作 (71.4 本文结构 (8第2章DSP原理及视频评估算法 (102.1 DSP芯片特点及应用 (102.2 实时传输视频的评估标准 (152.3 本章小结 (17第3章数据网络传输原理 (183.1 OSI参考模型结构 (183.2 TCP/IP协议 (193.3 TCP/IP实时视频流网络传输的算法实现 (26- I -3.4 本章小结 (28第4章系统的硬件设计与实现 (294.1 硬件的总体设计 (294.2 硬件电路的设计 (334.3

2、网络传输模块的实现 (394.4 实时传输视频的算法和解决方案 (424.5 本章小结 (44第5章系统的软件设计与实现 (455.1 软件系统整体设计 (455.2 驱动程序开发 (475.3 带有网络通信功能应用程序的设计 (515.4 本章小结 (53结论 (54- II -参考文献. 错误!未定义书签。攻读硕士学位期间所发表的学术论文. 错误!未定义书签。致谢. 错误!未定义书签。- III -第1章绪论1.1课题背景视频监控以其直观、方便、信息内容丰富而广泛应用于安防、交通、公安、银行、水利等各个领域,几乎覆盖各行各业,视频监控的技术和手段也在不断的发展和提高,尤其是近年来,随着计算

3、机软硬件技术的发展、Internet 的普及、多媒体处理手段的提高、视频压缩技术的成熟、网络传输技术的迅猛发展,促使视频监控技术正向全数字化网络化方向发展,网络摄像机(Web-Camera越来越受到远程监控领域的关注。传统意义上的网络摄像机是将摄像头采集到的视频信号送入与摄像头连接的PC中,通过PC机安装的相应软件将数据进行编码、压缩和网络传输。这种方法不仅成本高,系统的稳定性和安全性也非常低,由于普通PC并非是专门用于处理视频数据的,因此系统的整体效率会很低。本文所讨论研究的网络摄像机是通过模拟采集的方法,将实时的视频数据流采集到系统的缓存中,通过软件编程对数据进行编码和压缩,最后将系统作为

4、一个网络结点接驳于符合TCP/IP网络传输协议的网络中(如Internet。因此只要远程计算机拥有相应的访问权限,即可实现跨区域的网络实时监控。本系统以TI公司的DM642为核心,并设计出将视频采集、视频编码处理和网络传输等功能集成于一体的网络摄像机。通过这一系统,可以利用计算机对非本地的现场进行多点监控,节省了大量人力物力。1.2网络摄像机技术发展概况DSP的发展历程大致经历了70年代的理论先行、80年代的产品普及、90年代的突飞猛进和现如今的全领域应用四个阶段。在DSP出现以前,实时信号处理一般是在通用处理器中完成的。随着集成电路制造工艺的不断提高,二十世纪70年代末出现了专门的可编程数字

5、信号处理器。世界上第一个单片DSP芯片是1978年AMI公司宣布诞生的S2811,1979年美国Intel公司发布- 1 -的商用可编程器件2920是一个主要里程碑。这两种芯片内部都没有现代DSP 芯片必须拥有的单周期乘法器。1980年,日本NEC公司推出的PD7720是第一个具有硬件乘法器的商用DSP芯片。如今,TI公司的TMS320系列产品已经成为目前最有影响的DSP芯片,包括了定点、浮点和多处理器3个类型的产品,每个类型又有不同性能和价格的具体系列可供用户选择。TI公司已经成为世界上最大的DSP供应商,占有很大的市场份额。除TI公司的TMS320系列外,其它具有代表性并应用较广泛的产品主

6、要有ADI的ADSP-21xx和Blackfin系列,Motorola公司的DSP56000、DSP96000,AT&T公司的DSP16、DSP32等。现如今随着DSP应用的不断扩展和深入,DSP器件的发展兼顾了3P的因素,即性能(Performance、功耗(Power Consumption和价格(Price。当今的DSP技术已经进入了崭新的时代。第一,可编程DSP将是主导产品。可编程DSP能给生产厂商提供较大的灵活性。生产厂商可在同一个DSP平台上开发出各种不同型号的系列产品,以满足不同用户的需求。同时,可编程DSP为广大用户提供了便捷的升级途径。第二,定点DSP成为主流。虽然从

7、理论上讲浮点DSP的运算精度更高,动态范围更大,但定点DSP器件的成本较低,对存储器的要求也较低,而且耗电较省。因此,定点的可编程DSP器件仍是市场上的主流产品。第三,系统级集成DSP是潮流。缩小DSP芯片的尺寸、追求更高的运算速度和进一步降低功耗始终是DSP的技术发展方向。在生产工艺上,采用1m以下的CMOS制造工艺技术和砷化镓集成电路制作技术,使集成度更高、速度更快、功耗更低,从而使高频、高速的DSP处理器得到更大的发展。第四,通过并行和存储器构架的变化提升DSP芯片的性能。高速、高性能的DSP器件将以RISC(精简指令系统计算机结构和单片机并行计算机基本结构为主导,以完成并行处理系统操作

8、。脉冲阵列和数据流阵列也将成为并行处理器的主要体系结构。随着芯片主频的不断攀升,存储器的访问速度日益成为系统性能提升的瓶颈。为了解决存储器速度与CPU内核速度不匹配的问题,高性能的CPU普遍采用Cache(高速缓存机制,新的DSP芯片也开始采用这种结构。第五,DSP与可编程器件相结合。DSP的许多新应用需要更加强大的数字信号处理能力,借助PLD(可编程逻辑电路和FPGA(现场可编程门阵列来扮演像DSP加法器或协处理器一样的角色,可以满足日益提高的信号处理- 2 -需求。此外,将DSP与MCU融合在一起的双核平台,将成为DSP技术发展的一种新潮流。在许多嵌入式应用领域,既需要在数据处理方面具有强

9、大功能的DSP,也需要在智能控制方面技高一筹的MCU。这种DSP与MCU相结合的系统既具有DSP器件在数据处理方面的独特优势,又具有应用目标所需要的技术特性。如今Internet技术已经成为数据交换共享和数据传输的主要方式和载体,而嵌入式系统也开始与以太网网络接口相接合组成嵌入式网络终端。通过TCP/IP协议,实现通过以太网与远程PC进行网络通信。嵌入式网络终端相比于PC,具有更高的安全性、可靠性,拥有更强大的数据运算能力,及更专业化的处理进程,同时也具有PC机的兼容性和扩展性。最重要的是嵌入式网络终端可以利用网络减少操作的复杂性并降低使用成本,同时通过设置权限可以使用网络相关资源,提高计算能

10、力。借助嵌入式Internet技术,可以将数量众多的嵌入式终端设备接入广域范围的互联网络环境,将Internet的应用从传统的桌面PC机延伸到生产、控制现场的8位、16位、32位单片机系统,实现基于Internet的远程数据采集、远程控制、自动报警、上传/下载数据文件、自动发送E-mail等功能,从而大大扩展Internet的应用范围。嵌入式Internet技术的出现历史虽然不是很长,但是发展速度却非常的快。不少专家对此做出预测:21世纪将是嵌入式Internet的时代,将会产生比PC机时代成百上千倍的服务器和超级嵌入式服务器。这些服务器将与我们能想到的各种物理信息、生物信息相链接,并通过In

11、ternet自动、实时、方便、简单地提供给需要这些信息的对象。将来通过Internet传输的信息,将有大部分来自小型嵌入式系统。因此,嵌入式Internet将有很好的发展前景和广阔的市场,未来的Internet将由嵌入式Internet占主导地位。目前,基于Internet的嵌入式系统己成为人们研究的热点。典型的嵌入式系统接入有三种方式1:第一,采用专用嵌入式网络协议的EMIT(嵌入式Internet网络技术。EMIT由emNet和emGateway两部分组成,emNet协议运行在嵌入式系统MCU内部,使得集成emMicro的嵌入式系统能够和嵌入式网关emGateway进- 3 -行通信。em

12、Gateway运行在计算机中,应用系统要通过emGateway与Intemet 联接。这种方式对嵌入式系统的MCU要求较高,同时需要PC机做网关,目前已很少应用。第二,使用专用芯片,如Webchip。Webchip是独立的专用网络接口芯片,嵌入式系统的MCU通过它与网关连接即可接收并执行经由Internet远程传来的命令或将数据交给Webchip发送出去。和EMIT相比不需要PC机作网关。第三,在处理机中加入TCP/IP协议方式的支持。这其中又包括两种方式:利用MCU或者DSP的可编程特性,使用高级语言编程的方式直接处理TCP/IP协议和采用固化了TCP/IP协议的专用网络硬件芯片,如Seik

13、o Instruments公司的S7600A等。处理机加TCP/IP协议的方式最为灵活,能按用户需求实现很多复杂的功能,更不需要PC机作网关,这种方式已经成为现如今嵌入式Internet的主流解决方案。数字信号有很多优点,但当模拟信号数字化后其频带大大加宽,一路6MHz的普通电视信号数字化后,其码率将高达167MbPs,对存储器容量要求很大,占有的带宽将达80MHz左右,这样将使数字信号失去实用价值。数字压缩技术很好地解决了上述困难,压缩后信号所占用的频带大大低于原模拟信号的频带。因此说,数字压缩编码技术是使数字信号走向实用化的关键技术之一。随着数字视频技术的发展,使得数字图像编码在各个方面得

14、到广泛的应用,但各种编码方法只有标准化后才能降低编解码硬件的价格和解决不同厂商设备之间的相互操作问题。ITU-T与ISO/IEC是制定视频编码标准的两大组织,ITU-T的标准包括H.261、H.263、H.264,主要应用于实时视频通信领域,如可视电话、会议电视。MPEG系列标准是由ISO/IEC制定的,主要应用于视频存储(DVD、广播电视、因特网或流媒体等,广泛使用的有MPEG-1、MPEG-2、MPEG-4等编码标准。两个组织也共同制定了一些标准,H.262标准等同于MPEG-2的视频编码标准,而最新的H.264标准则被纳入MPEG-4的第10部分2。- 4 -发展成支持全码率的应用,这一

15、点从它支持众多的图像格式就可以看出,如Sub-QCIF、QCIF、CIF、4CIF以及16CIF等格式。H.264是ITU-T的VCEG(视频编码专家组和ISO/IEC的MPEG的联合视频组开发的一个新的数字视频编码标准,它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10部分。在技术上,H.264标准中有多个闪光之处,如统一的VLC符号编码,高精度、多模式的位移估计,基于4x4块的整数变换、分层的编码语法等。这些措施使得H.264算法具有很高的编码效率,在相同的重建图像质量下,能够比H.263节约50%左右的码率。H.264的码流结构网络适应性强,增加了差错恢复能力,能够很

16、好的适应IP和无线网络的应用,是目前最具有发展前景的视频压缩编码标准。MPEG-2是MPEG组织于1994年推出压缩标准,以实现视/音频服务与应用互操作的可能性。MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定,编码码率从每秒3兆比特到100兆比特,标准的正式规范在ISO/IEC13818中。MPEG-2不是MPEG-l的简单升级, MPEG-2在系统和传送方面作了更加详细的规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送,被认定为SDTV和HDTV的编码标准。MPEG-4也是由ISO/IEC下的“动态图象专家组”制定的图像压缩编码

17、标准,于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。实际上,MPEG-4对64Kbis/s以下、64Kbis/s至384Kbis/s和384Kbis/s至4Mbis/s三种比特率范围作了明确的最佳化处理。低比特率是MPEG-4的一个主要的目标,有关误码的校正,也给予了极大的关注,这将使MPEG-4非常适合于易产生误码的环境中使用,例如个人手持式传输设备。当然,MPEG-4标准也支持码率高达38.4Mbis/s的类和级,甚至码率高达1.2Gbis/s的演播室质量的类和级。与MPEG-1和MPEG-2相比,MPEG-4更加注重多媒体系统的交互性和灵活性,它利用强大的工具开发出

18、了全新的多媒体编码概念,使之适用于互操作性和更大范围内的应用,己成为目前广泛使用的压缩系统3。远程视频监控是指远端的监控系统通过通信系统对现场系统进行监测与控制,其目的在于突破地域和环境上的限制,实现集中和高层监控,最终实现生产资源和社会资源的优化配置。视频监控技术在中国的发展已有10年的历史- 5 -了。经过数年的发展,大致经历了以下三个重要的阶段4。第一阶段,传统模拟图像监视系统。这是图像监控系统的早期实现方式,系统主要由摄像机、监视器、视频线缆、控制线缆等组成,采用模拟方式传输,因此传输距离较短,主要应用于小范围监控的场合。传统模拟图像监视系统的主要优点是图像清晰、不丢帧、延迟小。但其功

19、能单一、易受干扰、成本较高、无法升级、系统的扩展能力差,无法形成有效的报警联动。第二阶段,基于PC机的多媒体监控系统。基于PC机的多媒体监控系统的产生得益于数字视频压缩编码技术的日益成熟和微型计算机PC的普及化。该种系统的一般结构为:在监控现场,有摄像头、检测和报警设备等,通过各自的传输线路连接到监控终端。终端可以是一台PC机,也可以是专用工业机箱组成的多媒体监控终端。这种监控系统功能较强,但稳定性和安全性不够好、施工布线工作量大,同时需要专业的软件,开发周期长、难度大,不利于日后升级和维护。第三阶段,基于嵌入式Web服务器的远程视频监控系统。嵌入式Web服务器的主要原理是,视频服器内嵌入一个

20、Web服务器,摄像机送来的视频信号经数字化后进行压缩编码,通过内部总线传到Web服务器,网络上的用户可以通过专用软件观看摄像机图像,授权用户还可以控制摄像机云台镜头的动作或对系统进行配置。系统将视频压缩和Web功能集成到一个体积很小的设备内,成本低、速度快,大大提高了图像质量和监控效率,可以直接联入以太网,布控区域广,环境适应性强,性能稳定可靠,无需专人管理,而且系统扩展能力强,可组成非常复杂的监控网络。尽管视频监控技术在中国的发展迅速,但随着社会化科技的进步和人们对产品功能的更高需求使得视频监控技术仍有诸多瓶颈尚待“实质性”突破。谈的最多的就是网络带宽、图像质量、传输延时、软件系统的兼容性和

21、产品价格等问题,在这些问题中有些已经得到改进,但很多都还没有取得实质性的突破。很多国内厂商一味追求某一特性的优越而忽视或干脆放弃了其它方面的性能,如有些厂商在设计初期,为了能使传输延迟降到最低,在视频编码压缩上加大了压缩比率,尽管传输速度和延迟性能得到了很大提高,但监控图像的整体清晰度和图像质量大打折扣。如何在网络延迟和图像质量之间寻求一个平衡点,成为国内该领域发展需要解决的一个重大课题。- 6 -在网络摄像机产品的研发中,国外的起步较早,市场上较为成熟的嵌入式Web网络摄像机的产品也很多。如索尼公司最近在08年推出的SONY SNC-CS50P。它配备了10/100BASE-T的LAN端口,

22、采用1/3英寸的CCD镜头,分辨率可达到640×480,最高刷新帧率为30fps。图像压缩采用MPEG-4和H.264编码方式,可以变更任意区域的压缩率。SNC-CS50P无须通过个人电脑便可以直接接入网络。可以利用通用的Web浏览器浏览影视画面。除了索尼公司的SNC-CS50P之外,还有松下KX-HCM280、三星SNC-L200P/SNC-L200WP、安特ANT-NWC10/50/100、瑞典AXIS的AXIS22xx系列等。这些产品一般均采用了MPEG-4、H.264编码压缩方式,以及支持多种网络传输协议,产品性能普遍较好。在国内,ADSL宽带,GPON/EPOG光纤宽带在中

23、国很多城市顺利开通,架构起以IP为基础的数据平台,为网络监控提供了安全可靠的网络环境。一些实力雄厚并且掌握了核心技术的民族企业,在高端市场上牢牢地把持着自己的品牌地位,如华为、中兴等。而与知名企业不同,部分本地品牌依托自己灵活的应变能力以及良好的性价比,也在市场上获得了不错发展,并占领了不少的市场份额。如安讯士等,非常注重产品的社会功用,对产品的环保要求很高,要求给顾客提供的是高品质,低耗能的产品。另外大批的国内厂商根据自身实力及市场情况,采取了OEM的形式,其中亚安公司就是凭借公司灵活的反映机制,极具竞争力的性价比,以及良好的售后服务赢得了市场,获得了很大的发展。目前,中国国内网络摄像机和视

24、频服务器的生产厂商非常多,除了一些已经走出国门的大厂商外,一些非主打视频监控的电子制造厂商也进入了该领域的竞争,如爱国者,天视通电子,趋势电子,海康威视,天创恒达等均已打入市场,并取得了非常满意的成绩。1.3本课题主要研究内容及工作基于以上的分析,本文提出了基于TI公司DM642的嵌入式网络摄像机系统设计方案。该方案主要有三大优点:第一,系统只需一颗DM642芯片,加上简单的外围电路,即可完成图像数据采集、编码处理、网络传输等功能。第二,网络摄像机需要嵌入式操作系统,而TI公司为其DSP产品设计了一套较- 7 -好的小型嵌入式操作系统DSP/BIOS,省去了不必要的操作系统移植的过程。第三,D

25、M642具备强大的运算处理能力,能够完成包括JPEG、MPEG-2、MPEG-4、H.263、H.264等图像编码处理,日后仅需通过编程改变软件即可达到升级的目的,避免硬件资源的改动和重复设计。本文所提出的网络摄像机系统,是可以脱离PC独立工作的。整个设计过程主要有以下几个方面的工作:第一,掌握DSP开发板的工作原理、硬件结构和CCS开发环境,参考开发板的设计搭建出本系统的总体架构。第二,根据系统在速度等方面的要求,考虑到各个器件之间的兼容性,对硬件进行合适的选择和搭配,构建出系统的硬件平台。掌握各芯片的结构和工作原理。第三,对设计好的系统进行驱动程序的开发。在DSP的集成开发环境CCS下,使

26、用DSP/BIOS组件等工具进行程序设计,完成设备的初始化,使视频模块、网络传输模块能够在程序的驱动下正确的工作。第四,详细分析了实时视频传输的评估标准,以及如何实现高质量传输的算法研究和应用内容,包括码率分配和带宽估计。同时,对基于TCP/IP实现视频流传输的算法也做了详尽的研究,即根据远端请求,在不同的传输任务中使用不同的传输方式以达到流媒体高效传输的目的。第五,设计带有网络通信功能的应用程序,实现视频数据在客户端的呈现。第六,提高并完善系统的性能,优化程序使软硬件更好的结合,使有限的DSP芯片资源最大限度的发挥其作用。1.4本文结构本文将对网络摄像机视频采集模块和网络传输模块的硬件系统和

27、软件设计做详细的阐述。论文共分为五章。本文第1章是绪论部分,即引言。本章对DSP技术的发展、嵌入式Internet技术的发展、图像编码技术的发展以及视频监控技术的发展做了简要的概括和分析。通过对相关领域研究进展及成果的讨论,发现了当前网络摄像机产品在图像质量和传输速率之间无法平衡的一个不足。由此本章提出了将DSP技术与TCP/IP协议结合起来的一种新型网络摄像机产品。本文的第2章主要介绍了数字信号处理器的结构及原理,以及重点讲述了- 8 -本文将要采用的一款DSP芯片TMS320DM642。DM642具有完全的可编程性,能够兼容多种多媒体视频标准,非常适合网络摄像机系统的研发。最后介绍了如今比

28、较流行的一种视频评估标准及其原理。本文的第3章主要分析了TCP/IP协议及其各层的核心协议。重点讲述了实时视频传输的算法分析和方案实现。最后提出了一种不使用第三方流媒体协议而同样达到流媒体传输的算法实现。本文的第4章重点阐述了系统各硬件模块的设计。本章对电路设计中关键部分进行了介绍和分析,针对网络摄像机的带宽估计和码率分析做了理论上的深入分析。本文的第5章是对系统软件部分设计的分析。包含两个部分,首先是系统各功能模块驱动程序的开发以及相应模块间通信的控制;其次是带有网络通信功能的客户端软件的开发设计。对主要的网络传输模块部分代码做了码率分析优化,使得数据包在网络中得到最大效率的传输。第3章传输

29、算法的实现、第4章和第5章是系统的主要部分,也是本文的工作重点。论文最后对本系统的设计进行了总结并提出了改进方向。- 9 -第2章DSP原理及视频评估算法2.1DSP芯片特点及应用为了实现高速的数字信号处理运算,DSP芯片一般都采用特殊的软硬件结构,主要特点为以下几个方面。第一,改进的哈佛(Harvard结构。哈佛结构是不用于传统的冯·诺依曼结构的并行体系结构,其主要特点是程序存储器和数据存储器相互独立编址,独立访问。与两个存储器相对应的是系统中设置了程序总线和数据总线两条总线,从而使数据的吞吐率提高了一倍。为了进一步提高运行速度和灵活性,人们在基本的哈佛结构的基础上做了改进,一是允

30、许数据存放在程序存储器中,并被算术运算指令直接使用,增强了芯片的灵活性;二是指令存储器在高速缓冲器Cache中,当执行此指令时,不需要再从存储器中读取指令,节约了一个指令周期的时间。这种改进被成为改进的哈佛结构。第二,多级的流水线操作。DSP芯片的指令系统广泛采用流水线操作,一个任务被分解为若干个子任务,各个任务可以在执行时相互重叠,每条指令处于流水线上的不同阶段。流水线操作与哈佛结构相配合,减少了指令执行时间,增加了处理器的吞吐量。不同的产品流水线的深度也各不相同,例如,第一代TMS320处理器采用2级流水线,其后几代依次增加为3级、4级、6级,在TMS320C6000中深度达到了8级,这就

31、意味着可以同时并行8条指令。同时,指令并行运行的条件在不断降低,指令的范围也在不断扩大。如图2-1所示5。第三,专用的硬件乘法器。在数字信号处理运算中,无论是滤波器还是DFT、FFT运算,都存在大量的乘法运算,乘法运算的速度是数字信号处理实现中的一个瓶颈问题。为此DSP芯片采用专用的硬件乘法器,使得乘法运算能够在一个指令周期内完成。如在TMS320C3x系列DSP芯片中,有一个硬件乘法器,在TMS320C6000系列中则有两个硬件乘法器。- 10 - 图2-1 多级的流水线Fig.2-1 Multiple Pipelines第四,特殊的DSP指令。DSP芯片的一个重要特点是有一套专门为数字信号

32、处理而设计的指令系统。加法、减法、比较、移位、最大/最小值、绝对值运算以及延迟操作等都可以由一系列特殊指令实现,极大的提高了性能和效率。例如,MAC指令是连乘加指令,可以在单周期内同时完成乘法和加法运算;RPTS和RPTB指令是硬件判断循环边界条件,可以避免破坏流水线。第五,快速的指令周期。哈佛结构、流水线操作、专用的硬件乘法器、特殊的DSP指令再加上集成电路的优化设计,可使DSP芯片的指令周期在200ns以下。TMS320系列处理器的指令周期已经从第一代的200ns降低至现在的5ns以下。快速的指令周期使得DSP芯片能够实现许多高端应用。随着微电子技术的发展,工作频率还将继续提高,指令周期将

33、进一步缩短。TI、ADI和Motorola公司的DSP芯片是目前国内应用的主流芯片。各公司主要芯片产品如表2-1所示6。本系统要求图像处理速度达到每秒20帧以上,即要求实时图像处理系统必须在50ms内完成对一帧图像的运算处理,图像采集模块的输出为为320×240像素。为达到该处理速度,综合考虑以上各因素,采用价格较便宜、功耗较低的定点DSP芯片即可。由于ADI公司的开发套件较贵,而且芯片开发工具包相对复杂,因此本系统选用了TI公司的TMS320DM642芯片。- 11 -表2-1 典型DSP芯片产品Table 2-1 Typical Products of DSP-Chip 2.1.

34、3.1DM642体系结构TMS320DM642是Tl公司推出的TMS320C64X系列芯片中的一款高性能数字多媒体处理DSP芯片,基于C64X内核,具有扩展的高级甚长指令字(VelociTI体系结构,具有64个32位通用寄存器,8个独立计算功能单元(2个乘法器,6个算术逻辑单元可以并行运行,因此多条指令可同时执行。可工作在600MHz时钟速率,每个指令周期可并行运行8条32位指令,因此可达到4800MIPS的峰值计算速度。DM642芯片结构如图2-27。- 12 - 图2-2 DM642芯片结构Fig.2-2 Chip Structure of DM642DM642采用两级缓存结构,第一级包括

35、相互独立的L1P(16K字节和L1D(16K字节,只能作为高速缓存使用。第二级L2(256K字节是一个统一的程序/数据空间,可以整体作为SRAM映射到存储空间,也可以整体作为第二级Cache,或是二者按比例的一种组合来使用。DM642具有64个独立通道的EDMA(扩展的直接存储器访问控制器,负责片内L2与其他外设之间的数据传输。容量较大的两级缓存和EDMA通道是DM642高性能的体现之一,若能合理使用和管理,将能大幅度提高程序的运行性能。DM642芯片外设包括三个可以配置的视频口,一个多通道音频串行端口(McASP,两个多通道串口(McBSP,64bit的外部存储单元接口EMIF, 66MHz

36、32bit,3.3V的PCI主/从接口,10/100Mbps以太网接口(EMAC及通用I/O端口(GPIO等外围接口。CPU只对Ll的数据进行访问,程序代码和数据必须经过外部存储器到- 13 -L2,L2到Ll的逐级搬移能被CPU访问。L2存储单元和外部设备的数据交换由功能强大的增强型DMA控制器控制,因此在CPU处理片内的数据时可以通过EDMA把片外的数据倒入片内,达到同步工作以提高效率。由于内部存储器的工作频率与DSP内部时钟同频,而远远高于片外存储器的工作频率,这就解决了DSP外部时钟频率小于内部时钟频率的问题。DM642图像视频接口DM642拥有三个可配置的视频端口设备(

37、VP0、VP1、VP2。这些视频端口设备提供了与一般视频编解码设备交互的界面,设备支持多种视频标准和方案(比如CCIR601、ITU.BT656、BT.1120、SMPTE125M、SMPTE260M、SMPTE274M、SMPTE296M。这三个视频端口是可配置的并且支持图像捕获或图像显示模式。每一个视频端口有两个通道: A和B,另有一个5120字节的FIFO显示缓存可以分给两个通道使用。下面是这两种模式的主要技术性能8。一、捕获模式的技术性能1、捕获速率80MHz;2、两路数字视频输入,格式为YUV422,有8bit或者10bit精度;3、一路Y/C16或20bit数字视频输入,格式为YU

38、V422,支持SMPTE260M,SMPTE274M,SMPTE296M,ITU.BT1120等标准4、YUV422到YUV420变换,以及在8bit YUV422模式下的亚采样。二、显示模式的技术性能1、显示速率110MHz;2、一路连续视频输出,输出格式为YUV422 8bit或10bit精度;3、一路连续Y/C 16或20bit数字视频输出,格式为YUV422;4、YUV420到YUV422变换,在8bitYUV422模式下,输出2倍插值;5.、能产生行同步、场同步和消隐信号。DM642以太网外设网络传输模块的网络接口由EMAC(10/100 Mb/s Ethernet M

39、AC与MDIO(Management Data Input/Output两部分组成,并主要用来支持物理层的网络器件(PHY与DM642的连接。其中EMAC控制PHY与DM642之间的数据包的交换,MDIO控制PHY的配置与状态的检测。原理如图2-3所示9。- 14 - - 15 -图2-3 PHY 设备的连接 Fig.2-3 Equipment Connection of PHY2.2 实时传输视频的评估标准通过将重建的视频信号与源信号进行比较,可求得失真度。失真度的定义可以用绝对误差总和(SAD 、绝对误差均值(MAD 、均方误差(MSE 等来定义,较常用的MAD ,定义见式(2-1 10。

40、256',1(256iji ji j MM D Mi MAD Mi =-= (2-1式(2-1是对宏块M i 失真度的定义,式中M ij 和M ij '分别是源图像中的数值和在编码器重建后的图像数值。帧或者视频对象的失真度可以取各相应宏块失真度的平均值。由于在视频监控中,前景有时比背景图像重要,因此可以采用式(2-2定义帧的失真度11。1(Njijj D VO D fi N= (2-2- 16 -式中:j 是视频对象的权值;N 是帧内视频对象的数目。由于式(2-1中没有考虑新到传输中可能出现的差错以及解码器弥补差错的各种措施,因此根据改失真度不能获取全局的最优编码,如果将式(2

41、-1中的M ij '用解码器的重建数值M ij 代替,采用这种全局失真度虽然增加了计算量,但是编码结果会更加优化。宏块峰值信噪比定义如式(2-3所示12。2255(10log(PSNR Mi D Mi = (2-3 和失真度一样,帧的视频对象的PSNR 可以取各相应宏块PSNR 的均值,考虑到不同视频对象重要性不同,帧的PSNR 也可以取各视频对象PSNR 值的加权平均。在视频处理中通常对宏块分别进行编码,因此在宏块与宏块之间可能出现明显的边界效应,从而影响视频质量。为了定义块效应程度B ,首先定义边界差值V 1和V 2,如式(2-4和式(2-5 13。''1,1,1,

42、(x y x y x y x y x y V M M M M +=- (2-4 ''2,1,1(x y x y x y x y x y V M M M M +=- (2-5 式中V 1为水平方向上的边界差值,只对宏块左右边界的像素计算,V 2为竖直方向上的编辑诶差值,只对宏块上下边界的像素计算,块效应B 定义为宏块中各边界差值的均值。实时传输的视频应当尽可能的利用可用带宽,以获得最佳的视频质量,因此带宽利用率也可以用来评价视频的实时传输14。传输时间T 内的带宽利用率定义见式(2-6 。001(t T T t t MAX R t U dt T R t += (2-6式中RMAX

43、(t是t 时刻网络最大可用带宽;R(t是t 时刻视频传输码率。2.3本章小结本章介绍了数字信号处理器的特点,分析了DSP的性能比较,阐述了本系统选择DM642的依据。然后针对TMS320DM642处理器CPU体系结构与特点,重点介绍了DM642在运算能力和多媒体处理方面的出色性能。其丰富的外围接口是构成多媒体通信系统的良好平台。DM642接近于一个多媒体嵌入式系统的单芯片硬件平台,并且具有完全的可编程性,能够兼容多种多媒体音视频标准,非常适合网络摄像机系统的研发。通过本章的叙述,对今后开发DSP产品打下理论基础。本章最后研究了通用的视频评估标准及相应的原理和算法,这对系统的整体运行评估起到了决

44、定性的作用。- 17 - - 18 -第3章 数据网络传输原理3.1 OSI 参考模型结构随着远程计算需求的不断增加,人们开发出多种广域网络协议,以满足不同计算方式下远程连接的需求。为了更好划分网络结构,国际标准化组织 ISO 提出了开放系统互连参考模型,如图3-1所示15。比特流传输物理层控制地址和最佳路由端到端连接协调连接数据描述协议传输图3-1 OSI 七层模型及其功能Fig.3-1 Function of OSI Seven-Layer Model协议分层大大简化了网络协议的复杂性,这实际也是自顶向下、逐步细化的程序设计方法的很好的应用。网络协议按功能组织成一系列“层”,每一层建筑在它

45、的下层之上。分成的层数,每一层的名字、功能,都可以不一样,但是每一层的目的都是为上层提供一定的服务,屏蔽低层的细节。物理层涉及到通信在信道上传输的原始比特流,它实现传输数据所需要的机械、电气、功能性及过程等手段。数据链路层的主要任务是提供对物理层的控制,检测并纠正可能出现的错误,使之对网络层显现一条无错线路。网络层检查网络拓扑,以决定传输报文的最佳路由。传输层的基本功能是从会话层接受数据,并且在必要的时候把它分成较小的单元,传递给网络层。会话层允许不同机器上的用户建立会话关系,协调不同应用程序之间的通信状态。表示层关注于所传输的信息的语法和意义。应用层包含大量人们普遍需要的协议,并且具有文件传

46、输功能16。在分层模型中,对等是一个很重要的概念,因为只有对等层才能相互通信,一方在某层上的协议是什么,对方在同一层次上也必须是什么协议。所以如果两个网络在物理层就相同,使用中继器就可以连起来;如果两个网络物理层不同,链路层相同,使用桥接器可以连起来;如果两个网络物理层、链路层都不同,而网络层相同,使用路由器可以互连;如果两个网络协议完全不同,使用协议转换器(网关可以互连。3.2TCP/IP协议与OSI参考模型不同,TCP/IP模型更侧重于互联设备间的数据传送,而不是严格的功能层次划分。这为具体实现协议留下很大的余地。因此TCP/IP 成为了互联网络协议的市场标准。TCP/IP协议的体系结构分

47、为四层,这四层由高到低分别是:应用层、传输层、网络层和链路层。如图3-2所示17。 图3-2 OSI参考模型和TCP/IP参考模型比较Fig.3-2 Reference Model of TCP/IP and Its Comparison with that of OSI- 19 -链路层在TCP/IP协议栈的最低层,也称为数据链路层或网络接口层,通常包括操作系统中的设备驱动程序和计算机中对应的网络接口卡。链路层的功能是把接收到的网络层数据报(也称IP数据报通过该层的物理接口发送到传输介质上,或从物理网络上接收数据帧,抽出IP数据报并交给IP层。网络层也称为互联网层,由于该层的主要协议是IP协

48、议,因而也可简称为IP层。它是TCP/IP协议栈中最重要的一层,主要功能是可以把源主机上的分组发送到互联网中的任何一台目标主机上。传输层提供应用程序之间的通信,也叫端到端(End to End的通信。在TCP/IP协议族中传输层包含两个不同的传输协议:一个是TCP(传输控制协议;另一个是UDP(用户数据报协议。应用层向使用网络的用户提供特定的、常用的应用程序服务,如远程登录(Telnet、文件传输(FTP、超文本传输(HTTP和电子邮件(SMTP等。要注意有些应用层协议是基于TCP协议的(如FTP和HTTP等,有些应用层协议是基于UDP协议的(如SNMP等。TCP/IP协议分为四层结构,这四层

49、结构中有两个重要的边界:一个是将操作系统与应用程序分开的边界,另一个是将高层互联网地址与低层物理网卡地址分开的边界,如图3-3所示。 图3-3 TCP/IP协议的两个边界Fig.3-3 Two Boundaries of TCP/IP Protocol操作系统边界的上面是应用层,应用层处理的是用户应用程序(用户进程的细节问题,提供面向用户的服务。地址边界的上层为网络层,网络层用于对不同的网络进行互联,连接在一起的所有网络为了能互相寻址,要使用统一的互联网地址(IP地址。- 20 - 应用层传输层网络层链路层物理传输介质图3-4 IP协议在TCP/IP协议族的地位Fig.3-4 Position

50、 of IP Protocol in TCP/IP Protocol Family网络互联存在两种方式,即面向连接的(Connect-oriented和无连接的(Connectionless19,20。面向连接的方式要求在通信的源端和目标端之间建立一条逻辑通路,一般称为虚电路(Virtual Circuit,源端和目标端之间通信时的所有信息都通过该通路传输。这种方式看似简单,易于实现,但其最大的缺点是如果不能保证虚电路中沿途经过的节点都能可靠地发送数据,就可能使网络崩溃。由于互联网所连网络的复杂性和多样性,因而很难保证所有节点都能可靠地发送数据。无连接的方式并不在源端和目标端之间建立一条逻辑通

51、路,而送到网络中的每个分组带有完整的目标主机地址,收到分组的节点(主要是路由器根据目标地址和当前网络状况(如通信量等,选择一条合适的线路把分组发送到- 21 -接近目标端的下一个节点,通过多个节点的转发,最终把分组送达目标节点。使用这种方式时,由源端顺序送出的各分组,由于每个分组在网络中可能经过不同的路径到达目标端,所以先发出的分组不一定就先到达目标端,另外,也不能保证每个分组都能可靠地到达目标端。无连接方式的优点是显而易见的,源端和目标端之间的通信可以通过多条通路进行,而不依赖于某一条通路,因此可靠性和通信效率高。另外,这种方式实现起来也比较简单,适合于异构网络的互联,因此被很多网络厂商所使

52、用。Internet使用的就是这种无连接的方式,由IP协议来实现。 2端到端点到点点到点点到点图3-5 传输层端到端通信Fig.3-5 Port-to-Port Communication in Transport Layer端到端通信是建立在点到点通信基础之上的,它是比网络互联层通信更高一级的通信方式,完成应用程序之间的通信。端到端通信由传输层来实现的。- 22 -下面从建立连接、关闭连接和重发机制三个方面进行分析23,24。第一,建立连接。TCP使用“三次握手”(3-way Handshake法来建立一条连接。所谓三次握手,就是指在建立一条连接时通信双方要交换三次报文。第二,关闭连接。由于

53、TCP是一个全双工协议,因此在通信过程中两台主机都可以独立地发送数据,完成数据发送的任何一方可以提出关闭连接的请求。关闭连接时,由于在每个传输方向既要发送一个关闭连接的报文段,又要接收对方的确认报文段,因此关闭一个连接要经过4次握手。连接建立和关闭的过程如图3-6所示25,该图是通信双方正常工作时的情况。 第一次握手第三次握手第二次握手发送SYN接收SYN发送SYN+ACK 接收SYN+ACK发送ACK接收ACK 第一次握手第四次握手第二次握手 发送FIN接收FIN 接收ACK接收SYN接收ACK发送ACK第三次握手发送SYN 发送ACK图3-6 TCP连接的建立与关闭Fig.3-6 TCP

54、C onnections Establishment and Closing- 23 -第三,重发机制。TCP协议提供的是可靠的运输层。接收方对收到的所有数据要进行确认,TCP的确认是对收到的字节流进行累计确认。发送TCP报文段时,头部的“确认号”就指出该端希望接收的下一个字节的序号,其含义是在此之前的所有数据都已经正确收到,请发送从确认号开始的数据。表3-1 TCP和UDP的比较Table 3-1 Comparison between TCP and UDP 实时传输协议RTP和实时传输控制协议RCTP RTP(Real-time Transport Protocol是用于In

55、ternet上针对多媒体数据流的一种传输协议。RTP 被定义为在一对一或一对多的传输情况下工作,其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据,但RTP也可以在TCP或ATM等其- 24 -他协议之上工作。当应用程序开始一个RTP会话时将使用两个端口:一个给RTP,一个给RTCP。RTP本身并不能为按顺序传送数据包提供可靠的传送机制,也不提供流量控制或拥塞控制,它依靠RTCP提供这些服务。通常RTP算法并不作为一个独立的网络层来实现,而是作为应用程序代码的一部分。实时传输控制协议RTCP。RTCP(Real-time Transport Control Protocol和RT

56、P一起提供流量控制和拥塞控制服务。在RTP会话期间,各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料,因此,服务器可以利用这些信息动态地改变传输速率,甚至改变有效载荷类型。RTP和RTCP配合使用,它们能以有效的反馈和最小的开销使传输效率最佳化,因而特别适合传送网上的实时数据27,28。实时流协议RTSP 实时流协议RTSP(Real Time Streaming Protocol是由Real Networks和Netscape共同提出的,该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP 之上,它使用TCP或RTP完成数据传输。HTTP与RTSP相比,HTTP传送HTML,而RTP传送的是多媒体数据。HTTP请求由客户机发出,服务器作出响应;使用RTSP时,客户机和服务器都可以发出请求,即RTSP可以是双向的29