铁路供电生产远程督导系统—电气自动化毕业设论文

1、甘肃有色冶金职业技术学院毕业论文甘肃有色冶金职业技术学院毕业论文 铁路供电生产远程督导系统铁路供电生产远程督导系统 现场终端图像采集与处理技术研究现场终端图像采集与处理技术研究 RailwayRailway powerpower systemsystem The terminal image acquisition and processing 摘摘 要要 随着我国铁路建设的飞速发展，铁路供电段生产管辖范围越来越 宽广，技术人员应付生产现场的技术指导，疲于奔命，严重地影响了 铁路供电的高效生产。就当前生产和科学技术现状，基于 3G 无线网 络的铁路供电生产远程督导系统是目前解决问题的有效手段。

2、 论文基于 DaVinci 技术硬件平台和软件架构完成了督导系统终端图 像采集与处理技术的设计，分析了 3G 无线网络的有限带宽对图像实 时传输的限制问题，对视频处理技术提出了更高的要求既要保证 图像传输的实时性，又要保证视频图像的清晰度。结合铁路供电生产 远程督导系统终端设备的便携性和可移动性，论文研究设计了一种新 的图像处理方案两种算法协调处理图像。在目标搜索 阶段对视 频质量要求不高但需要保证较小的延时，则采用最新的 H.264 压缩算 法进行图像处理，目标锁定后允许存在一定的延时但要保证视频的清 晰度，则对图像进行分割处理传输。设计通过调度终端发送指令的形 式，完成了两种算法的灵活调用

3、，保证了图像处理的高效性。设计的 核心技术主要分为硬件设计和软件设计两大模块，硬件部分主要从视 频处理、音频处理、存储器（DDR2 和 FLASH） 、电源、USB 接口、时钟 等模块进行了具体设计；软件部分主要设计了视频处理、音频处理及 控制模块的流程图和部分代码，其中视频采集模块采用 Linux 内核的 V4L2 进行设计，实现了对视频采集设备的控制。 由于达芬奇硬件处理器 TMS320DM6446 集成了 ARM 内核和 DSP 内核， 缩小了体积、降低了成本、提高了算法处理的性能，所以论文所设计 的图像采集与处理设备具有体积小、成本低、算法处理能力强等特点， 能够满足高质量视频在 3G

4、 网络的实时传输功能 关键词关键词：远程督导；视频采集与处理；TMS320DM6446；图像分割； H.26 ABSTRACTABSTRACT With the rapid development of Chinas railway system, the scope of management of railwaypower feed section becomes more wider. It makes technicians become exhausted to give technical guidance for construction, which affects the p

5、roduction of railway power supply seriously. Considered the current situation of manufacture and technology, so far, the railway remote steering system based on 3G wireless network is an effective way to solve the problem. This article designs the image acquisition and the terminal of processing tec

6、hnology of steering system which is based on DaVinci technology hardware platforms and processing technology- not only to ensure the real-time image transmission, but then it uses the latest H.264 compression algorithm for image processing. The core technology of designing contains hardware and soft

7、ware modules. Hardware part designs the video processing, audio processing, memory(DDR2 and FLASH), power supply, USB interface, clock etc and draws the circuit diagram. Software part designs the flow diagram and code of video processing, audio processing and control module, and the video capture mo

8、dule is designed by V4L2 of Linux kernel to control the video capture device. For DaVinci hardware processor TMS320DM6446 integrates the ARM core and DSP core, it reduces volume and cost and improves the function of the algorithm processing ,so the paper designs the image acquisition and processing

9、equipment with smaller size, lower cost and stronger ability of algorithm processing, which is able to meet requirement of real-time transmission capabilities for the high-quality video in 3G Keywords:Keywords: remote steering; video capture and processing; TMS320DM6446; image segmentation; H.264 目

10、录 1 引 言 .2 1.1 铁路远程督导系统及应用.2 1.2 相关技术的发展现状.2 1.2.1 3G 无线网络发展现状.2 1.2.2 图像处理技术发展及现状.2 1.3 课题研究内容及章节安排.3 2 现场图像采集与处理技术 .5 2.1 图像采集芯片简介 .5 2.2 图像处理硬件平台的选择.6 2.3 达芬奇技术介绍.7 2.3.1 DaVinci 硬件结构.7 2.3.2 DaVinci 软件体系.9 2.4 算法.12 2.4.1 H.264 压缩算法.12 2.4.2 图像分割算法.13 3 图像终端硬件设计.16 3.1 系统框图.16 3.2 图像采集与处理模块.17 3

11、.2.1 TVP5146 与 DM6446 的硬件连接.17 3.2.2 TVP5146 与 DM6446 的数据通信.18 3.3 存储器模块 .20 3.3.1 DDR2 模块.20 3.3.2 FLASH 模块.22 3.4 音频模块.23 3.5 其他模块.24 3.5.1 电源管理.24 3.5.2 USB 接口.24 4 图像终端软件设计 .25 4.1 系统整体框架.25 4.2 主线程模块.26 4.3 图像线程模块.27 4.3.1 图像采集驱动.27 4.3.2 图像处理流程.31 4.4 音频模块.34 5 总结.37 6 参考文献 .38 7 致 谢.40 1 1 引引

12、 言言 1.1 铁路远程督系统及应用 随着社会的不断发展和进步安防问题得到人们越来越高的重视。视频监控 作为安全防范系统的重要组成部分，使得人们可以远距离的观察和调度被控区 域的能力，以其直观、准确、及时和信息内容丰富等优势广泛应用于现代化小 区、交通、铁路、消防等领域。随着科学技术的不断进步和人们对监控系统要 求的不断提高，监控系统也经历了从模拟监控时代到数字化网络监控时代的飞 速发展变化。基于国内已经投入商业运营的 3G 网络的无线视频监控系统具有 强大的功能，能够克服由于地理位置、布线成本和远距离监控等带来的问题。 相对于有线传输，无线传输模式具有安装方便、灵活性强、性价比高等特性， 诸

13、多优势使得无线监控系统成为如今视频监控领域新的发展方向。 论文是基于铁路供电生产远程督导系统进行研究的，远程督导系统也算是 视频监控系统，但是跟视频监控系统又不完全一样，增加了部分功能，即在监 控的同时可以进行双向语音交流，随时指挥现场的维修进展等。铁路供电生产 远程督导系统主要具有以下优势： （1）利用远程督导系统，监控人员可以直接对出问题系统进行实时监控， 不仅能直观的监视和记录工作现场的情况，而且能及时发现事故苗子并加以指 导，防患于未然； （2）使数字化存储成为可能，经过处理的视频数据可存储在磁盘阵列中或 保存在光盘中，查询十分简便快捷，也能为事后分析事故提供有关的第一手图 像资料；

14、（3）远程督导系统是基于 3G 无线网络设计，终端设备简易携带方便，所 以适用于任何地点任何位置，可以实现图像在局域网的共享，基本上不受距离 限制，便于迅速集合众专家的力量快速完成维修工作； 此督导系统主要是针对铁路供电生产提出的，由于其终端设备体积较小、 移动性好，全球 3G 无线网络的无缝覆盖，便于调度终端的指挥等优势，系统 也可以应用于其他领域，如地震、重大交通事故突发区，井下作业的指导等， 该远程督导系统具有较高的研究价值和广阔的应用前景。其总体框图如图 1.1，系统中云台控制摄像机从铁路施工现场采集图像并传至图像处理器进行 处理，处理后的视频信息通过 3G 无线网络传输至调度中心，并

15、通过因特网实 现资源共享。督导系统涉及到现场终端的供电技术（没有电源） 、云台控制技 术、图像处理技术、3G 无线网络传输技术及调度终端的图像解码技术和资源共 享技术等。其中现场终端的图像采集与处理技术是设计重点研究的部分，其关 键是图像压缩编码和图像分割并用问题的解决，设计从软硬件两方面的研究达 到图像处理的目的。 监控 对象 图像 采集 图像处理及 控制设备 云台终端供电设备 通信网 用户终端 调度终端 服务器 解码 服务器 显示 Internet网络存储 图 1.1 铁路远程督导系统结构图 1.2 相关技术的发展现状 1.2.1 3G 无线网络发展现状 无线远程监控系统指的是利用无线传输

16、网络实现远程现场视频信号 传输的系统。无线传输网络可以是微波、卫星或移动通信网络。其中， 成本最低、灵活性最强的是移动通信网络。目前最常用的无线数据网络 中无论是 CDMA1.x 还是 GPRS 网络，其上行带宽均在 l00 kbps 以下，监 控画面的图像格式要求在 320240 以上，传输的图像连续性差无法实 现实时传输。而 3G(第三代移动通信系统)是一种能提供多种类型、高质 量的多媒体业务，能实现全球无缝覆盖，具有全球漫游能力，无线视频 传输系统具有功耗低、数据量大、压缩效率高和信道容错能力强等特点。 联通的 3G 网络 WCDMA 在静止条件下速率可达 7.2M/s,电信的 CDMA

17、2000 速率达 3.1M/s，移动 TD-SCDMA 在准静止条件下能够达到 2.8M/s 的速率， 在阻挡物等影响下网速会有所下降，但能够支持音频或低速率视频等多 媒体业务。由于 3G 网络的发展，实现远程视频的无线传输已不再是梦 想。假设在一般状态下，3G 网络的传输速率为 2Mbps，采用 D1 格式 NTSC 制式分辨率为 720576 的图像，且每个像素采用 24 bit，则每帧 的数据量为 72057624=bit，压缩比采用 150：1，则压缩后的数据 量为 bit/150=66355.2bit/帧，那么用 3G 无线网络传输可达的帧数是 2Mbps66355.2bit/帧=3

18、1 帧。由此可以看出，通过图像压缩视频通信 能够保证以 30fps 的传输速率，完全满足高质量实时视频要求，由此 也可得出论文研究的可行性。 1.2.2 图像处理技术发展及现状 视频图像是对客观事物形象、生动的描述，是直观而具体的信息表 达形式，是人类最重要的信息载体。随着网络、通信和微电子技术的快 速发展，图像处理系统以其直观、方便和内容丰富等特点，日益受到人 们的重视。视频图像处理产品现在正经历着从模拟化向数字化、网络化 的革命，并在科学研究、工农业生产、交通运输、资源的遥感探测、医 疗卫生等各个领域得到越来越广泛的应用。在实际的应用中，系统除了 对算法本身有较高的要求外，对视频信号的处理

19、速度和稳定性也有一定 的要求。而目前的视频图像处理系统难以满足实时处理和稳定可靠的要 求。因此需要研制新一代的数字视频图像处理系统，两超大规模集成电 路和嵌入式软硬件技术的迅猛发展，使得研制嵌入式结构的数字视频图 像处理系统成为一个新的发展方向。基于嵌入式设备的处理系统的优点 表现在：由于嵌入式系统的硬件是一个处理器和软件捆绑较为紧密、设 计专门的独立设备，不像插卡系统那样受通用计算机系统中其他软硬件 的影响，因此在性能上更稳定，且便于安装、维护，易于实现系统的模 块化设计；另一方面，由于功能的单一，只要算法选择正确，系统的实 时性就能得到保证，而且控制功能较 PC 系统容易实现。数字视频图像

20、 处理系统不仅符合信息产业的未来发展趋势，而且代表了处理行业的未 来发展方向，蕴藏着巨大的商机经济效益，有较大的研究意义。 为了应对市场的强劲需求，基于嵌入式系统，2005 年 TI 公司推出 了 DaVinci(达芬奇)技术，其应用目标就是数字视频图像处理应用。它 将固定器件的高效率和可编程器件的灵活性结合在一起，以支持各种数 字的终端设备。TI 通过达芬奇技术提供了新的产品开发工具和支持，其 第一批处理器 TMS320DM6446 是基于 ARM926EJ-S 和 TI 最新的 C64x+DSP 的双核 SOC 架构，集成了为加速数字视频开发而专门设计的协处理器引 擎和丰富的片上外围器件。

21、它超越了传统的开发工具和应用支持，扩展 到包含了开发数字视频所需要的基本软件架构，通过应用编程接口 （API），开发者直接调用已经编好的符合接口标准的 DSP 库程序，大 大加速了开发速度，具有较大的应用前景和研究价值。达芬奇技术也是 图像采集与处理设计中所采用的关键技术。 1.3 课题研究内容及章节安排 随着我国铁路建设的飞速发展，铁路供电段生产管辖范围越来越宽 广，技术人员为应付生产现场的技术指导疲于奔命，严重地影响了铁路 供电的高效生产。就当前生产和科学技术的现状，铁路供电生产远程督 导系统是目前解决问题的有效手段。论文主要就是针对远程督导系统， 研究现场终端图像采集与处理技术，主要内容

22、包括：调查铁路供电生产 远程督导技术的研究现状；选择合适的现场终端图像采集与处理技术； 采用当前先进、实用的技术设计现场图像采集与处理终端；其中关键是 解决图像采集与处理的硬件平台和算法选择问题。 设计首先利用视频解码器 TVP5146 将 CCD 摄像头采集到的模拟信号 数字化，将数字信息传至 TMS320DM6446 芯片的视频处理子系统 （VPSS）进行预处理，然后由 ARM 端应用程序调用 DSP 端的视频处理算 法进行编码处理，最后处理后的视频数据流将通过 3G 网络进行传输。 其中督导系统的便携移动性，使得现场终端的摄像头需要先进行目标搜 索，搜索到目标并调整为合适的焦距后才会固定

23、设备。由于搜索阶段对 视频质量要求不是很高，而设备固定后的维修阶段则需要高质量的视频 图像，考虑到 3G 无线网络带宽的有限性及视频传输的实时性要求，为 了充分利用资源达到灵活处理图像的目的，设计图像处理部分时采用了 两种算法相互协作，分为搜索阶段的压缩处理算法和锁定阶段的图像分 割处理算法。搜索阶段采用最新的压缩技术 H.264 压缩标准，图像质量 略有下降但降低了延时；图像分割处理则是利用整个大背景的不变性只 对小部分的运动目标进行处理传输，由于运动目标数据流较小所以无需 对其进行图像压缩，则提高了视频质量当然会带来一定的延时，但是对 系统功能的实现影响不大。其中压缩算法和图像分割算法的调

24、用是根据 调度中心的指令灵活切换。通过软硬件及算法的合理设计，实现了高质 量图像的有效处理并达到能在 3G 无线网络实时传输的目的。 第一章主要介绍了课题研究的背景及意义和 3G 无线网络及图像处 理技术的发展现状。 第二章主要涉及到技术介绍，首先是采集芯片的简要介绍和硬件平 台的选择，然后介绍了设计使用的达芬奇技术，包括硬件平台、软件架 构及算法开发步骤，最后介绍了设计采用的压缩算法和图像分割算法的 原理。 第三章主要是图像处理系统的总体设计及各个硬件模块的设计，主 要有图像采集与处理模块、音频模块、存储模块、电源管理模块、USB 接口模块、RS232 串口模块以及时钟模块等。 第四章则是图

25、像采集与处理的软件设计，从软件的总框架、视频线 程、音频线程和控制线程做了设计的阐述。 第五章是设计的总结和展望。 2 2 现现场场图图像像采采集集与与处处理理技技术术 2.1 图像采集芯片简介 为了开发出适用于例如数字电视、移动电话等便携式、高质量及高 性能的视频产品，TVP5146 芯片相继为此应用诞生并且在市场上广泛使 用，它可以将模拟视频信 PAL、 NTSC、SECAM 制式的视频信号转化为数 字视频信号 BT.656 的 YUV 格式，是能解决绝大多数视频信号和图像信 号的 A/D 转换的高效芯片。TVP5146 支持的格式为 CVBS 信号 、Y/C 信 号、 RGB 信号 和

26、YPbPr 信号。TVP5146 模数转换芯片有 4 路高达 10 位 精度的 A/D 转换通道，并且包含借位电路、可编程增益及偏移电路10。 视频解码芯片 TVP5146 的主要功能模块包括：模拟前端模块（有 4 路独立 A/D 转换），时钟处理模块(可进行同步检测)，I2C 总线模块， VBI 数据处理模块，CVBS、Y、RGB 及 YPbPr 信号处理模块，输出格式模 块，拷贝保护检测模块。 PAL/NTSC 等制式的模拟视频信号输入视频解码芯片 TVP5146，经过 相位电路、自动增益控制电路(AGC)后进入视频模数（A/D）转换器，最 后出来 BT.656 的 YUV 格式的数字视频

27、信号。不同的信号具有不同的处 理方式，例如：对数字化的 CVBS 信号是先进行自适应数字梳状滤波， 然后再进行亮度、色度处理；对数字化的 Y/C 信号则是并行进行亮度、 色度处理(分离出色差 Cr 和 Cb 信号)；而对数字化的 YCbCr 分量信号和 RGB 信号，则除了进行分量处理和色彩空间转换外不需要其他处理方式， 经过视频解码器处理过的数字视频信号经过 CCDC 进入解码输出控制器。 另外需要注意的是，TVP5146 输出的 10 位 YCbCr 数据格式进入 8 位 YCbCr 输入数据格式的 DM6446 时其像素最后两位将会丢失。 2.2 图像处理硬件平台的选择 目前，基于 3G

28、 无线网络的视频监控系统的终端图像采集与处理的 硬件平台主要有以下几种构架： （1）PC 机+视频采集卡方案 此方案是较早出现的数字视频监控形式，其最大的优势就是软硬件 资源非常丰富。相对 Linux 系统而言，它的软件便于开发并且开发周期 较短，硬件的维护比较容易。另外，单用硬件采集卡或者软件编码器都 可以实现视频图像的处理。其缺点不只是体积和功耗大的问题，而且成 本也很高，另外视频的布线也相当麻烦。这种方案比较适用于监控点固 定或者范围较小的场合，比如银行、监控等。 （2）MCU+DSP 双处理器方案 此方案结合了嵌入式微处理器强大的控制能力（控制系统各个外围 接口）和 DSP 的编码运算

29、能力（处理视频图像数据），一般所选 MCU 的 外围扩展能力都不错，视频图像质量由 DSP 中的算法来定，图像编码和 应用软件开发工作的同步进行缩短了开发周期。但是首先 MCU 和 DSP/ASIC 各用一块内存，增加了体积；其次，通常还需要外加可编程逻 辑器件（CPLD）或现场可编程门阵列（FPGA）来解决两个模块之间的同 步和逻辑转换问题，使得开发周期变长,还增加了一块芯片带来了功耗 的增加。这种方案比较适合用于要求设备体积较小或者监控路数较少的 场合。 （3）单片 DSP 处理器方案 基于单片 DSP 视频监控终端，在单片 DSP 上集成了 MCU 和 DSP 的优 越功能，既能实现视频

30、图像处理算法（保证实时性和质量），又能实现 系统控制功能，但是占用大量的资源的同时芯片的负荷也比较重，在实 现复杂度较高的算法时难度很大，更不用提高清晰的视频编码了。另外， 此方案很大程度的限制了能够在网络通信协议栈使用的资源。这种方 案比较适合用于对设备的功能追求不高要求但对其体积要求很严格的场 合。 2.3 达芬奇技术介绍 达芬奇技术（DaVinci）由硬件处理器 TMS320DM6446、达芬奇软件、 开发工具和技术支持系统等组件优化构成。TMS320DM6446 处理器具有最 高性能的 TI 的 C64x+ DSP 内核。达芬奇处理器既包括 SoC(基于可扩展、 可编程的 DSP)，又

31、包括了优化的加速器与外设等其他优秀的设备，满足 于视频采集与处理系统低成本、高性能和强功能的要求。达芬奇软件利 用芯片资源运行在处理器 TMS320DM6446 上，其内置于可配置的框架内， 通过流行操作系统内部已公布的应用编程接口（API）提供，以实现快 速的软件实施。达芬奇技术为了能加速厂商的设计与开发过程专门提供 了一整套的工具与套件，其中包括：入门工具、开发套件和参考设计。 达芬奇处理器上 ARM-DSP 集成开发环境(IDE)、Linux 操作系统及 DSP 工 具使得开发人员不需要重新学习新的开发环境，因为它的编程环境基本 上没有变化，在一方面体现了达芬奇技术的优势，而且开发人员还

32、能充 分利用达芬奇技术的其他优势。 2.3.1 DaVinci 硬件结构 TMS320DM6446 是 TI 公司于 2005 年 12 月推出的高度集成的双核视 频处理芯片，该芯片是 361 脚（引脚间距是 0.8mm）BGA 封装，图 2.1 是它的内部功能模块。DMSoc 包括 ARM 子系统、DSP 子系统、视频处理 子系统(VPSS)和系统控制模块；另外有交换中心资源（SCR）、外部存 储接口、电源管理和外围控制模块等。 JTAG接口 CLOCK POWER/ Reset 多重管脚 系统控制 ARM CPU ARM CPU 16KB I-Cache 8KB D-Cache 16KB

33、RAM 8KB ROM ARM子系统 DSP CPU 64KB L2 RAM 32KB L1 PRAM 64KB L1 DRAM DSP子系统 VICP Preview Histogram/3A Resizer CCD控制器 Video视频接口 在线 视频 显示 (OSD) 视频 编码 （VENC） 10b DAC 10b DAC 10b DAC VPFE VPBE VPSS 交换中心资源(SCR) EDMA 音频串 行接口 SPII2C UART x3 Timer x2 WD Timer PWM x3 USB2.0 PHY VLYNQ EMAC/ MDIO DDR2C EMIF/ NAND/

34、 SmartMedia ATA/ Compact Flash MMC/SD 外围设备 串行接口系统 连通性 程序/数据存储器 图2.1 TMS320DM6446功能结构图 ARM 子系统采用的是工作频率达到 297MHZ 的 ARM926EJ-S 内核 CPU（管道化流水线 32bit 的 RISC 处理器），ARM 系统相当于整个系统 的 HOST，负责控制整体配置及外围的操作，甚至包括 DSP 端的算法调用。 ARM926EJ-S 使用协处理器 CP15 和保护模块增强了体系结构，能处理 16bit 或 32bit 的指令和 8bit、i6bit 及 32bit 的数据，同时提供程序 和数

35、据内存管理单元(MMU)。ARM 用独立的 16KB 指令存储和 8KB 数据存 储来保证内核周期的存取指令和数据，指令存储和数据存储都是通过 VIVJ 四路连接。另外，还有一个用来提升内核性能的写缓存，缓存数据 达 17KB。 DSP 子系统采用的是工作频率达到 594MHZ 的 TMS320C64+TMDSP 内核 的 CPU，支持 3.3V、1.8V 的 I/O 及储存器接口。DSP 主要是负责视频处 理算法的编码工作，它 16bitMAC 的处理能力可达 237MMACS(AMCs per Second)，而 8bitMAC 处理能力可高达到 4752MMACS(AMCs per Se

36、cond)。 DSP 系统具有 64 个 32bit 的通用寄存器和 8 个独立的功能单元 (包括 6 个算数逻辑单元及 2 个乘法器)。 DM6446 中视频处理子系统（VPSS）接口分为视频处理前端（VPFE 主要用于获取经过视频解码器处理过后的数字视频数据信息）和视频处 理后端（VPBE 主要用于压缩处理后视频的输出），视频处理子系统 （VPSS）的视频处理前端（VPFE）用来连接至前方的视频解码芯片 TVP5146，提供数字视频的输入；它的视频处理后端（VPBE）可以连接 至后方的高清显示器、或者视频解码器及网络传输模块等。在芯片内部 的公共缓冲区（通过内部的 128 位总线通信）和

37、DMA 控制器确保了 DDR2 存储器与视频处理子系统（VPSS）的高效通信。图 2.2 为视频处理 子系统框图。 视频处理前端的输入模式主要包括以下几种： （1）一般数字接口模式，该模式主要用于数字传感器的接入； （2）ITU-RBT.656 视频流模式，该模式在视频流内嵌行场同步信号； （3）标准 YUV 模式，该模式兼容 8 位或 16 位的标准 YCbCr-4:2:2 格式。 共 享 缓 冲 逻 辑 SBL 图像 缩放 引擎 预览 H3A CCD 控制器 OSD VENC 时钟 中 断 直方图 控制总线接口 VPFE VPBE 模拟输出 数字输出 CMOS/CCD/ 视频解码 器输入

38、图 2.2 视频处理子系统框图 视频处理后端（VPBE）主要用于数字视频数据流的输出，其接口主 要由 OSD(实现画中画并在视频上叠加音量等信息)引擎和视频编码器 （支持数字输出和模拟输出）组成。数字输出支持 24bit RGB 格式、 8/16bit BT.656 以及具有独立的水平和垂直同步能力的 CCIT.601 输出； 模拟输出支持四路 10bit DAC，均工作于 54MHz，支持符合 NTSC/PAL、S 端子和分量视频。 2.3.2 DaVinci 软件体系 达芬奇参考软件框架分为应用层(ARM)、信号处理层（DSP）和 I/O 层三部分，如图 2.3 所示，应用层供硬件平台 A

39、RM 处理器运行，主要负 责全局的控制；信号处理层则于 DSP 处理器一侧运行，它主要负责处理 视频图像信号；I/O 层也就是驱动，主要负责运行 TMS320DM6446 处理器 外围模块的驱动程序，比如我们为图像传输系统设计的 EMIF 外设的驱 动。目前 TI 公司已经提供了一些常用的外设驱动程序，如果开发者自 己的研究项目有特殊要求，则需要自己开发相应的驱动程序。应用层通 过 Codec Engine 的 VISA(视频，图像，语音，音频)API 来调用 DSP 处 理器的算法，实现图像、音频和视频的各种处理，如压缩、解压缩等， 比如要实现 H.264 算法标准，就必须调用 H.264

40、相关的编解码 API。 应用层 Linux等应用平台 EPSI API I/O层 针对操作系统的各种驱动 各种输入输出的硬件外设 信号处理层 DSP部分主要包括： Codecs Codec Engine DSP/BIOS 内部通信协议 V I S A A P I 图 2.3 达芬奇处理器软件结构 目前，这些 API 函数已经由 TI 公司开发完毕，开发者直接调用他 们即可，因此，对于它们的许多细节，开发者不需要了解。在此，我们 只给出 API 函数实现的步骤，如图 2.4 所示。 发布使用的Codec包 xDMNon-xDM 可执行应用程序 各种不同的Codec包 运行在DSP上的可执行程序

41、DSP/BIOS FC LINK XDC 各种引擎配置 Server名称Codec列表 算法工程师 Codec Server集成工程师 应用程序创建者 Codec Engine集成工程师 *.a64p *.x64p *.cfg 图 2.4 达芬奇编解码引擎开发步骤 由图 2.4 可知，达芬奇 API 接口函数的软件开发有以下四个步骤： （1）在 DSP 端，利用 CCS3.3 开发相关标准的音/视频编/解码算法， 并且要编译生成一个编/解码算法的库文件（*.lib） 。另外算法实现必 须要符合 xDM 标准； （2）生成一个在 DSP 硬件平台上运行的可执行程序（.out）文件- -DSP S

42、erver； （3）根据 DSP Server 的名字及其包含的音/视频编/解码算法创建 Codec Engine 的配置文件（*.cfg） 。由这个文件来决定 Engine 里的 codec 运行在哪一侧（ARM 或 DSP） ，它还可以定义 Engine 的名字及其包 括的 codec，形成相关的 API 函数； （4）应用工程师收到不同的 codec 包、DSP Server 和 Engine 配置 文件（*.cfg） ，把自己的应用程序通过编译、连接，最终生成 ARM 侧可 执行文件。 在视频处理器中 ARM 是 HOST 负责操作系统的应用，而 DSP 主要运 行 codec 算法处

43、理，ARM 则是通过 codec engine 机制调用 DSP 端的 codec 算法，codec engine 是介于应用程（ARM）和信号处理层(DSP)之 间的软件模块，扮演很重要的角色。它是配置和运行 xDAIS 算法的 API，同时提供 VISA 接口。Codec 引擎的作用结构如图 2.5。 应用开发音视频上层应用程序 Codec Engine运行时库 Engine集成 核心Engine 运行时库 Server集成 核心Engine APIs VISA APIs 音视频编解码 stubs 音视频编解码 skeleton VISA SPIs 算法创建 编码 算法 解码 算法 Cor

44、e Engine SPIs 图 2.5 Codec 引擎结构图 引入 codec engine 可以克服以下问题： （1）异构处理器环境下很复杂的调试； （2）相同的算法具有不同的实现，如果想转换为更为有效的算法，将 会涉及到大量的再次编程； （3）市场上有多种多样的媒体格式，所以应用程序必须支持多个编解 码器； （4）习惯在 GPP 上编程的程序员要使用 DSP 编程，必须掌握复杂的 DSP 存储器管理和 DSP 实时问题。 2.4 算法 2.4.1 H.264 压缩算法 电视信号可以数字化是在 1948 年提出，到目前为止已经有六十多 年的历史，图像编码技术无论是在理论上还是实际应用方面都

45、取得了很 大的成果。从最初的 H.261 视频编码到 H.262、H.263 以及 MPEG- 1、MPEG-2、MPEG-4（2）等视频编码标准都有一个在尽量低的码率/存 储容量下得到最理想图像的共同目标。另外，随着 3G 无线网络的发展 市场对图像传输的需求逐渐增加，所以业界急需解决适应不同信道传输 特性的问题。为了克服这些难题，国际标准化组织 ISO/IEC 和 ITU 联手 制定了视频编解码新标准H.264。 H.264 它既是 ITU 的 H.264，又是 ISO/IEC 的 MPEG-4 的第 10 部分， 也是 DPCM 加变换编码的混合编码模式。但是它的简洁设计“回归基本” ，

46、 不仅对信道的适应能力加强，而且还使其压缩性能比 H.263 好很多；为 了方便处理误码和丢包， “网络友好”的结构和语法为之所用；而且它 能满足不同解析度、速率和传输（存储）方面的要求，所以拥有更广泛 的应用目标；另外，它还有一大优势是开放的基本系统，任何人都可以 使用没有版权。在技术方面，H.264 具有的高精度的位移估计、分层的 编码语法等许多闪光点使其编码效率相当高，在相同比特率情况下 H.264 标准重建图像的质量是 H.263 标准的 2 倍左右。在网络适应性方 面，H.264 标准增加了差错回复能力，其码流结构能够很好的适应 IP 和 无线网络的应用，也给设计的实现带来了方便。

47、H.264 标准定义了视频编码层（VCL）和网络抽象层（NAL）两个层 次。视频编码层采用基于块的混合编码方法，通过帧间预测来减少运动 图像时域上的相关信息，通过对预测残差进行正交变换来减少运动图像 空间上的相关信息。其中视频编码层（VCL）尽可能的不依靠任何网络 特性进行视频压缩，编码后输出 VCL 数据，传输先映射到对数据输出进 行适配的网络抽象层（NAL） 。每个 NAL 单元包含原字节序列负载 （RBSP） ，接着一组数据对应的编码视频数据或 NAL 头信息。H.264 的框 图如图 2.6 所示。 控 制 数 据 视频编码层（VAL） 数据划分 网络抽象层（NAL） H.320MP4

48、FFMPEG-2. 编码后的宏块 编码后的片/分区 图 2.6 H.264 的框架图 编码器的视频编码层（VAL）使用的是混合（变换和预测）编码方 法，帧内预测就是利用周围已经编码的像素进行预测从而减少空间上的 冗余，帧间预测则是利用上一时刻编码的像素进行预测从而减少信息时 间上的冗余。H.264 编码器的结构如图 2.7 所示，在进行压缩编码时， 首先将原始图像划分为 16*16 像素点的宏块（可以是 8*8） ，在宏块中进 行帧内和帧间预测减少信息量。预测以后将预测值(P)和原生值进行比 较得到残差值 Dn，对残差值 Dn进行变换（T） 、量化（Q） 、重排序、熵编 码，形成视频码流传到网

49、络抽象层（NAL）进行传输或者保存解码。 图 2.7 H.264 编码器结构 因为帧预测所需要的参考值来自已经编码的宏块，所以需要对量化 后的系数 X 进行反量化（Q-1） 、反变换(T-1)操作，得到的值与之前的预 测值（P）相加得到粗略的重构图像，再经过去块效应滤波得到最终的 重建图像。 2.4.2 图像分割算法 视频运动对象分割是将视频序列中人们感兴趣的运动物体从静止的 背景中分离出来,有着广泛的应用前景。目前常用的方法有：基于时间 域的光流法、基于空间域的静止图象分割方法和帧差法。考虑到远程督 导系统背景环境的相对稳定性，以及要求视频传输的实时性，设计采用 帧差法用作图像分割。 帧差法

50、比较简单，易于实时处理，因而成为目前应用最广泛、最成 功的运动对象分割方法。帧差法即从固定背景图象中差分分离出运动对 象，其基本思想是将当前每一帧图像与事先存储或者实时得到的背景图 像相减，若像素差值大于某一阈值，则判定此像素为出现在运动目标上 的，且相减的阈值操作后得到的结果直接给出了目标的位置、大小、形 状等信息，表示方法如式 2.1。 12 1,( , )( , ) x 0, f x yfx yT B( , y）= 其他 （2.1） 其中 B(x，y)是二值化的图像，在 B(x，y)中只剩下小面积的噪声 区域和物体在,中位置的对应区域，在差分图像中，不等于 1( , ) f x y 2(

51、 , ) fx y 零的像素并不一定都属于运动物体，而有可能是当前帧中显露出来(在 上一帧中被目标覆盖)的背景区域目标和显露背景同时存在，因此必 须去除显露背景部分，利用 3 幅图像的两两差分，然后将两结果图像相 “与”，可确定物体在中间那幅图像的位置，这种运算叫做对称差分运 算。 设,，是序列图像中相邻的 3 帧，则 1( , ) f x y 2( , ) fx y 3( , ) fx y 1,212 2,323 1,21 1,2 2,32 2,3 x( ,)( ,) x( ,)( ,) 1,x ( ,) 0, 1,x ( ,) 0, Dfx yfx y Dfx yfx y DT Bx y

52、DT Bx y (, y）= (, y）= (, y） 其他 (, y） 其他 ，分别为阈值，令 1 T 2 T 1,22,3 (x, )( , )( , )IyBx yBx y 则只有=1，=1 时，才有=1。这样便可以消除 1,2( , ) Bx y 2,3( , ) Bx y(x, )Iy 背景显露的影响，以获得运动物体在的区域和位置。 2( , ) fx y 目标区域选择算法只需在目标提取的基础上，依据处理过的像素点 的某些信息确定每一点是否为目标上的点。为了便于区分前景和背景可 先将目标提取的结果进行二值化，即处理成目标为黑色、背景为白色。 目标区域选取的策略采取腐蚀法，即：图像的

53、4 个边界为 K(其余部分记 为 K)，从图像的四周向中心进行收缩，将与 K 相邻但属于 K的点都 归属于 K，一次收缩记为 K(-1)，n 次收缩记为 K(-n)。当某一边上的黑 色素的阀值大于规定的取值的时候，该边停止收缩。当 4 个边都停止的 时候，所圈定的矩形区域就是目标所在的区域。依据矩形区域的坐标就 可在原始图像中找到该区域所在的位置。因此传输的过程中只需传输定 点坐标和矩形区域的图像即可，其中阈值的选取要通过具体的环境在实 验中得到确定。其流程图如图 2.8 所示。 开始 开始 采集N帧背景 采集N帧背景 采集一帧 采集一帧 运算并分离前景 运算并分离前景 获得区块及坐标 获得区

54、块及坐标 延时t 延时t 传一帧到中心 做背景 传一帧到中心 做背景 传至中心 传至中心 继续 继续 结束 结束 融合 融合 恢复场景原貌 恢复场景原貌 背景更新 背景更新 已延时T （Tt） 已延时T （Tt） Y N N Y 图 2.8 图像分割算法流程图 3 3 图像终端硬件设计图像终端硬件设计 3.1 系统框图 系统利用的是 TI 公司推出的 DaVinci 系列芯片 TMS320DM6446 的双 核架构特性，ARM 是 HOST 控制整个外围部分,如：视频编解码、外围器 件的控制与操作、网络通信的控制及 DSP 算法调用等，在 DSP 端进行视 频图像处理算法的编解码。整个系统结构

55、如图 3.1 所示。 RS232 串口 DDR2 SDRAM DAND FLASH DM6446 CCD摄 像机 视频处 理芯片 音频输 入/出 音频处 理芯片 电源 模块 时钟 模块 USB 接口 3G网 卡 JTAG 图3.1 系统硬件结构图 硬件主要包括以下几个部分：1 视频采集模块、2 音频处理模块、3 数据存储模块、4 电源模块、5 时钟模块、6 其他模块。具体的接口图如 图 3.2。 NAND FLASH DDR2 SDRAM USB2.0 +5V INPUT EMIF DDR2 USB POWER UAT0 UART1 Video in Video out PLLS Wirele

56、ss Model RS232 CCD CVBS/V GA CRYSTA L/OSC Wireless Interface 图3.2 系统接口图 设计是将 CCD 摄像机采集到的模拟视频信号传入到视频解码芯片 TVP5146 内，在 TVP5146 内进行模/数(A/D)转换输出符合 BT.656 标准的 ITU 制式的数字视频信号，然后经过 CCDC 接口传到 TMS320DM6446 处理 器的视频处理子系统（VPSS）的进行预处理，经过 Codec Engine 调用 DSP 中视频编码算法进行处理后通过 USB2.0 总线端口送入 3G 传输芯片， 进行网络传输。 3.2 图像采集与处理

57、模块 早期的 DSP 芯片为了接入 EMIF 接口需要添加 FIFO 芯片，增加了功 耗，开发难度也较高，而 TMS320DM6446 处理器具有专用的可以与视频 编解码芯片无缝连接的视频口，视频口是数字高速并行接口也是专为视 频应用而设计的，专用视频口相比于早期的 DSP 芯片其传输速率有了很 大的提高，开发难度也相应降低很多。设计采用 TI 公司的 TVP5146 解 码器芯片将视频信号制式为 PAL、NTSC 和 SECAM 模拟视频信号转换成格 式为 BT.656 的 YUV 数字视频信号。 3.2.1 TVP5146 与 DM6446 的硬件连接 TVP5146 具有 2 路模拟信号

58、通道：VI_2_C 作为复合模拟视频 CVBS 的亮度输入端口、VI_1_C 则作为复合模拟视频 CVBS 的颜色信号的输入 端口，模拟视频信号经过 TVP5146 芯片解码后转换成视频数据 （l0bitYCbCr4:2:2 格式），然后经过 CCDC 接口送至 DM6446 的视频前 端(VPFE)进行预处理并调用 DSP 端视频处理算法进行进一步处理。系统 选用 TVP5146 视频解码芯片完成视频的模数（A/D）转换，且 TVP5146 一边接 CCD 摄像头，一边连接至 TMS320DM6446 开发板的 CCDC 接口处， TVP5146 输出电压均为 3.3V 的 l0 位数字视频

59、信号、独立的垂直同步信 号（VS）、水平同步信号（HS）和像素同步时钟（DATACLK）。TVP5146 与 TMS320DM6446 连接结构图如 3.3 所示，CCD 模拟摄像头将在现场采集 到的模拟视频图像送入 TVP5146 视频解码芯片转换成数字视频信号，再 传至 TMS320DM6446 芯片进行处理。CCD 摄像头和 TVP5146 视频解码芯片 之间的输入方式、操作模式及输出格式等是通过 I2C 总线配置的。并且 系统采用双向电压变换芯片 PCA9306，实现 TVP5146 解码器 I2C 接口的 3.3V 电压标准转换为 DM6446 I2C 接口的 1.8V 电压标准，实

60、现 TVP5146 视频解码器和 TMS320DM6446 的无缝连接。输入的模拟视频信号利用配 置好的 TVP5146 解码器转换为格式为 YCbCr4:2:2 的数字视频信号输出。 TVP5146 视频解码器输出接口是 3.3V 的电平标准，而 TMS320DM6446 视 频输入接口是 1.8V 的电平标准，所以要成功完成视频采集功能也需要 电压的转换，系统选用 TI 公司的 SN74AVCB 电平转换芯片进行其之间的 电平转换。 图像采集模块 V VI I_ _2 2_ _C C V VI I_ _1 1_ _C C 低通 滤波 器 视输 入频 图 3.3 TVP5146 与 DM64