基于DSP的数字视频图像获取与处理技术研究的文献综述

1、DSP课程设计（西南交通大学)文献综述课题名称基于DSP的数字视频图像获取与处理技术研究指导教师学 院信息学院专 业信号与信息处理班 级信号4班学生姓名学号要求：一、说明材料来源情况；二、对课题的研究意义、研究现状等进行准确的分析与归纳并作出简要评述；三、表达自己的观点与主张，阐述该课题的发展动向和趋势。摘要：近20年来，半导体技术的发展有力地促进了数字图像处理技术在工业、商业、医学、安防、军事、太空开发、科学研究及消费类电子产品中的广泛应用。数字图像技术的难点在于其极大的数据量和相应要求的极快的处理速度和极大的存储空间。当 前数字视频图像采集系统的实现方式有的基于嵌入式工控机，有的基于FPG

2、A，有的基于专用压缩芯片，还有的基于DSP1。采用通用 DSP的实现方式,灵活性强，能满足特殊视频格式和处理的需要,具有很好的可扩展性、可升级性和易维护性，是目前研究的热点。 本文在研究了当前数字视频图像技术发展的基础上，提出了一种低成本高性能的基于 TMS320C6711 DSP的数字视频图像获取和处理系统的设计，并在该系统上对基本的数字图像压缩算法JPEG进行了研究。 关键词：数字视频，DSP，视频解码器，JPEG 一、 背景1.1嵌入式数字视频图像处理技术 数字视频图像的获取就是要把模拟视频信号转换为适合数字设备处理的数字视频信号，这一过程包括摄取图像光电转换及数字化等几个步骤。嵌入式数

3、字视频图像处理系统的实现方式多种多样，其中采用 DSP 的实现方式，灵活性强，完全能满足对特殊视频格式和处理的需要，具有很好的可扩展形、可升级性和易维护性，是目前研究的一个热点方向。1.2课题研究的意义 使用 DSP 进行图像处理具有以下特点： (1) 运算速度快：由于采用多级流水线并行执行的方式，使得程序执行速度大大提高，满足实时处理图像的要求。如 C6711 工作在 150MHz 时，运算速度可达900MFLOPS。 (2) 支持高速大容量存储器：在图像处理中往往有大量的数据需要处理，这就要求系统具有大容量的存储器，同时实时处理图像时要求存储器也要有很高的存取速度，在这一点上C6000系列

4、DSP实现了与目前流行的SDRAM、SBSRAM等高速大容量存储器的无缝连接，同时还支持SRAM、ROM、FLASH、FIFO等各种类型的存储器。 (3) DMA功能：C6000 DSP 中集成了 DMA 控制器，可以在没有CPU参与的情况下完成映射存储空间内数据的搬移。这些数据可以来自片内存储器、片内外设或是外部器件之间。这项功能使得整块图像数据的搬移十分方便高效。 (4) 多通道串口、中断控制、定时器等：可以灵活方便地与系统其它部分实现通信和交互控制与同步。 (5) 软件方面：可以使用标准 C 语言、线性汇编或纯汇编编写程序，兼顾性能与效率。 由于DSP具有的这些特点，基于DSP芯片的视频

5、图像处理系统具有很高的性价比，必将在图像处理，尤其是视频图像处理系统中居于主导地位。一些基于DSP的典型的视频图像处理系统包括： (1) 视频监控系统； (2) 网络摄像机 ； (3) IP 可视电话 (4) 扫描仪 除了以上这些典型应用，基于 DSP 的视频图像处理系统因其灵活的可编程特性和通用性，在科学研究、医疗、商业、消费类电子产品等专业领域也具有广阔的应用前景，新的应用方案正在不断地被研究出来。因此，研究基于 DSP 的视频图像获取和处理技术具有巨大的实用价值和市场价值。 2、 技术概述完整的嵌入式数字视频图像处理工程大体上可分为如下几个方面：图像信息的获取，图像信息的存储，图像信息的

6、传送，图像信息处理，图像信息的输出和显示。 图像信息的获取就是要把图像转换成适合输入计算机或数字设备的数字信号，这一过程主要包括摄取图像、光电转换及数字化等几个步骤。目前摄取图像可以使用CCD、CMOS、CIS 等图像传感器或摄像设备，其中 CCD 使用最广。 在专业级的数字视频应用中仍以CCD 为主。CCD 输出的是模拟视频信号，模拟视频信号的制式早已标准化，所有 CCD摄像机都遵循这些标准制式，了解模拟视频信号的制式是系统设计的必要环节，因此也是本课题研究的一个知识点。模拟视频信号的数字化是由视频解码器(Video Decoder)完成的，高性能的视频解码器可以接收不同制式的模拟视频信号，

7、并将它们转换为各种格式的数字视频信号。数字视频格式也已经标准化，因此研究视频解码器的工作原理和使用，以及各种数字视频格式标准是本课题的又一内容。 系统的硬件设计解决了数字视频图像的获取问题。数字视频数据的数据量巨大，直接进行传输和存储都是不可能的，在不同的应用中对数据还有不同的处理要求，由于DSP的可编程性和强大的处理能力，可以用软件高效地实现对视频图像的压缩、编解码，完成诸如图像增强、图像复原、图像重建、图像识别、图像理解等各种图像处理任务。这样在一个公共的硬件平台上，通过开发不同的软件就可以构成各种功能的图像处理系统，这种灵活性和低成本特性是基于 ASIC 芯片等硬件实现方案不可比拟的。不

8、论何种应用，通常都需要进行视频图像的压缩编码，因此本课题还将重点研究基本的图像压缩算法JPEG。2.1模拟视频制式基本理论2,3 模拟视频信号涉及一维时间变量的电信号f(t)，它是通过对时变图像Scxxt(x1,x2,t)在时间坐标t和垂直分量x2 上采样得到的。周期性地采样过程称之为扫描(scanning)。而且，如图 2-1 所示，信号f(t)仅沿着扫描线获取时变图像密度 Scxxt(x1,x2,t)它还包括了时序信息和消隐信号(blanking signal)，这些均是正确定位图像所必须的。图 2-1 扫描光栅图示 最常用的扫描方法是逐行扫描(progressive scanning)和

9、隔行扫描(interlaced scanning)。逐行扫描是在每一个 t 时间内对一个完整的图像进行扫描，它被称之为一帧(frame)。电视行业使用 2：1 隔行扫描。隔行扫描依次对被称为奇数场和偶数场的奇数行和偶数行进行扫描。图 2-1 表示的是一个 2：1 的隔行扫描光栅，其中实线和虚线分别表示奇数场和偶数场，从 D 到 E、从 F 到 A 称之为垂直回扫(vertical retrace)。 图 2-2 表示一种模拟视频信号 f (t)。在回扫间隔(retrace intervals)内，为了消除 CRT 上接收的回扫线而插入消隐脉冲(blanking pulses)。为了使接收机的水

10、平和垂直扫描电路同步，还要在消隐信号的头部附加同步脉冲，同步脉冲确保了图像起始于 CRT 的左上角。当然，逐行扫描和隔行扫描的视频的同步脉冲的时序是不一样的。 图 2-2 一行完整的视频信号 视频信号的几个重要参数是：垂直清晰度(vertical resolution)，宽高比(aspect ratio)以及帧/场率(frame/field rate)。垂直清晰度与每帧的扫描行数有关，宽高比是一帧的宽度与高度之比。心理视觉(psychovisual)研究表明，如果显示的刷新率大于 50 次/秒，则人眼就不会感觉到光闪烁变化。电视系统如采用高的帧率，要维持分辨率就需要一个大的传输带宽，因此电视系

11、统使用了隔行扫描，该方法可以在固定带宽下降低闪烁。 2.2 数字视频标准基本理论 在不同的应用和产品之间交换数字视频，就需要数字视频格式标准。视频数据是按照压缩的形式来交换，这就导致了压缩标准的出现。下面将简述主要的数字分量视频标准 CCIR601 和 CCIR656。 (1) CCIR6014，5 CCIR 建议 60l 定义了对应于 525 行和 625 行电视系统的电视演播的数字视频标准。它建立在带有一个亮度(Y)和两个色差(Cr 和 Cb)信号的分量视频的基础上。在 525行和 625 行系统中，采样频率均选择水平扫描频率的整数倍。因而，对亮度分量有：对色度分量有： 因此 Y、Cb、C

12、r 信号的比例关系为 4：2：2，样点结构如图 2-3 所示。 图 2-3 CCIR601 标准样点结构 对于 CCIR 60l 格式，其数据速率是 165Mbps，这个速率对大多数应用太高，所以 CCITT 专家组建议一种新的数字视频格式，它被称为通用中间格式(CIF)。CIF 格式和 CCIR601 标准的参数如表 2-1 所示。 表 2-1 数字视频通信演播标准 (2) CCIR6566，7 CCIR601 建议是信号抽样标准而不是接口标准，CCIR656 定义了工作在 CCIR601建议(部分 A)的 4:2:2 级别上的 525 行和 625 行电视系统中的数字分量视频信号的接口标准

13、。接口信号格式如表 2-2 所示。 表 2-2 场间隔定义 注 1：信号 F 和 V 在数字行的开始时与有效视频定时基准码同步改变状态 8 个最高有效比特都是 1 或都为 0 的数据字用于标识目的，所以 256 个 8 比特字中只有 254 个(1024 个 10 比特字中的 1016 个)可以用于表示信号值。视频数据字是以27MW/S 的速率复用传送的，其顺序是： Cb，Y，Cr，Y，Cb，Y，Cr， 其中 Cb，Y，Cr 这三个字指的是同址的亮度和色差信号取样，后面的 Y 字对应于下一个亮度取样。有两个定时基准信号，一个在每个视频数据块的开始(Start of Active Video,

14、SAV)，另一个在每个视频数据块的结束(End of Active Video, EAV)。 CCIR656 还对在消隐期间以 27 MW/S 的速率同步插 入到复用组中的辅助数据做了规定。 辅助数据信号可以以 10 比特形式只在行消隐期间传送，还可以以 8 比特形式只在场消隐中的行的有效期间传送。数据值 00.Xh 和 FF.Xb 保留用于标识目的，不能在辅助数据中出现。在场消隐期间的行有效部分载送的所有辅助数据信号必需加前缀00.X FF.X FF.X。在数字消隐期间出现不用作定时基准码或辅助数据的数据字，应在复用起来的数据中的适当位置上填入相当于 Cb，Y，Cr，Y 信号消隐电平的 80

15、.0h，10.0h，80.0h，10.0h 等序列。2.3基于DSP的视频图像采集系统的硬件设计基于 DSP 的数字视频采集系统一般采取以下结构设计：图 2-4基于 DSP 的数字视频采集系统结构框图 其中 CCD 摄像机摄取视频图像，输出标准制式的模拟视频信号。视频解码器(Video Decoder)接收模拟视频信号，并将其转换为标准格式的数字视频数据流。高速缓存暂存视频数据，避免数字视频数据流长时间占用 DSP 外部总线，影响 DSP 的其它操作。DSP 以间歇突发模式从高速缓存中读取数字视频数据。很多数字视频数据处理操作都是基于帧来进行的，所以系统必须配置外部高速大容量帧存储器。采集或处

16、理后的视频数据常常需要输入 PC 供保存或分析，所以系统还应具有与 PC 的接口。逻辑互联模块完成系统各部分的有缝接口的接口逻辑和控制逻辑。电源模块为系统各部分提供电源。 2.3.1高速缓冲机制的设计 高速缓存担负着连接视频解码器和 DSP 的重任，设计一种有效的缓冲机制，可以极大地提高系统性能。目前高速缓冲主要有乒乓切换、双口 RAM(Dual-Port SRAM)和FIFO 缓冲等几种方案。 在基于 DSP 的视频图像采集系统中一般使用同步 FIFO， 采用 FIFO 的缓冲方案硬件结构最为简单，硬件成本也最低。FIFO 缓冲方案10,16,18如图 2-5 所示。FIFO 即先进先出存储

17、器，也是一种专门用来做总线缓冲的特殊存储器。FIFO 没有地址总线，它由外部通过同步或异步方式驱动内部写指针和读指针循环进行读写。FIFO 也可以同时进行读写操作。FIFO 有同步和异步之分，同步 FIFO 的读写操作同步到输入时钟信号，当然也就需要输入读写时钟；异步FIFO 的读写操作不需要同步到时钟信号，当然也就不需要输入时钟信号。异步 FIFO的使用相对简单一些，但同步 FIFO 速度更快。图 2-5 FIFO 缓冲方案2.3.2视频解码器控制机制的设计 视频解码器通常有丰富的内部寄存器，由外部处理器根据使用环境和需要进行配置以适应各种使用需求。能否灵活地对视频解码器进行配置决定了系统的

18、通用性和兼容性。常用视频解码器的配置接口多为 I2C 或 SPI 等串行接口，本系统采用的视频解码器 SAA7111A 为 I2C 接口。但 TMS320C6000 系列 DSP 没有 I2C 接口，在目前所见的系统中，为了通过 I2C 接口对视频解码器进行配置，通常专门在系统中增加一片具有 I2C接口的单片机10，11，18，如图 2-6 所示。I2C 单片机接收到控制信号以后就对视频解码器进行配置。 图 2-6 用 I2C 单片机配置视频解码器 用 I2C 单片机配置视频解码器的好处是软件编程非常简单。但这种为了完成单一功能而增加芯片，增加硬件成本的方法非常不可取。因为 I2C 总线的实现

19、在逻辑上并不复杂，所以在本系统决定用 DSP 的 McBSP 口模拟 I2C 接口实现对视频解码器的配置，如图 2-7 所示。图 2-7 用 McBSP 口模拟 I2C 接口配置视频解码器 TMS320C6711 的通用 I/O 口资源非常有限，只有 McBSP 接口可资利用。在 DSP 上用 McBSP口模拟 I2C 接口，在硬件和软件上与普通的通用 I/O 口模拟 I2C 接口有一些不同。2.3.3系统其它模块的设计 (1) CCD 摄像机 目前的 CCD 摄像机都是按照视频标准设计制造的，一般都能够输出 2.1.2 小节所述的标准制式的模拟视频信号，这样的 CCD 摄像机都可以应用于本系

20、统。 (2) 视频解码器(Video Decoder）本系统采用 Philips 公司的视频解码芯片 SAA7111A，该芯片使用范围广泛，性价比已经得到了充分证明。 (3) 帧存储器 本系统中帧存储器采用 SDRAM，这是由 DSP 的特性决定的。TMS320C6000 DSP 具有和 SDRAM 的无缝接口能力，而 SDRAM 也具备高速、大容量、成本低的特点，完全适合设计的要求，因此也是设计的首选。 (4) 电源模块 电源模块的设计是由系统其它部分的电源要求决定的，因此在系统其它部分芯片的选型上应该考虑电源的要求，芯片的电压要求应该尽量一致，以简化电源的设计。本系统所选的芯片电压均为 3

21、.3V，因此电源模块只要提供 3.3V 电压和足够大的电流即可。 (5) 逻辑互联模块 本系统中有些芯片的互联需要有缝接口，这些接口的时序要求都比较严格和苛刻，用分立元件来实现会使系统变得复杂凌乱，因此本系统用一片 CPLD 完成所有的逻辑互联，通过软件编程和优化满足系统的时序要求。 (6) PC 接口 本系统没有专门设计 PC 接口，而是借助 DSP 的 PC 仿真调试接口 JTAG 完成图像数据到 PC 的传输。JTAG 是 DSP 的仿真器接口，是一种串行接口，它的传输速度由仿真器的类型决定，从几十 KB/s2MB/s。 通过以上设计，系统的整体结构如图 2-8 所示图 2-8 基于 D

22、SP 的数字视频图像获取及处理系统结构图2.4基于DSP的视频图像采集系统的软件设计基于 DSP 的数字视频图像获取及处理系统的软件流程如图 2-9 所示。其中有几个主要模块，即 I2C 接口模拟模块、EDMA 传输模块和视频数据处理模块。本系统中视频数据处理模块即 JPEG 压缩编码模块。图 2-9 基于 DSP 的数字视频图像获取及处理系统的软件流程 基于DSP的数字视频图像获取及处理系统中完成图像采集功能的控制软件的设计，重点介绍了 I2C 接口驱动模块和 EDMA 传输模块的设计。 I2C 接口驱动模块可以将 TMS320C6711 的 McBSP 接口用软件模拟为 I2C 接口，用户

23、在使用时就像在使用一个硬件 I2C 接口一样方便。利用 I2C 接口驱动模块，图像采集程序就可以通过 I2C 接口配置和控制 SAA7111A 视频解码器。 EDMA 传输模块用 EDMA 方式完成视频数据的整个帧采集过程，无需 CPU 干预，采集速度高达 33.3MWord/S，CPU 可以在数据传输的同时进行图像处理等其它运算，大大地提高了系统的并行性和整体性能。 2.5JPEG 压缩算法基本原理12,13 JPEG 算法是联合图像专家小组(Joint Photographic Experts Group)开发出的一种连续色调、多级灰度、静止图像的数字图像压缩编码方法。JPEG 算法被确定

24、为 JPEG国际标准，它是一个适用范围广泛的通用标准，不仅适用于静止图像的压缩，也适用于电视图像序列的帧内图像压缩。 JPEG 的压缩模式有下列几种： 顺序式编码(sequential encoding)一次将图像由左到有，由上到下顺序处理。 递增式编码(progressive encoding)当图像传输的时间较长时，可将图像分数次处理，以较模糊至清晰的方式来传送图像。 无失真编码(lossless encoding)压缩后再经过还原的图像与原始图像的数据一模一样。 阶梯式编码(hierarchical encoding)图像以数种分辨率来压缩，其目的是为了让具有高分辨率的图像也可以在较低分

25、辨率的设备上显示。 在压缩与解压缩的处理过程中，又有以 DCT(离散余弦变换)为基准(DCT-based)的有失真(lossy)方式和使用预测器(predictor)的无失真(lossless)方式，而DCT-based 方法又分为仅能接受每像素点(pixel)以 8 位表示图像的基本图像处理(baseline process)和接受每个像素以 8 位或 12 位表示图像的扩展式处理(extended process)。 本课题所要研究的是基本图像处理(baseline process)，其压缩过程以 8 个像素x 8 个像素的图像块为数据处理单位(data unit)，压缩流程如图 2-10

26、 所示图 2-10 JPEG 压缩流程 首先把原始图像分成 8x8 的图像块，然后对每个 8x8 的图像块进行 DCT 变换，得到一组 64 个 DCT 系数，再对这些 DCT 系数进行量化，最后对量化后的系数进行哈夫曼编码(Huffman，即熵编码)，得到压缩数据。必须注意的是，JPEG 算法使用 YCbCr色彩系统，而不是 RGB 色彩系统，YCbCr 色彩系统与 RGB 色彩系统的转换关系如下： Y = 0. 2990R+0.5870G+0.1140B (2.5.1) Cb = 0 .1687R0.3313G+0.5000B+128 (2.5.2) Cr = 0 .5000R0.4187

27、G0.0813B+128 (2.5.3) R = Y+1 .40200(Cr128) (2.5.4) G = Y0 .34414(Cb128)0.71414(Cr128) (2.5.5) B = Y+1 .77200(Cb128) (2.5.6) 在本系统中，视频解码器 SAA7111A 可以通过配置直接输出 YCbCr 数据，因此可以直接用于 JPEG 压缩。 3 应用 1、DSP在医疗内窥镜系统中的应用胶囊内窥镜或无线内窥镜系统一般由三部分组成:微型摄像单元、视频图像数据源记录系统、影像工作站。其中视频图像数据源记录系统是确保微型摄像单元所拍摄视频图像可靠传输及存储的关键,同时也为影像工作

28、站提供最为兼容的图像数据。它的可靠性直接影响到整个无线内窥镜系统的功能。而传统的视频记录仪多采用模拟磁带录像技术,这种方法记录图像质量差、时间短、且由于磁带的磨损而容易产生干扰和噪声等。系统以TI公司的高性能数字信号处理器TMS320C6211 为核心处理器,采用PHILIP 公司视频解码器SAA7114H 对模拟视频信号进行数据缩放,在复杂可编程逻辑控制电路的控制下,视频图像数据由高速缓存先入先出队列传输到DSP 进行静止影像数字压缩通用标准格式(JPEG) 压缩,最后将处理后的图像数据存入高密度闪存卡,完成视频图像的及时记录功能。其中DSP主要用来进行压缩编码和数据传输,我们采用离散余弦算

29、法和DCT系数量化的快速算法加快了DSP的运算速度,减少了DSP的执行代码,同时我们对各种存储类型进行了合理的分配,优化了存储器结构。在数据传输和处理过程中大量使用扩展的直接存储器访问来加快处理数据的速度并提高了系统的性能。该系统具有体积小、采样率高、存储容量大、记录时间长及功耗低等特点14。 2、DSP在红外图像处理中的应用 随着非致冷红外焦平面阵列探测器的进步，热成像技术越来越广泛地应用于电力、医疗、军事、交通等众多领域。由于红外图像的形成一般来源于多元探测器的输出信号，而不同的红外探测器单元的响应存在较大差异，从而使红外图像产生空间不均匀。同时红外图像的信噪比一般比可见光CCD 图像低，

30、普遍存在目标与背景对比度较差、边缘模糊、噪声较大等特点，对此类图像需要进行对比度增强，使原来人眼不易识别的目标显现出来。实时地获取高质量的红外图像已成为红外成像技术领域中的一个重要课题。一种基于TI 公司的高性能数字信号处理器TMS320C6201为核心器件的实时非致冷红外图像处理系统，该系统通过USB2. 0 接口与PC 机通信，由PC 机完成图像的伪彩色处理与显示。 提出了一种新的基于Curvelet 变换红外图像增强算法，由于Curvelet 变换以边缘为基本表示元素，具有完备性，能很好地适合图像的特点，仿真结果表明该方法优于传统地增强方法。该系统在DSP 上实现了所提出的红外图像增强算

31、法及基于两点法的红外图像非均匀校正15。四、总结 近10年来DSP技术获得了飞速发展，DSP芯片的性能不断迈向新高，基于DSP的嵌入式数字图像处理系统因其通用性和高性价比得到了越来越广泛的应用。本课题针对这一极具实用性和市场价值的技术进行了深入研究，设计出了一套基于TMS320C6711 DSP的数字视频图像获取及处理系统，并在该系统上对基于 DSP 的数字图像处理技术进行了研究。课题的主要研究内容和研究成果如下： (1)深入研究了 PAL、NTSC、SECAM 模拟视频制式和 CCIR601、CCIR656 数字视频频标准的基本原理，在此基础上确定了本系统所要遵循的原则和技术要求。 (2)分

32、析比较了当前各种数字视频图像处理系统的结构和软硬件实现方案，在此基础上提出了基于 TMS320C6711 DSP 的数字视频图像获取和处理系统的设计方案。本方案结构简单，成本低，性价比高，具有一定的先进性。 (3)深入研究了 TMS320C6711 DSP、SAA7111A 视频解码器、SN74V225 FIFO、ispMACH4A3 CPLD 的工作原理和时序逻辑关系，采用 VHDL 语言完成了 CPLD 的逻辑设计，基于这些器件完成了系统的硬件设计。该系统复杂度低，结构简洁，具有很高的可靠性。 (4)深入研究了 TMS320C6711 DSP 的并行编程技术，完成了本系统图像采集软件的设计。本软件使用了驱动程序设计技术和 EDMA 传输功能，性能好，开销低。 (5)以软件工程的原则为指导，完成了系统的软硬件调试。调试工作准备充分，规划严密，保证了系统具有很高的可靠性和稳定性。 (6)研究了 JPEG 图像编码标准，完成了基于 TMS320C6711 的 JPEG 图像编码算法的设计、优化