（生物医学工程专业论文）数字视频滤波及硬件实现.pdf

硕士论文数字视频滤波及硬件实现 a b s t r a c t ：t h i sp a p e ri st od i s c u s s d i g i t a lv i d e of i t t e r a n di t sa c h i e v e m e n tb y h a r d w a r e t h ef i t t e ri st h eb e g i n n i n go ft h ed i g i t a lv i d e op r o c e s s i n g a n dn o w ，t h e f o c u so l lt h i st e c h n o l o g yi st of i n db e t t e ra n df a s t e r w a yt oi m p r o v et h ep r o c e s s u s u a l l y ，i tw i l lb em o r ee f f i c i e n tt op r o c e s sb yh a r d w a r et h a nb ys o f t w a r e b u tu s i n g h a r d w a r ea l s o b r i n g s s o m es h o r t c o m i n g s ，a si ft h ee l e c t r oc i r c u i tw o u l db et o o c o m p l e x ，s o m em e a s u r e sb yh a r d w a r e ( u s i n gf p g a ) w i l l b eb r o u g h tf o r w a r di nt h i s t h e s i s ，w h i c hc o u l da c c e l e r a t et h ed i g i t a lv i d e op r o c e s s i n g k e yw o r d s ：d i g i t a lv i d e o ，f i t t e r ，f p g a ，c i r c u i td e s i g n 2 硕士论文 数字视频滤波及硬件实现 1 前言 数字视频技术是近年来飞速发展的一项技术，他有着稳定可靠，处理灵活 性强，精度高等特点，尤其还适合计算机的处理与协助。因此，在各行各业有着 广泛的应用。例如：在医学方面，利用造影剂和r i 标识物的移动配合m r i 成像 来观察心脏的运动和代谢，其意义非常巨大。在通讯方面，数字视频更是可以经 长距离的传输而不失真，使长距离的通信更为可靠。 数字视频滤波是数字视频处理的一个重要环节，其目的是根据具体需要为 所得到的数字视频进行先期处理，去除采集图像时或者传输视频时产生的干扰， 模糊以及噪声，将图像复原或者进行一定的增强处理。将人们感兴趣的部分再现 在人们视线前。在医学方面对于帮助医生进行病灶的识别，有着极其重要的意义。 1 1 数字视频处理技术现状 数字视频滤波的难点也在于它的实时性。所谓实时性，即指系统必须在限 定的短时间内对外界的变化赋予相应。数字视频系统必须与现场的动态特性有良 好的相互匹配关系。在一般的电视频率视频系统中，图像的更新速度是微毫秒级 的。因此数字视频处理的最大困难也就是在与必须在极短的时间( 毫秒级) 处理 大量的数据，进行复杂的运算和判断。以普通的电视摄像机为例，每秒2 5 帧图 像，按照图像大小5 1 2 5 1 2 计算，如果对每个像素只进行一次运算，那么每秒也 需要进行6 5 兆次运算( 这还不包括计算机的指令周期) ，这样高的运算速率在 一般的计算机上已经无法进行。 为了能够的进行高速实时领域的计算要求美、日、西欧一些大公司投入大 量人力物力致力于开发，根据并行处理的思想，推出了不同于冯诺伊曼构架的 新型计算机结构体系，其特点在于：a 改进的哈佛结构，他的特点在于采用了多 总线结构，取指令和执行指令同时进行，从而缓解程序和数据争抢总线和存储控 制的问题，提高了系统的并行度。目前的大多数d s p 都是这种结构。b 多处理器 并行结构。这可以将多信号处理问题分散成多个彼此可以互相独立的任务，多个 处理器并行对上述任务进行分别处理。但这种结构的控制，运算管理较为复杂。 c 空间并的阵列结构，这是一种面向算法的阵列处理结构，主要分为脉动阵列和 波前阵列两种形式。脉动阵列指数据有节奏流过各个处理单元，最后流回存储单 元，整个过程犹如心脏搏动。过程中阵列中各个处理单元受同一时钟控制，易于 阵列扩展，缺点在于数据流的局部连接将导致节点问的传输延时。波前阵列维局 部模块的化结构的处理单元，各单元间局部连接，且异步工作。br i s c 结构( 缩 减指令集计算机结构) ，种结构的计算器指令简单，种类少，变成灵活，速度快， 并能高效的执行高级语言。 硕士论文数字视频滤波及硬件实现 1 2 本文研究的内容 以前的数字视频滤波技术研究主要集中在采用上节介绍的各种体系的计算 机，以软件编程的方式完成各种算法的应用。然而对于某些时序比较复杂的算法， 以软件的方式实现还不能到达真正的实时。 另一种可行的方法是用硬件直接实现滤波算法，采用硬件设计的难度在于 设计灵活性小，而往往逻辑复杂，周期过长，并且中间测试不便。而这随着可编 程逻辑器件的出现和成熟都迎刃而解了。 本文旨在用现场可编程门阵列( f p g a ) 代替传统的分立元件，构建可以直接 完成滤波算法的硬件逻辑。对这一技术进行研究、发展和创新。采用f p g a 芯片 比分立元件有更大的规模、更高的工作速度、能克服软件无法克服的缺点。可有 效的减小电路规模，并且缩短算法运行时间，使一些复杂算法的应用成为可能。 本文的主要工作如下： 1 研究分析各种滤波算法的效果，和实现代价与可能，分析采用不同方法 实现的效率。 2 系统硬件设计：根据本系统的要求选择合适的芯片。系统软件设计及仿 真：根据系统要实现的功能画出本系统的框图及流程图，用专用的f p g a 设计软件编写源代码；编译、仿真、修改直到达到满意的结果。 3 系统调试：软硬件设计结束后进入系统调试阶段，将程序下载到电路板， 根据系统的要求对电路板加电，测试其功能。 堕主堡壅 墼圭塑塑鲨鎏垦堡堡薹婴 2 滤波算法分析 系统内部杂波干扰对数字视频的图像质量具有决定性影响，数字视频系统 视频处理系统很重要的部分就是抗干扰能力。在数字视频系统内存在很多固有的 噪声源，包括： 晶体振荡器和时钟分频电路； 具有快速转换时间( 上升下降时间) 的电路，如速度超过要求的逻辑 阵列； 无端接电路： 杂散电感和电容； 开关电源噪声； 高功率模拟电路，如视频数模模数转换器。 数字视频滤波的主要目的在于去除图像的干扰和模糊，恢复图像的本来面 目，必要的时候突出需要关心的部分图像细节。 2 1 中值滤波 中值滤波是一种非线性去处噪声的方法，它是由t u r k y 在1 9 7 1 年提出的。 开始中值滤波用于时序序列分析，后来被用于图像处理，在去噪复原中得n t 较 好的应用。 中值滤波的基本原理是把数字图像或数字序列中的一点的值用该店的一个 邻域中各点值的中值来代替。把一个特定长度或者形状的邻域称作窗口。在一维 的情况下，中值滤波器是一个含有奇数个像素的滑动窗口。窗口正中间的数值用 窗口内个数值的中间值来代替。 其定义如下：一组数x l ，x 2 ，x 3 ，x 。，把n 个数按值的大小顺序 排列如下：x i l x i 2 x i 3 x i 4 x m y = m e d x l ，x 2 ，x 3 ，x 4 ，x n = x i ( ( n + 1 ) ，2 ) n 为奇数 ( x i ( n 2 ) + x i ( n 2 + 1 1 心 n 为偶数 y 称为序列x l ，x 2 ，x 3 ，) ( 4 ，) ( r i 的中值。中值滤波可以有效的去除 脉冲型噪声，而且对图像的边缘有很好的保护。但是其有着自己的固有缺陷，有 可能损失图像的细节，尤其是当边缘或细节比较细小时，很有可能将图像本身细 节破坏，例如：当图像细节是一个像素宽度的细线时，若选用3 * 3 的滤波窗口， 就会将细线完全滤掉。 硕士论文 数字视频滤波及硬件实现 2 2 尺度滤波 尺度滤波是一种图像增强的算法，通过尺度滤波可以突出图像灰度的差异。 他的的原理是按照预先设定的尺度窗口将图像中心区域的灰度以该区域的一个 邻域的灰度和与区域内灰度和( 加权) 之差来替代该区域内中心点的灰度的一种 变形算法。该算法的特点在于能够将与算法窗1 ：3 形状或大小较为匹配的的目标加 强，将离散噪声点消弱，对于大目标物体则产生勾勒边线的效果。便于目标的识 辨与跟踪。 假定需要处理的窗口，内部加权部分为4 t 2 的像素区间，而外部则2 倍内 部像素点，因此内部权值为二。 尺度滤波的整个计算公式如下。 x ( i j ) = 1 2 4 一k 1 i( 1 ) k o = x ( i d ) + x ( i j + u 十x ( i j + 2 ) + x ( i j + 3 ) + x ( i + 1 j ) + x ( i + 1 j + 1 ) + x ( i + 1 j + 2 ) + x ( i + l ， j + 3 ) ( 2 ) k j = x ( i - 2 j ) + x 小s , , ” 啦t h e “ 鬻蘩蝴：”蛐4 叭h “ 鬻l 纛= ： 囊黪i 图3 2 2 1 尺度算法代码贴图 采用v h d l 语言实现该一功能，定义e 0 , - - e 7 为需要处理内部加权后数据的 寄存器，在同步时钟驱动下求其和，记为s d l ，在同步加法器a s 的单元中实现 该功能。同时求其外围像素点的和，记为s d 2 ，在同步加法器a b 中实现该一功能。 同时在同一时钟边缘，输出s d l 与s d 2 差值的绝对值，即为所求像素点的尺度滤 波结果。上面列出对该一过程部分v h d l 语言的描述代码，考虑到程序的可读 性及综合工具的功能，该部部分采取行为域级的描述。 考虑到像素灰度表示范围是在0 到2 5 5 之问的整数，0 对应黑色，2 5 5 对应 白色，中间值表示阴影的灰度。因此，在该算法中最后的结果可能溢出2 5 5 ，为 硕士论文 数字视频滤波及硬件实现 了不造成数据的丢失，最后得到的结果以最大可能的位数来保存。 在这过程中需要注意的是看似在c l k 的上升沿s d l 与s d 2 同时被赋值与引用， 然而实际上由于采取的描述方式，在实际电路中s d l 与s d 2 将被综合成同步触发 器单元，而不同于一般的信号线。事实上由于实际电路的延迟，s d l 与s d 2 在a d d 单元中作为输入信号，值为第i 个周期，而在a s 与中a b 中作为输出信号，其值 实际上为第i + 1 个周期的结果。即引用时，值仍旧未发生改变，不会引起电路的 冲突与冒险。 由于这种情况该算法在一个时钟周期内可以完成，虽然实际上输出的结果 滞后原始图像一个时钟，为了方便期间，直接分离了像素时钟作为该算法的算法 时钟。 在这种设计中由于涉及到大量的加法运算逻辑，因此对加法运算的效率要 求也很高。在一般以全加器串行进位的加法器模型中，由于下一级的计算要等待 上一级的运算结果完成之后才能开始，延时非常可观，显然无法满足设计的要求。 需要采取超前进位链技术来减小进位延迟。 在最后制版后硬件测试中，该算法的效果被实时打回监视器实时观察有类 似x 光投影的效果。 硕士论文数字视频滤波及硬件实现 4 3 本章小结 本章列举在设计中完成的三种滤波算法中的两种，描述了其实现原理及过 程，并给出了部分的v h d l 描述代码，还有一种高通滤波因为其硬件实现与以 上两种滤波较为相似，因此不再重复叙述。整个滤波部分的输出结果在整个构架 中可以直接打回编码器，以便在监视器上直接观察，另一种就是通过l i n k 接口 传输到d s p 中进行进一步的图像处理，目标跟踪，需要指出一点：所需要回传 的数据量与数据区间由d s p 给出窗口指定。具体传输将在下文中描述。 比较由硬件和软件完成算法，软件的优势在于其灵活性，和设计的简便性但 是运算周期较长，花费较大；而硬件一点完成皆不能更改，但他的优势在于快速 性和稳定性。因此两者互相联系，相辅相成。 硕士论文 数字视频滤波及硬件实现 5 视频滤波系统的外围电路设计 5 1 帧存控制 所选取的s p a r t a n 2 ex e 2 s 6 0 0 e 器件内部仅拥有b l o c k r a m 只有2 8 4 k ，无法 存下单帧的图像，因此在外部置一单端1 ：3r a m ，r a m 的端1 2 信号见第二章中的 详细表。 在正常工作的情况下，将解码器输入的数字视屏信号记录在r a m 中，而由 编码器产生的行、场、帧同步及消隐信号来读取r a m 中的数据，因而在实际设 中涉及到地址的产生，以及数据线地址线的分时切换等一系列问题。此外，还要 求d s p 能直接对r a m 进行读写操作，此时，f p g a 内部工作暂停。 5 1 1基本功能描述 下图是该部分的结构框架示意图： 空竺堡兰兰型i - 1 2 圃 陌私 1 _ j o 1 9 b i t ： h 片选信! 号生成! 书 c 3 为1 时由f p g a 内部产生信号控制控制r a m 的读写，c 3 等于0 时， 由外部d s p 直接对r a m 进行存取! 写入数据为1 6 位，读出时数据为2 4 位，f i f o 硕士论文 数字视频滤波及硬件实现 缓存单行2 4 位。( c 3 为内部控制寄存器) 写入时，自动将1 6 位数字视频拼装成 2 4 位的数据。而d s p 数据线为8 位，而r a m 的宽度为2 4 位，因此要求d s p 可以分别对r a m 的低8 位，中8 位，高8 位，进行读写。因此在构架中定义了 c 4 c 5 两个寄存器，用以控制所需要读写的高中低三位。 为读、写两个过程分别生成两套独立的地址发生器，分别由解码器信号， 与编码器信号来控制。但是由于r a m 的地址线单一，因此在工作时需要随时切 换地址线。同时还需要控制地址线线与数据线之间固定的延时关系。并且需要通 过以上信号同时产生r a m 的片选信号，直接控制r a m 的工作。或者在d s p 独 立进行读写时，以d s p 的读写信号来形成r a m 的读写控制信号。 5 1 2 地址发生器的设计 地址发生器的代码如下： i n ：t d - j o 舀o bd o w n t oo ) ) 0 ) ) ： 图5 1 ，2 ，l 代码贴图 地址发生器是以行场等电平作为基准，对每个像素点产生一个固定的物理 空间地址相对应，其基本原理是采用计数的方式，在每个有效像素时钟产生的同 时，地址累加。同时考虑到帧图像奇场与偶场分开的特点，为每一场开设一片连 续地址空间，也就是说对应显示在屏幕上的点来说，奇行和偶行分别拥有自己连 续的存储空间。 1 9 硕士论文 数字视频滤波及硬件实现 因此设计中整个地址有三部分叠加组成，最高位由帧电平构成，这样直接 可以区分奇场和偶场；低位由个行计数器和个列计数器组成，行计数器记录 该场中的当前行数，以行同步信号驱动，在场消隐期间归零：列计数器以行有效 期间的的像素时钟驱动计数，在行消隐期间归零。三个部分的和组成整个地址发 生器的输出。 5 1 3时序分配问题 系统工作时不断的读写帧存，因此工作工程中数据线和地址线需要不停的 切换，设计中需要对读、写周期分配各自的占用地址及数据线的时间。由于需要 由读和写是两个器件各自产生的时序逻辑，因此很可能在实践工作时产生竞争， 同时需要对帧存进行操作。为了解决这个问题在设计中增加一级缓存。然后按照 固定的约定分配两个周期读写时间。 分析：这样将会存在下面的问题 单考虑写入存储器的逻辑，由于存在等待读出的时间，在该段时间内外 部数据将会连续到达。因此，在等待时间内不能将缓存深度写满，而当 分配到其工作时必须又将缓存读空，否则将因为积累效应造成数据丢 失。 单考虑从存储器读出的逻辑，由于外部读要求连续到达，因此无论是在 等待，还是工作的时间段内，都不能将缓存完全读空，否则可能出现数 据错位。但是在这种工作状态中，缓存可以始终为满。 两个过程配合考虑，当读和写同时要求操作数据地址较为接近时，可能 产生的错帧问题，即读出数据跳帧。 图5 1 3 1 缓存框架示意图 外部数 对于前两个问题，可以采取提高缓存对帧存通讯频率的方法，当频率大于2 倍的像素时钟频率时，可以基本解决这一问题。 对于第三个问题则无法完全避免，但是减小缓存的深度，可以降低一部分 硕士论文 数字视频滤波及硬件实现 的风险。尝试设计一位深度的缓存，即在小于7 2 奈秒( 一个像素时钟周期) 时 间内至少切换读写控制一次若( 写缓存空或读缓存为满，则不操作) ，这样可以 保持写缓存始终为空，读缓存始终为满的状态。可以有效的完成工作的要求。 5 1 4其他信号产生 由于帧存是依靠读写信号的上升沿锁存数据，写过程要求的时序依次是地 址稳定，后c e ( 片选) 信号有效，数据位稳定，然后锁存。读过程则是地址稳 定，片选有效，后给出读信号，最后得到稳定数据输出。因此写信号设计时需要 通过约束或延时使其比缓存输出的驱动信号延后产生。而读信号则需要早于缓存 写入的驱动信号。 系统最后的综合及布线将自动完成，有一定的随机性和延时不确定性，为 了保证设计的正确，在这部分设计中加入了严格的约束条件。 5 1 5i ) s p 直接读写控制 相较于f p g a 内部读写控制来说，该部分逻辑电路比较简单，可直接将d s p 的读写信号与地址线与外部存储器相联系，同时通过内部的三选一逻辑，控制需 要读写外部存储器的高、中、低位( d s p 的数据线只有8 位，丽外部帧存为2 4 位的数宽度，读或写一个整数需要三次操作) 。片选信号则直接由d s p 的片选有 效给出。 由于工程的时间关系，这一部分到论文截止的时候只进行了p o s t - p l a c ea n d r o u t e 级的仿真，而没有进行成品的调试。 5 2 系统译码 整个系统运行时，通过d s p 对片内状态寄存器的读写来改变整个系统的工 作状态。同时该部分拥有2 0 位地址资源，当最高位为0 时，1 9 位的地址作为访 问外部帧存使用；其最高位为1 时，作为其他译码使用。 5 2 1 入口的三态控制 数据线等有输入和输出两种模式，因此接口处采用三态门结构，以防止器 图5 2 i 1 三态门示意图 件的顶扭，基本的三态门如下所示： b 硕士论文数字视频滤波及硬件实现 当e n 为1 时，a 到b 的通路导通，b 到a 的通路截止，输出为高阻；e l l 为0 时则反向导通。 在本设计中，将f p g a 内部的信号分为出和入两组，因此在片内不涉及三 态问题，同时为了避免d s p 在进行其他操作时对f p g a 的误读和误写，在进入 的接口处将片选信号参也作为开关信号之一。 接口的r t l 模型如下。 图5 2 1 2 设计门r t l 模型图 其中1 1 _ n 1 0 ，1 1 _ n 11 如下所示： 图5 2 1 3 设计门r t l 模型图 硕士论文数字视频滤波及硬件实现 _ _ p _ 一一 s d a t a 为外部信号线，d s 为片内输出的信号，d s p d a t a 为片内输入部分。同 时片内将有多个信号源对总线d s 输出，因此d s 的生成另有部分控制逻辑。 5 2 2 译码单元 译码单元负责将d s p 来的工作指令计入状态寄存器，并且完成d s p 对内部 操作的一些控制。 在该设计中需要采用的专用寄存器有如下：负责选择处理信号来源 c t l c t 2 ，负责指示输出方式c t 3 ，负责指示操作位选择c t 4 ，c t 5 ，控制输出的叠 加字符方式c t 6 ，模拟1 2 c 总线工作方式c t 7 ，c t 8 以及i 2 c 寄存器，内部总线控 制c t l o ，c t l1 。此外还有一部分寄存器用以参与滤波窗口大小和位置设置，控制 叠加字符灰度等级等都由该部分生成。 5 3时钟与通讯 在可编程逻辑中，为了成功地操作，可靠的时钟是非常关键的。设计不良 的时钟在极限的温度、电压或制造工艺的偏差情况下将导致错误的行为，并且调 试困难、花销很大。 5 。3 1 时钟形式 在设计f p g a 时通常采用几种时钟类型。时钟可分为如下四种类型：全局时 钟、门控时钟、多级逻辑时钟和波动式时钟。多时钟系统能够包括上述四种时钟 类型的任意组合。 对于一个设计项目来说，全局时钟( 或同步时钟) 是最简单和最可预测的时 钟。在f p g a 设计中最好的时钟方案是：由专用的全局时钟输入引脚驱动的单个 主时钟去钟控设计项目中的每一个触发器。只要可能就应尽量在设计项目中采用 全局时钟。f p g a 都具有专门的全局时钟引脚，它直接连到器件中的每一个寄存 器。这种全局时钟提供器件中最短的时钟到输出的延时。在该设计中共有四个全 局时钟引脚，分别联系像素时钟( 1 3 5 兆) ，算法时钟( 4 0 兆) ，并通过d l l 锁 相回路生成像素时钟的倍频，也布于全局时钟端。 5 3 2 多时钟系统 在系统的两个异步微处理器器之间的接口，以及微处理器和异步通信通道 的接口。由于两个时钟信号之间要求一定的建立和保持时间，所以，上述应用引 进了附加的定时约束条件。它们也会要求将某些异步信号同步化。 一个多时钟系统的实例。c l k - a 用以钟控r e g ，c l k b 用于钟控r e t b ， 由于r e g a 驱动着进入r e g b 的组合逻辑，故c l k 的上升沿相对于c l k _ b 的上 升沿有建立时间和保持时间的要求。由于r e g b 不驱动馈到r e g a 的逻辑，c l kb 的上升沿相对于c l k _ a 没有建立时间的要求。此外，由于时钟的下降沿不影响触 发器的状态，所以c “一a 和c l k b 的下降沿之间没有时间上的要求。 硕士论文数字视频滤波及硬件实现 d 赳t a 。- 冉 墨l 崆丛 d a r # k 日7 锺目一b ： 0 赳t 烈值 # l 瞄、 i 善一t 秘秘鸹纠 馥蚝j广一 眇碓爿鲫刊 d 冉t 威直二二二二二二 夔二二二二二二芟二二盔塞二二冀垂熊 图5 3 2 1 多系统时钟实例 如上图所示，电路中有两个独立的时钟，可是，在它们之闻的建立时间和 保持时间的要求是不能保证的。在这种情况下，必须将电路同步化。 提供一种将时钟同步化的方法。使新的触发器r e gc 由g l k _ b 触控，保证 r e gg 的输出符合r e gb 的建立时间。然而，这个方法使输出延时了一个时钟周 期。 d 蚺避鸯 雕隧a 蛾碜遵 c l 瞎亩 图5 ，3 2 2 一种将时钟同步化的方法 同步电路设计的个基本模型如下图所示： 硕士论文数字视频滤波及硬件实现 图5 3 2 3 延时示意图 上图中t c o 是触发器时钟到数据输出的延时；t d e l a y 是组合逻辑的延时： t s e t u p 是触发器的建立时间，假设数据已经被时钟的上升沿打入d 触发器，那 么数据到达第个触发器的q 端需要t c o ，再经过组合逻辑的延时t d e l a y 到达 的第二个触发器的d 端，要想时钟能在第二个触发器再次被稳定的锁入触发器， 则时钟的延迟不能晚于t c o + t d e l a y + t s e t u p 。由以上分析可知：最小时钟周期： t = t c o + t d e l a y + t s e t u p & n b s p ：最快时钟频率辟1 t 。这就是开发软件用来计算 系统运行时问r 。的方法，图中还有一个参数t p d ，该参数为时钟的延时，如果 使用的是全局时钟，因为全局时钟到达整个系统的的时间基本相同，延时可以忽 略不计，因此作为了0 ，如果不是全局时钟则要加入计算，此时的公式为： t = t c o + t d e l a y + t s e t u p t p d 。 由于t o o 、t s e t u p 是由具体的器件和工艺决定的，我们设计电路时只可以 改变t d e l a y 。所以缩短触发器间组合逻辑的延时是提高同步电路速度的关键。 由于一般同步电路都不止一