基于FPGA的小型微光视频图像增强处理系统

1、 SS I I STRU I ON Vo. l No . 12ece mb er 基于 FPGA 的小型微光视频图像增强处理系统M i niLo w l evel li ghtV i deo I m age Enhance m ent Processi ng Syste m Based on FPGA田 思1, 2高有堂1, 2常本康1(南阳理工学院电子与电气工程系 1, 南阳 473004; 南京理工大学电子工程与光电技术学院 2, 南京 210094摘 要 :为微光视频图像的实时增强设计了一套可应用于空间狭小环境中的小型化处理系统。以 FPGA 为系统核心 , 并使用 CPLD 对系统进行

2、配置 , 简化了系统设计 , 使处理系统硬件更加紧凑 , 运行更加可靠 ; 还给出了系统主要功能模块的实现方法。在微光视频 图像系统中应用 , 使图像增强效果明显。关键词 :微光 图像 增强 现场可编程门陈列 系统设计 中图分类号 :TN 247 文献标志码 :AAbstract :A m i ni processi ng syst em for l ow l evel li ght vi deo m i age i s desi gned . The syst em can be used f or m i niat ure processi ng syste m i n en v iron

3、 m entw i th narrow and s ma ll space for real tm i e enhance m ent o f l ow level li ght v i deo m i age . In this s y ste m , FPGA is used as t he kerne, l and CPLD i s used f or syst em confi gurati on . Th i s sm i plifi es s yste m design andmakes t he hard w are of processi ng syst em more co

4、mpac, t and more re li abl e to run . The m i ple m enti ng method o f the ma i n f unction modu l e is provi ded . The eff ect o f m i age enhance m ent is outstandi ng i n t he appli cati on i n l ow level li ght v i deo m i age syste m.K ey words :Lo w leve l li ght I m age Enhance m ent F i e l

5、d prog ra mm able gate array (FPGA Syste m desi gn河南省教育厅自然科学项目 (编号 :200511653001 。修改稿收到日期 :2007-06-11。第一作者田思 , 男 , 1967年生 , 1989年毕业于同济大学物理系 , 获学 士学位 , 高级工程师 ; 主要从事夜视技术 、 图像处理与相关系统的研究工 作 。0 引言微光夜视技术是将微弱的自然光图像通过像增强 器转变为增强了几百倍甚至几万倍的电子图像 , 再将 增强的电子图像转变成为可视的光学图像 , 从而达到 人眼能够观察的程度。由于微光夜视技术以被动方式 工作 , 自身隐蔽性好

6、 , 在军事、 安全、 交通等领域得到了 广泛的应用。但是 , 微光图像的对比度差 , 灰度级有限 , 瞬间动态范围差 , 高增益时有闪烁 , 只敏感于目标场景 的反射 , 与目标场景的热对比无关。如何提高微光视频 图像质量 , 是微光应用中的关键问题 , 为此我们设计了 一套基于 FP GA 的小型微光视频图像增强处理系统。1 系统原理本图像处理器通过视频专用 A /D芯片将采集的 微光视频信号转换为数字信号 , 利用 FPGA 强大的编 程和逻辑功能 , 实现灰度的变换、 平滑滤波和递归降 噪、 灰度拉伸等一系列图像处理方法 , 实现微光视频图 像的去噪和增强。而系统采用 FP GA 的速

7、度为 ns 数 量级 , 完全能够满足实时视频处理的需要。其原理如图 1所示。图 1 基于 FPGA 图像处理原理框图 F ig . 1 B lock diag ra m of i m age process i ng pr i nciplebased on FPGA视频图像处理流程大致分为以下 4个步骤 : 上电后 , 由 CPLD 配置专用视频 A /D芯片 , 完 成必要的初始化 ;A /D将视频信号转换为 8位数字信号 (即像 素的灰度 , 并将该数字信号与视频输入有关的行场 同步信号和像素时钟送入 FP GA ;! FPGA 在像素时钟下 , 完成四帧累加、 灰度拉 伸、 平滑滤波和

8、背景均一等一系列的处理 , 整个流程是 以流水线方式实现的 ; 处理过的像素灰度信号 , 合成视频信号必需的 混合同步 , 混合消隐信号和像素时钟 , 由 FPGA 送入专 用的视频 D /A,经过信号调理以后 , 转换成标准的全 电视信号。2 系统方案设计现场可编程门阵列 FPGA (field progra mm a b le gate基于 FPGA 的小型微光视频图像增强处理系统 田 思 , 等# 期 年 12arr ay 是 X illinx 公司在 1985年推出的一种新型的高 密度 PLD (progra mm able log i c array, 采用 C M OS SRAM

9、工艺制作。 FPGA 的结构一般可以分为可编程逻辑模 块、 可编程 I/O模块和可编程内部连线三部分12。FPGA 是整个图像处理器的核心 , 包括 A /D信号 的输入、 各种图像处理算法的实现、 D /A数字信号及 其视频同步合成等一系列的工作均由 FP GA 实现。基 于实际需 求情 况 , 本 图像 处理 器采 用了 ALTERA , CYCLONE 系列的 EP1C6Q240C8, 它是当今性价比较高 的一种 FPGA 。 CYCLONE 芯片采用 1. 5V 内核电压、 内嵌 92160位存储区间、 可提供两个锁相环和双倍数 据传输速率 (DDR 的接口电路。系统视频使用视频芯片

10、SAA 7111进行 (A /D 转 换输入 , 经 FP GA 处理后由视频合成芯片 ADV 7123进 行 (D /A 转换输出。 2. 1 FPGA 主要模块及功能接收来自 A /D的数据及控制信号FPGA 接收由专用视频 SAA 7111(A /D 分离出来 的 8位灰度数据、 行同步参考信号 HREF 、 场同步参考 信号 VREF 、 行同步信号 HS 、 场同步信号 VS 、 行锁定系 统时钟 LLC (27MH z 、 像素时钟 LLC 2(13. 5MH z 以及 奇偶信号 OE , 并将像素时钟 LLC 2作为整个图像处理 过程的全局时钟。控制对 SRA M 的读写FPGA

11、 的外围接了 4片 SRA M, 复用一条地址总 线 , 是 FPGA 进行图像处理的数据存储单元。每块 SRA M 可存放一帧图像。! FPGA 图像处理模块该模块实现图像数据帧间运算、 单帧图像的实时 运算等功能。在 FPGA 强大的运算和逻辑功能支持 下 , 对序列图像实现帧间的比较或平均 ; 对单帧图像实 时进行灰度变换 ; 并可以对图像作傅里叶变换 , 实现频 域的处理。 视频同步模块根据 A /D芯片送入的行同步参考信号 HREF 、 场 同步参考信号 VREF , 按照视频信号的格式 , 产生视频 合成所需要的混合同步信号和混合消隐信号 , 使输出 的图像没有颤动或抖动 , 满足

12、观察需要。 2. 2 模块设计方法视频同步模块的设计使用专用的视频合成芯片 ADV7123(D /A, 必须 输入准确的混合同步、 混合消隐及像素时钟信号。虽然 输入端的 A /D芯片也送出了场同步参考信号 VREF 、 行同步参考信号 HREF 和像素时钟 LLC 2, 但是 A /D芯片的输出滤除了输入视频信号的前后均衡脉冲及槽脉 冲 , 其输出波形如图 2所示5, 图中 CVBS (c o mpositev i deo broadcast signal 是复合电视广播信号 , RTS 0是 A /D芯片的功能选择输入信号。图 2 A /D芯片输出的同步信号的波形F i g . 2 Out

13、put w ave for m s of synchron i zed si gnals by A /Dch i p如果以 HREF 和 VREF 的组合逻辑信号直接作为 视频 D /A的混合同步信号的输入 , 就会使图像在前后 场衔接处发生扭曲、 失真 , 影响图像的质量。要消除这 种影响 , 必须利用 FP GA 输出准确的视频同步信号。首先 , 以奇偶信号 OE (由视频 A /D芯片分离输 出 的上升沿作为每帧的行计数 的清零信号 ; 同时 H REF =0, 也作为每行的像素计数的清零信号。其次 , FPGA 利用像素时钟 LLC 2, 对每一行的像素计数 ; 以行 同步参考信号 H

14、REF , 作为每一帧的行计数。这样就 根据视频信号的格式要求 , 在合适的像素行和像素点 上 , 产生所需的前后均衡脉冲、 槽脉冲和行场消隐信号 等一系列的脉冲。这些脉冲最后通过或门 , 构成混合 同步信号和混合消隐信号。视频同步模块又分成 3个 底层模块 , 都用 VHDL 语言编写。模块 1产生每帧行 计数和每行像素计数的清零信号。模块 2包含两个进 程 , 根据行参考信号 HREF 和 LLC 2信号 , 分别对每一 行像素的计数以及对每一帧的行的计数。模块 3是根 据频频信号的格式 , 产生相应的视频同步和视频消隐 信号。序列图像的存储设计微光视频图像的前后几个序列图像相关性很大 ,

15、 而系统引入的散粒噪声在图像序列中的相关性小。经 过多帧图像的累加或选取单帧图像对应的像素邻域的 相关函数筛选 , 就能达到滤除散粒噪声的目的。程序 流程如图 3所示。要实现帧间滤波 , 必须做到前后几帧的存储 , 为基于 FPGA 的小型微光视频图像增强处理系统 田 思 , 等 SS I I STRU I ON Vo. l No . 12ece mb er 图 3 序列图像存储 的程序流程图 F i g . 3 F lo w chart o f series i m age st o rage prog ram后续的累加、 比较等处理做准备。图像处理器利用片 外的 4块 SRA M, 不断地

16、将前后 4帧的图像依次读写 , 以实现帧间滤波。设计思想是每一个有效的像素时 钟中 :在时钟的上半周期 , 利用模数为 4的计数器对 奇偶场信号 OE 计数并经过 24译码器 , 将其中一 片 SRAM 的写信号及片选信号选通 ; 在时钟的下半周 期 , 同时将 4片 SRAM 的读信号及片选信号选通。由 于这 4片 SRAM 的地址线是公用的 , 并且读信号和片 选信号也是同时到达的 , 所以将 4片 SRAM 中的同一 个地址单元的内容同步读出 , 为后续的帧间处理做准 备。! 线性灰度拉伸模块设计灰度变换法可以分为线性变换和非线性变换 , 为 了配合硬件的性能 , 本系统采用线性变换。根

17、据线性 变换函数 :g (x,y =kf (x,y +b(1式中 :f (x,y 为原来的灰度 ; g (x,y 为变换后的灰度。 原图像的灰度值先经过一个乘法器乘以定值 k , 然后 经过一个加法器加上定值 b , 即为变换后的灰度值。 其中 , k 和 b 是根据微光视频 图像的特点计算得到 的。由于 FPGA 的运算能力很强大 , 针对线性灰度变 换 , 可以用乘法器和加法器实现。这样的设计运算复 杂度不大 , 运算消耗的时间也很短。另外还可以利用 FPGA 中自带的 RAM 或 RO M 模块设计查找表 , 用原 来的灰度作为地址 , 取出查找表中的值作为变换后的灰度值。3 结束语在

18、FP GA 硬件平台上构建的小型视频图像系统 , 通过相应的图像处理模块 , 可以进行灰度变换、 递归降 噪和图像增强等处理技术。使微光视频图像通过数字 信号处理后 , 层次更加清晰、 轮廓更加分明 , 从而改善 了图像分辨率、 亮度和对比度。模块化的 FPGA 程序 设计使处理系统运行更加可靠 , 维护起来更加简便。参考文献1 王 诚 , 吴 继 华 , 范 丽 珍 , 等 . A ltera FPGA /CPLD设 计 (基 础 篇 M.北 京 :人 民邮 电出 版社 , 2005.2 李 鑫 , 倪国强 , 李勇量 , 等 . 用于图像 融合的双通 道视频 采集 系统设计 J.微光与激光

19、 , 2003, 33(2:138-1413 姜 勇 , 刘广文 , 赵丹培 , 等 . 基于 FPGA 的图像增强以及滤波技 术 J.长春 理工大学学报 , 2002, 25(4:20-224 王世允 , 常本康 , 孙恋君 , 等 . 红外图像实 时增强算法研究 J.红 外技术 , 2005, 27(6:33-36.5 张长江 , 付梦印 , 金 梅 , 等 . 一种抗噪的 对比度增强算法 J.红 外与激光工程 , 2004, 33(1:50-54.6 陈 钱 , 张保民 , 顾 国华 , 等 . 红外图 像序列动 态帧间滤波 技术 J.南京理工大学学报 , 2003, 27(5:653-

20、656.(上接第 38页 及奇偶两路的情况 , 如 TCD1705 及普通高频电压信 号采集系统。同样的逻辑控制方法也可用于各种线阵 CCD 、 面阵 CCD 及 CMO S 摄像头的数据采集。参考文献1 王庆有 . 图像传感器应用技术 M.北京 :电子工业出版社 , 2003:343-409.2 杨博雄 , 张晓华 , 傅辉清 . 线阵 CCD 数据 的高速采集与 存储 J.大地测量与地球动力学 , 2000, (5:124-127.3 徐大诚 , 翁桂荣 . 线阵 CCD 数据 的高速 采集系 统 J.传感 器技 术 , 2002, 21(9:45-49.4 杨玉春 . 利用 FIFO 和 D MA 实现线阵 CCD 高速数据采 集 J.哈 尔滨理工大学学报 , 2000, (6:78-80.5 杜 昕 , 熊 龙 , 张幸福 . 基于 线阵 CC