双线性插值图像放大算法优化及硬件实现

1、第29卷第1期2009年1月核电子学与探测技术Nuclear Elect ronics &Detection TechnologyVol. 29No. 1Jan. 2009双线性插值图像放大算法优化及硬件实现帅金晓, 颜永红, 彭琰, 罗江平(湖南大学物理与微电子科学学院, 湖南长沙410082摘要:提出了一种基于双线性插值图像放大的优化算法, 在算法中加入轮廓增强处理, 保留了图像边缘的高频信息, 改善了双线性插值算法引起的边缘模糊问题。改进后的双线性插值放大算法处理速度快, 硬件实现简单, 且有较好的图像质量。实验表明, 该算法适合于对图像进行实时放大处理。关键词:图像放大; 双线

2、性插值; 轮廓增强; 实时处理中图分类号:TN773文献标识码:A 文章编号:025820934(2009 0120055204图像放大是一种常用的数字图像处理技术, 在航空航天、医学、通讯、广泛的应用, , 放大图像会出现明显的方块或锯齿, 不能很好地保留原始图像的边缘信息1。双线性插值是一种比较实用的放大方法, 它能够较好地消除锯齿, 放大后的图像平滑性好, 并且运算过程也较简单, 其缺点是图像高频信息丢失严重, 主要表现为细节与轮廓的模糊, 影响了放大图像的清晰度。本文在双线性插值放大技术的基础上, 提出了一种改进算法, 加入边缘锐化处理, 增强平滑图像的轮廓, 使放大后的图像有较好的清

3、晰度2。基于双线性插值放大的优化算法处理速度快, 硬件实现简单, 有较高的图像质量, 特别适合于图像的实时处理。本文给出了该算法的硬件实现方案, 改进的放大算法已经应用于一款图像处理芯片中, 且有较好的效果。11双线性插值是指利用映射点在输入图像的4个邻点的灰度值对映射点进行插值, 即待插点处的数值用离待插点最近的四个点的值加权求得。在同一行内根据待插值像素点与其前后的原图像像素点的位置距离进行加权线性插值, 即离原图像像素点越近的待插值像素点, 原图像像素的加权系数就越大; 行间根据待插值行与其上下的原图像行间的距离进行加权线性插值, 即离原图像行越近的待插值行, 原图像行的加权系数就越大。

4、其原理图如图1所示 。收稿日期:2008209205基金项目:湖南省自然科学基金资助(No. 052jd40095 。作者简介:帅金晓(1985- , 男, 江西南昌人, 硕士研究生。研究方向:数字集成电路设计及图像处理。图1双线性插值算法原理示意图55对于一个目的像素, 其行列坐标值分别除以放大倍数, 通过反向变换映射为原图像的浮点坐标(i +p , j +q , 其中i 和j 均为非负整数, p 和q 是取余后0, 1区间内的浮点数, 则这个目的像素的值f (i +p , j +q 可由原图像(i +1, j 、(i , j +1 、(i +1, j +中坐标为(i , j 、1 所对应的

5、周围四个像素的值来决定, 如公式(1 。(1 f (i +p , j +q =(1-p (1-q f (i , j +(1-p qf (i +1, j +p (1-q f (i , j +1 +pqf (i +1, j +1(2 式中, (w (i , j p (i , j 是p (i , j 邻i , j近点的高频分量, 把这个分量加到p (i , j 点, 就增加了该点像素的锐化程度。对整个图像的所有像素点进行高通滤波处理, 可以恢复放大后图像的高频信息, 从而实现了图像的边缘锐化, 使图像效果更加清晰。2硬件实现本文提出的双线性插值优化算法已经实际应用于图像处理芯片中, 该系统在YUV

6、数据格式下实现图像由分辨率QV GA 放大到V GA , 即实现了图像的4倍放大。其系统框图如图2所示。其中, f (i , j 表示(i , j 处的像素值, p , q 随着放大后像素行列坐标的不同而改变。将这四个点的像素值按照权重不同做相加, 得到放大图像目标位置的像素值。双线性插值得到的图像本身比较平滑, 较好地抑制了采用邻近取样法带来的“小锯齿”弊端。由于双线性内插法具有低通滤波器的性质, 使高频分量受损, 所以用这个算法会使图像轮廓在一定程度上变得模糊。大算法处理速度快, , , 112针对双线性插值算法会使高频分量受损而出现边界模糊的问题。本文提出了一种优化算法, 即在双线性插值

7、算法的基础上加入轮廓增强处理, 可改善边界模糊问题。图像中边缘的细节部分与图像频谱的高频分量相对应, 因此可采用高通滤波让高频分量通过, 使图像的边缘或线条等细节变得清楚, 实现图像锐化。考虑到实时性的要求, 本文将采用线性的FIR 滤波器来实现高通滤波3。如公式(2 。p i , j =p (i , j +(i , j 图2图像放大系统框图w (i , j p (i , j (2其中w (i , j 为高通滤波算子的系数, p (i ,j 为中心点像素值。在一个3×3的窗口中, 各像素点的系数如式(3 。w (i-1, j -1 w (i , j -1 w (i+1, j -1w

8、(i-1, j w (i , j w (i+1, j -1-1w (i-1, j + 1 w (i , j +1 w (i+1, j +1 -1-(3 =1/8-156-18-1本模块硬件实现QV GA 放大到V GA 需要用到4个RAM 。其中RAM1用于缓存Y 分量的一行数据, RAM2用于缓存UV 分量的行数据,RAM3用于对图像锐化时缓存两行Y 分量数据, 而RAM4用来实现FIFO 功能, 整合YUV 的数据使其有序输出, 控制输出数据的速率。输入图像经放大4倍后, 每一行的输入数据会得到两行新的数据, 并且每行也有数据扩展。211图像数据放大处理双线性插值放大数据处理结构如图3所示

9、, 其中y_buf1为输入图像数据一级缓冲,y_buf2为输入图像数据二级缓冲, y _out1为RAM1读出数据一级缓冲, r1_buf1为从RAM1读出数据二级缓冲。以图像两行数据的处理为例, 原图像前两行分量数据如表(1 所示, 由原始图像第一行的320个Y 数据插值可得到两行640的数据。当原始第一行数据到来时, 通过插值计算可得到放大后图像第一行数据, 同时把原图像第一行的数据依次送入RAM1。当输出数据第二行 此时RAM1中存储的是原图像第二行的数据。接着从RAM1中读出原图像第二行的数据, 根据权重q , 放大后图像第四行的数据将会只由读出的第二行数据计算得到。放大后图像第3行数

10、据计算过程为:放大后图像第3行数据是由原图像1,2行数据共同得到。如表1中, 原图像第2行的第一个点yin (2,1 =98, 通过与RAM1读出的前一行的第一个数据95计算, 可得到新图像第三行的前两图3插值计算示意图的同步信号到来时, 把RAM1的数据读出, 同时根据权重计算出放大后的第二行数据。这样, 当输入数据行计数结束时, 我们就得到了两行放大后的数据, 并且RAM1中存放了第一行输入数据。表1输入Y 分量数据11295982999939910049899个点:yout (3,1 =yout (3,2 =yin (2,1 30. 5+yin (1,1 30. 5=(95+98 /2=

11、96;原图像第2行的第2个点yin (2,2 =99, 与原图像前一个点水平取平均, 同时与RAM1读出的前一行的第1,2个数据95,99计算, 可得到新图像的第3,4个点:yout (3,3 =yin (2,1 30. 5+yin (1,1 30. 5+yin (1,2 35+yin (2,2 30. 5=(+ /499 /35+yin (1,2 30. 5(+y_out1 /2 =(99+99 /2=99318110319105320111首先将输y_buf1与RAM1中读出缓存的数据yout1进行计算, 然后把原图像第二行的输入点送入RAM1, 即每次先读出RAM1中存的上一行的点与当前

12、行进行计算, 同时在写信号有效时, 将当前输入行的数据写入RAM1中。这样在原图像第二行数据送入后, 我们将得到计算后放大图像第3行的数据,图4为插值计算的仿真波形,y_tmp 为放大后图像第3行的数据。通过比较可以看出仿真数据与实际计算数据一致。以上是Y 分量数据的运算过程,UV 分量也可以通过类似计算得到。这样经插值计算后就得到了YUV 各分量的数据。图4插值计算波形212锐化处理由于经过双线性插值后的图像出现边界模糊的问题, 而人眼对亮度即Y 分量是十分敏感的, 本文通过对亮度进行锐化处理来增强图像轮廓, 使图像边缘变得清晰。如图5所示, 放大处理后的Y 分量数据进入锐化模块后, 对其行

13、和列的数据各缓存两次, 可得到一个3×3的窗口, 通过这9个数据对中心像素点进行高通滤波处理, 还原高频信息, 最后可得到锐化后亮度数据4。经过锐化处理的Y 分量数据和放大后的UV 分量数据, 经过FIFO 的整合, 可最后得到57有序的YUV 图像数据 。利用本文优化算法所得到的图像。通过比较发现, 图(c 效果在清晰度上明显优于图(b 。说明本算法对图像效果有了较大的改善。4结论本文提出并实现了基于双线性插值的图像放大优化算法, 通过在原算法基础上加入锐化处理, 保留了图像高频信息, 改善了边缘模糊问题。双线性插值运算简单, 且本设计对图像信图5锐化处理结构图3实验结果分析图6是

14、一组图像效果图, 其中图(a 为原始图像, 图(b 、图(c 为图像4倍放大后截图, 图(b 为双线性插值算法所得到的图像, 图(c 为号采用流水线处理, 进一步提高了计算速度。同时通过比较效果图发现本文优化算法对放大图像质量有了较大的提高。因此, 改进的双线性插值放大算法在处理速度、硬件实现成本和图像质量等方面都有很大的优势 。图6放大图像效果比较参考文献:1王岳环, 彭晓. 基于FP GA 的数字图像实时放大设计J.计算机工程与应用,2005, (8 :1082110. 2Tohru Yamada and Rokuya Ishii. An algorithm tomagnify image

15、s J.Proceedings of The IEEE In 2ternational Conference on Industrial Technology , 1996:6742677.3K. Parulski and K. E. Spaulding , Color imageprocessing fordigital cameras , in Digital Color Ima 2ging Handbook , (eds. G. Sharma , CRC Press , Boca Raton , FL. , pp. 7282757, 2002.4Olukayode A. Ojo and

16、Tatiana G. " An algorithmfor integrated noise reduction and sharpness en 2hancement" J.IEEE Transactions on Consumer Electronics ,2000,46(3 :4762480.An Improved Algorithm and Its R ealizationof Image Magnif ication B ased on Bilinear InterpolationSHUA I Jin 2xiao , YAN Y ong 2hong , PEN G

17、Yan ,L UO Jiang 2ping(College of Physics and Microelectronic Science , Hunan University ,Changsha , Hunan 410082, China Abstract :A improved algorit hm based on bilinear interpolation for image magnification is proposed. The edge enhancement is added into t he new algorit hm. It restores t he high 2frquency content of t he edge which improves the problem of edge blur result from bilinear interpolation . There will be high processing speed , low hardware cos