利用神经元结构的数字系统在线进化技术

1、第33卷第5期 光电工程V ol.33, No.5 2006年5月 Opto-Electronic Engineering May, 2006文章编号:1003-501X(200605-0091-04利用神经元结构的数字系统在线进化技术王永明,王友仁,姚睿,张砦( 南京航空航天大学自动化学院,江苏南京 210016 摘要:现有基于逻辑门的底层硬件进化方法只能进化小规模数字电路,由此提出了一种硬件系统级在线进化方法。设计了一种适合系统进化的神经元结构,采用遗传算法(SGA来实现数字电路的在线进化设计。以图像处理算法为例,讨论分析了进化参数选取对进化结果的影响,验证了系统级进化方法的高进化成功率、

2、快速收敛性。实验结果表明,神经元结构的设计是正确的,所提出的系统级进化方法能用于大规模数字系统的在线进化。关键词:进化硬件;神经元结构;系统级进化;信息处理中图分类号:TP301.6 文献标识码:ATechnology of on-line system-level evolution of largescale digital circuits based on nerve cellWANG Yong-ming,WANG You-ren,YAO Rui,ZHANG Zhai( College of Automation Engineering, Nanjing University of A

3、eronautics and Astronautics,Nanjing 210016, China Abstract:Since the traditional hardware evolutionary methods based on logical gates were only valid to evolve simple digital circuits, a method of on-line system-level evolution was proposed. The nerve cell model suited to digital system evolution wa

4、s designed , and the Simple Genetic Algorithm(SGAwas used to realize on-line evolution of digital circuits. By example of the evolution for image processing algorithm, the influences of evolutionary algorithm parameters and template size to the evolution of image processing were analyzed. Experiment

5、al results demonstrate that the evolutionary method based on nerve cell has high evolutionary successful rate and fast convergent performance, and it can realize on-line evolution of large scale digital circuits.Key words:Evolvable hardware; Nerve cell model; System-level evolution; Information proc

6、essing引言早在1960年,计算机之父冯诺依曼便提出过研制“具有自修复和自复制能力的机器”的伟大设想。1992年,Hugo de Garis等将FPGA与进化算法相结合,从而产生了可进化硬件(Evolvable Hardware, EHW。目前,进化硬件已经成为学术前沿和研究热点。传统的硬件进化方法1-3都是基于最底层的逻辑门来进化,但这种底层门级进化方法一般只能进化小规模的数字电路,这就严重制约着进化硬件所能实现的功能及其工程应用的可能性。为了克服这种底层进化方法的缺点,进化硬件的系统级进化方法就成了目前的研究重点。本文提出了一种系统级进化方法,设计了用于大规模数字电路进化的神经元结构,

7、以图像边缘提取、图像滤波为例,收稿日期:2005-06-17;收到修改稿日期:2006-01-06基金项目:国家自然科学基金(60374008;南京航空航天大学科研创新基金(S0271-033光电工程 第33卷第5期92实现了数字系统的在线进化。1 硬件系统级进化原理 大部分进化硬件是由基本逻辑门(如“与”门和“或”门所构成,常见的硬件进化方法4-5是对进化硬件的最基本逻辑门执行进化操作的,我们把这种进化方法称之为最底层的门级进化方法。而系统级进化是高于门级的一种上层进化方法,它所执行的进化对象并不是基本逻辑门单元而是一种由基本单元(逻辑单元、函数单元所组成的一种子系统结构,以子系统为核心来进

8、化获得系统结构,这种高级进化过程就称之为上层系统级进化方法。系统级进化方法存在三种方式:1 变系统参数进化;2 变系统结构进化;3 系统参数和结构同时进化。本文主要采取了变系统参数在线进化方式(内部进化,其基本流程框图如图1所示。2 神经元结构的设计2.1 人工神经元模型简介人工神经元是对生物神经元的一种模拟和简化,它是神经网络的基本处理单元,是一个多输入、单输出的非线性元件,其输入、输出关系可描述为(,1i i n j i j ji i I f y x w I = (1式中 x j (j =1,2,n 是从其它神经元传来的输入信号;w ij 表示从神经元j 到神经元i 的连接权值;i为阈值;

9、f (称为激发函数或作用函数。 2.2 图像处理神经元结构的设计 根据传统的图像处理过程,首先设定卷积模板。模板大小可以预先确定,将模板中的参数与相应图像窗口中对应位置的灰度值相乘,然后求出积的累加和,最后将累加和跟阈值进行比较,确定图像窗口中间像素灰度值。通过观察和分析,传统图像处理过程与人工神经元模型有惊人的相似之处,因此参照人工神经元模型设计了用于进化图像处理的神经元结构。其结构模型如图2所示,其中神经元输入信号为图像窗口各像素灰度值P i (i=0,1,n ,模板参数W i (i=0,1,n 为连接权值,t 为阈值,F (·为激发函数。图像处理神经元为(,1i i n j i

10、 I F y t i P i W I = (2图像处理神经元结构模型各部分说明如下:1 该神经元的输入信号个数以及连接权值个数是由图像窗口和卷积模板大小决定。模板越大,其个数越多;2 在边缘提取时,图中t 对应二值化的阈值;3 激发函数的选取是由进化对象来决定,不同进化对象,其函数形式不同。本文主要以图像边缘提取和滤波进行了进化实验,它们所对应的函数为=other ,0,255(t I I F i i (3, =10(n i ii i W I I F (4图2 图像处理神经元结构模型 Fig.2 Nerve cell for image processing2006年5月 王永明 等:利用神经

11、元结构的数字系统在线进化技术933 基于神经元结构的系统级进化方法实现3.1 实验系统结构图简介基于神经元结构的数字系统在线进化的实验平台结构如图3所示。该实验系统采用了Celoxica 公司开发的RC1000pp 板卡作为进化电路的硬件平台。RC1000pp 板卡是基于PCI 总线的PC 机嵌入式板卡,它带有一个高密度的Xilinx 公司Virtex 系列FPGA 芯片,四个供数据处理操作用的2M 字节SRAM 存储器,并为两个与外界进行输入/输出的PMC 模块预留了地址。 3.2 基于图像处理神经元结构的进化方法本实验中采用了标准遗传算法(SGA作为硬件进化算法。硬件染色体为二进制编码方式

12、,对图像处理神经元结构的权值系数(即模板参数进行编码。这种二进制染色体的解码简单,只要将染色体中对应每个参数的位串依次转换成十进制数即可。为了评价染色体的适应性,本文是将每个个体处理结果与目标进行对比,通过适应度函数,计算出适应度,适应度最高的染色体作为最佳染色体。基于图像处理神经元结构在线进化实验是通过VC ,DK 软件、ISE 软件和RC1000板卡来实现。主要实现过程为:1 首先采用Handel_c 硬件描述语言编写图像处理神经元结构,经DK 软件编译成EDIF 网表,再通过ISE 软件进行布局布线生成可配置的位流文件;2 染色体解码后所对应的模板参数存放在图像数据文件末尾,每次解码后的

13、模板参数都是通过读文件的形式映射到图像处理神经元结构中对应的权值系数,从而实现了变结构参数进化的目的;3 图像数据的读取是通过VC 将数据文件中的图像数据存放在缓存器Buffer 内,然后通过PCI 总线传输到RC1000板卡里的SRAM 中,Handel_c 程序中数据的读取是从SRAM 中读的,其处理后的结果也是存放在SRAM 中相应单元,再通过PCI 总线传输到VC 中。因此VC 和FPGA 之间的数据交换是通过SRAM 和PCI 总线进行DMA 传输实现的。4 进化结果的保存是VC 程序完成的。处理结果存放在.dat 文件中。4 应用实例分析4.1 图像边缘检测的进化以图像处理中边缘提

14、取算法作为实例,通过改变神经元结构中权值系数(即模板参数来实现进化,分析进化图像处理操作的测试方法、适应度函数的构造、进化效果与系统级进化的可行性。1 进化目标:通过不断改变神经元结构中权值系数,实现图像边缘提取操作并寻求获得最佳的边缘提取效果(边缘真实清晰。2 测试方法:测试的输入图像为256×256像素的8位灰度级图像,其目标图像是与其对应的理想边缘提取图像,然后通过实际处理后的图像与理想图像进行比较来达到评估目的。3 个体适应函数构造:在进化图像处理中,适应度函数是反映实际处理的结果与理想的边缘提取目标图像的相似程度。若以d 表示实际图像与目标图像之间像素灰度值不同的像素个数,

15、则适应度为d f 1= (5 4.2 实验结果分析实验中,待处理的输入图像如图4所示,采用3×3卷积模板进行进化实验,模板参数变化范围为(-8,8,图3 实验系统结构Fig.3 Experiment system configuration光电工程 第33卷第5期94阈值为50,实验参数的设置如表1所示。在50次进化实验中共收敛48次,最优个体所在代数为160,适应度为1.265983e-004,染色体编码为算法参数对进化过程的影响如表2所示,其中收敛率指收敛次数与总进化次数的百分比。实验统计平均为50次,设置种群为50,终止代数为200。 由表2可知,交叉率取0.800,变异率取0

16、.007时,收敛率较好。若变异率和交叉率太小,则收敛速度慢。若终止代数设为1000代,收敛率有所提高;而选取的变异率和交叉率太大时,搜索过程近似为随机搜索,则收敛速度有时比较快,有时比较慢,但收敛率低。 4.4 模板大小对进化结果的影响在进行图像处理时,是将一定大小的卷积模板与对应大小的图像窗口进行卷积运算后,运用一定规则来修改图像窗口中间像素灰度值,然后不断移动图像窗口逐个处理,直到处理完整幅图像。由于每次修改的像素是图像窗口中间像素,因此在处理结束后,必然存在未被处理的像素,且都分布在图像边缘处。这种像素数量将会严重影响染色体适应度值大小和进化效果。未被处理的像素越多,进化的效果越差。对于

17、N ×N 大小的图像,采用n ×n 大小的模板进行进化实验,未被处理的像素数量(N p 为2p 1(1(2=n n N N (6因此,由于存在这种未被处理的像素,使得所求染色体适应度值不可能趋于无穷大,而存在一定上限,上限值大小是随着模板尺寸增大而减小。要消除这种影响所采取的措施:在适应度函数中,去掉未被处理的像素个数,适应度函数如式(7所示(1p N d f = (7结束语本文所设计的用于进化图像处理的神经元结构是合理的,所提出的数字系统在线进化方法是可行的,且具有速度快、效率高等优点。硬件系统级进化方法不仅可实现图像边缘提取和图像滤波的进化,还可以实现更大规模电路和复杂

18、算法的进化,从而克服了底层门级进化方法只适用于进化基本门级或寄存器级小规模电路的瓶颈。进一步将探索更灵活、功能更强的变系统结构进化、变参数与变结构混合进化的系统进化方法。 (下转第121页表1 进化参数设计Table 1 Design of evolutionary parametersParameter Value Chromosome length 36 Generations evolved 400 Crossover rate 0.85 Mutation rate 0.01表2 算法参数对进化结果的影响Table 2 Influence of algorithm parameters

19、on evolutionary results Crossover rate Mutation rate Convergence rate Best fitness0.800 0.007 96% 1.265983e-0040.950 0.010 72% 8.217602e-005图5 最佳个体的模板Fig.5 Template of best individual 图Fig.7 Change of fitness about typical individual图6 进化结果图Fig.6 Result image图4 原始图像 Fig.4 Initial image2006年5月楼文高等:建立

20、CRT色度变换的神经网络模型 121样本实时监控训练过程,避免了“过训练”现象。对于本例研究的343个训练样本,采用3-10-10-3网络结构,216个检验样本的平均转换色差接近0.6个CIELUV色差单位(文献5为1.53个,属于小色差范围,因而可以满足绝大多数实际应用要求。分别只有3%和7%的样本的色差超过2个单位和1.5个单位。因此,无论是色差均值,还是出现较大误差的概率来看,本文的结果均明显好于文献5的结果。过分增加隐层数或隐层上的节点数,虽然能明显减小训练样本的误差,但并不一定能减小非训练样本的误差,而且训练时易出现“过训练”现象,导致模型泛化能力变差。参考文献:1 David L.

21、 POST,Christopher S. CALHOUN. An evaluation of methods for producing desired colors on CRTJ. ColorResearch and Application,1989,14(4:172-185.2 Shoji TOMINAGA. Color control using neural network s and its applicationJ. SPIE,1996,2658:253-260.3 Shoji TOMINAGA. Color Notation Conversion by Neural Netwo

22、rksJ. Color Research and Application,1993,18(4:253-259.4 CHANG P R,TAI C C,YEH B F. Model reference color reproduction for video systemJ. SPIE,1994,2170:182-190.5 廖宁放. 基于神经网络的CRT色度变换方法D. 北京: 北京理工大学,1999.LIAO Ning-fang. CRT Conversion Method Based on Neural NetworksD. Beijing: Beijing University of S

23、cience and Technology,1999.6 魏海坤,宋文忠,徐嗣鑫. 基于结构分解的神经网络设计方法J. 自动化学报,2001,27(2:276-279.WEI Hai-kun,SONG Wen-zhong,XU Si-xin. Algorithm for Neural Networks Design based on Structure DecompositionJ.ACTA Automatica Sinica,2001,27(2:276-279.7 阎平凡,张长水. 人工神经网络与模拟进化计算M. 北京:清华大学出版社,2000.YAN Ping-fan,ZHANG Chan

24、g-shui. Artificial Neural Networks and Simulated Evolution CalculationM. Beijing: Tsinghua University Press,2000.8 张青贵. 人工神经网络导论M. 北京:中国水利水电出版社,2004.ZHANG Qing-gui. Introduction to Artificial Neural NetworksM. Beijing:China Waterpower Press,2004.9 STATSOFT.STATISTICA Neural NetworksZ. Tulsa:Statsoft

25、,Inc,1999. JJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJ (上接第94页参考文献:1 赵曙光,杨万海. 基于函数级FPGA原型的硬件内部进化J. 计算机学报,2002,25(6:666-669.ZHAO Shu-guang,YANG Wan-hai. Intrinsic Hardware Evolution Based on a Prototype of Function Level FPGAJ. Chinese Journal of Computers,2002,25(6:666-669.2 HOLLINGWORTH G,TYRRELL A,SMITH S. Sim