[硕士论文精品]经网络图像压缩算法的fpga实现技术研究

论文题目神经网络图像压缩算法的FPGA实现技术研究专业信号与信息处理硕士生杨隽签名盔毽指导教师张敏瑞签名丞童堕I摘要神经网络图像压缩是图像压缩和神经网络领域的主要研究方向之一，基于多层前馈神经网络的压缩算法在神经网络压缩算法中最有代表性。本文结合国家某科研项目对该类算法的硬件实现进行研究，具有重要的理论和实用价值。本文重点研究用FPGA现场可编程门阵列实现神经网络图像压缩的技术问题，论文提出了一种用FPGA实现图像压缩算法的技术方案，并提出该方案中重要模块的设计方案，详细给出了设计思路、模块结构及硬件时序仿真结果。本文首先介绍了神经网络图像压缩的现状，研究了三层前馈神经网络理论以及BP算法。给出了基于三层前馈式BP网络的图像压缩及解压缩算法，选择合适的传输函数，使用一些图像对神经网络进行了训练，得出网络的重要参数，完成了针对图像压缩的BP网络设计。其次，本文针对给出的基于三层前馈式BP神经网络的图像压缩及解压缩算法，对主要的硬件实现方案进行了对比，论证了使用FPGA实现的优点，提出了一种用FPGA实现图像压缩算法的技术方案。然后，对FPGA实现方案中的主要模块的电路设计思路和设计结构进行了研究，提出了针对通用设计方法的相应改进，给出了时序仿真波形图及图像压缩算法的FPGA电路原理图。最后，分析和硬件仿真结果表明，本文所提出的基于FPGA的神经网络压缩方案合理可行，具有一定先进性和实用性，对相关研究工作具有重要参考价值。关键词神经网络；图像压缩；BP算法；FPGA研究类型应用研究SUBJECTRESEARCHONTECHNIQUEFORIMPLEMENTINGANEURALNETWORKIMAGECOMPRESSIONALGORITHMWITHFPGASPECIALTYSIGNALANDINFORMATIONPROCESSINGNAMEYANGJUNINSTRUCTORZHANGMINRUIABSTRACTSIGNATURESIGNATURENEURALNETWORKIMAGECOMPRESSIONISONEOFTHEMAJORRESEARCHDIRECTIONSINTHEFIELDSOFIMAGECOMPRESSIONANDNEURALNETWORKTHECOMPRESSIONALGORITHMBASEDONMULTILAYERFEEDFORWARDNEURALNETWORKISTHEMOSTREPRESENTATIVEONEINTHENEURALNETWORKCOMPRESSIONALGORITHMSSUPPORTEDBYANATIONALSCIENTIFICPROJECT，THISTHESISRESEARCHESONAHARDWAREIMPLEMENTATIONOFSUCHALGORITHMS，ITHASAGREATTHEORETICALANDPRACTICALVALUETHISTHESISMAINLYINVESTIGATESTHETECHNICALQUESTIONSINIMPLEMENTINGTHISNEURALNETWORKIMAGECOMPRESSIONWITHFPGAFIELDPROGRAMMABLEGATEARRAY，PROPOSESATECHNOLOGYSOLUTIONOFIMPLEMENTINGANEURALNETWORKIMAGECOMPRESSIONWITHFPGA，ANDDESIGNSTHEKEYMODULESINTHESOLUTIONITALSOGIVESTHEDETAILSOFTHEDESIGNIDEA,THEMODULESTRUCTUREANDTHEHARDWARETIMINGSIMULATIONRESULTSFIRSTLY,THISTHESISINTRODUCESPRESENTSTATUSOFNEURALNETWORKIMAGECOMPRESSION，STUDIESTHETHEORIESOFTHREELAYERFEEDFORWARDANDBPALGORITHMITGIVESTHEIMAGECOMPRESSIONANDDECOMPRESSIONALGORITHMBASEDONTHREELAYERFEEDFORWARDBPNETWORK，CHOOSESPROPERTRANSMISSIONFUNCTIONANDTRAINSTHENEURALNETWORK、析THSOMEIMAGESATLAST，THEARTICLEGETSTHEKEYPARAMETERSOFTHENETWORKTOFINISHTHEBPNETWORKDESIGNFORIMAGECOMPRESSIONSECONDLY,THISARTICLECOMPARESTHEMAJORHARDWARESOLUTIONACCORDINGTOTHEIMAGECOMPRESSIONANDDECOMPRESSIONALGORITHMBASEDONTHREELAYERFEEDFORWARDBPNETWORKITDEMONSTRATESTHEADVANTAGESOFIMPLEMENTING、析THFPGAANDPRESENTSATECHNICALSOLUTIONOFIMPLEMENTINGIMAGECOMPRESSIONALGORITHMWITHFPGATHEN，THETHESISSTUDIESTHECIRCUITDESIGNIDEASANDDESIGNSTRUCTUREOFTHEKEYMODULESINTHESOLUTIONWITLLFPGA，ITPUTSFORWARDTHECORRESPONDINGIMPROVEMENTSACCORDINGTOUNIVERSALDESIGNMETHOD，GIVESTHETIMINGSIMULATIONWAVEFORMSANDTHEFPGASCHEMATICDIAGRAMOFIMAGECOMPRESSIONALGORITHMFINALLY，THEANALYSISANDHARDWARESIMULATIONRESULTSSHOWTHATTHENEURALNETWORKCOMPRESSIONSOLUTIONWIMFPGAINTHISTHESISISREALIZABLEPRACTICALANDADVANCEDITHASANIMPORTANTREFERENCEVALUETORELEVANTSTUDYWORKSKYEWORDSNEURALNETWORKIMAGECOMPRESSIONBPALGORITHMFPGATHESISAPPLICATIONRESEARCH妻料技大学学位论文独创性说明本人郑重声明所呈交的学位论文是我个人在导师指导下进行的研究T作及其取得研究成果。尽我所知，除了文中加以标注和致谢的地方外，论文中不包含其他人或集体已经公开发表或撰写过的研究成果，也不包含为获得西安科技大学或其他教育机构的学位或证书所使用过的材料。与我一同T作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。学位论文作者签名枷隽日期加了每占通C国学位论文知识产权声明书本人完全了解学校有关保护知识产权的规定，即研究生在校攻读学位期间论文工作的知识产权单位属于西安科技大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西安科技大学。保密论文待解密后适用本声明。学位论文作者签名弃匆隽指导教师签名零歌蹄Z护年6只F15日1绪论11研究背景和意义1绪论111研究背景当今社会已步入信息化时代，每天都有大量的信息用数字进行存储、处理和传送。其中最常见、最重要的信息之一就是数字图像。诸如可视电话、新闻图片传输、综合业务服务数字网、卫星遥感、图像传送、图片检索、军事卫星侦察、公安检查系统、民用电视、电化教学等数字图像信息在社会生活和国民经济的各个领域起着重要作用。与此同时，企业和个人对图像信息的存储、传输和交换提出了越来越高的要求。特别是在卫星通信领域里，随着卫星遥感图像分辨率的提高，其数据量急剧增长，这就为其存储和传输带来了非常大的困难。如果不对这些图像信息做适当的处理，要及时的传送它们，需要的带宽和时间都是无法想象的。基于以上的原因，信息压缩，尤其是数字图像的压缩技术已经成为了信息时代的基本技术之一，并扮演着重要角色。现今，数字图像压缩技术正处在不断研究发展和完善的过程中，要实现图像在信道上的有效传输，特别是在卫星通信这个特殊的传输信道，要使数字图像的压缩效果和压缩效率达到十分满意的程度，仍有很多问题需要解决。所以，研究新的更高效的图像压缩理论和方法有着重大的实际应用价值，而基于神经网络的压缩方法在这方面是可以有所作为的。神经网络NEURALNETWORKS是人工神经网络ARTIFICIALNEURALNETWORKS的简称，神经网络的研究与应用也是当前的研究热点之一。目前，已经有多个神经网络模型的理论基础、工作原理达到了比较成熟的水平，使得更进一步研究它们在其他领域的应用成为了可能，这其中就包括在图像压缩方面的应用。人脑在接受视觉感官传来的大量图像信息后，能迅速做出反应，并能在脑海中重现这些图像信息，这不仅与人脑的海量信息存储能力有关，还说明人脑具有较强的特征提取能力，也就是数据压缩能力。神经网络虽然只是人脑的简单模拟与抽象，但具有许多与人脑相似的信息处理能力，自然也具有很强的数据压缩能力，一些神经网络模型所提供的直接数据压缩能力就是一个很好的例证。在人的视觉系统中，视觉信息是以大量并行的内部相关网络来处理的，所以神经网络特别适合于并行处理。在图像压缩中，神经网络的大规模并行处理能力，为神经网络图像编码的实时实现创造了条件。神经网络的处理优势在于1巨量并行性；西安科技大学硕士学位论文2信息处理和存储单元结合在一起；3自组织自学习功能。神经网络还有较强的容错性和联想记忆功能，任何局部的损坏都不会影响整体效果，这一特性也有利于有噪图像的压缩及对压缩后信息不全图像的恢复【L捌。另外，随着采用门阵列和标准单元设计的各种专用集成电路ASICAPPLICATIONSPECIFICINTEGRATEDCIRCUIT的快速发展，为基于神经网络的图像压缩算法的硬件实现提供了可能，为其实际应用创造了条件。112研究意义研究基于BP神经网络的图像压缩算法及其实现，不仅有着重要的理论意义及应用前景，对课题组乃至本人也有着一定的实际意义。课题的理论意义在于图像压缩技术涉及数学、信息论、信号处理、计算机与通信、模式识别、人工智能等多个学科领域，其中在卫星通信领域的意义尤为突出，由于遥感图像本身的数据量很大，而随着其分辨率的不断提高，要想实时传输并处理它们，就迫切地需要好的压缩技术来完成【3。5】。基于神经网络的图像压缩算法与其他算法相比有着诸多优势，尤其是在航空航天领域里卫星遥感图像的传输，针对其它的压缩算法在保证压缩质量的前提下无法达到较高的压缩比，基于神经网络的压缩算法一般可以在保证视觉效果的前提下对遥感图像的压缩比达到81到161。由于基于神经网络图像压缩算法的以上优点，对该算法硬件实现研究的需求日益迫切，尤其在本题组对遥感图像处理压缩的项目中这一点体现的更加明显。本课题的实际意义学习并体验交叉学科的优势，为以后的学习、工作打下良好的基础。与实际的硬件实现研究相结合，在算法选择阶段在需要时会进行适当修改就应时刻考虑硬件的实现环境，做到不纸上谈兵，最终了解并熟悉一个项目从需求分析，到调研，到提出算法，并最终硬件实现研究的全过程。论文结合504所某国家重点实验室基金项目开展研究，具有重要的实际意义。12神经网络121神经网络简介神经网络NEURALNETWORK，简称NN是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的网络，是由大量简单的处理单元广泛地互相连接而成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的信息处理问题。神经网络的发展与神经科21绪论学、数理科学、认知科学、计算机科学、人工智能、信息科学、微电子学等有关，是一门新兴的边缘交叉学科169。神经网络吸取了生物神经网络的许多优点，其主要特点有1可以充分逼近任意复杂的非线性关系；2所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；3采用并行分布处理方法，使得快速进行大量运算成为可能；4可学习和自适应不知道或不确定的系统；5能够同时处理定量、定性知识。神经网络研究工作始于19世纪末20世纪初，是源于对物理学、心理学和神经生理学的研究，从20世纪40年代开始，研究人员开始用数学模型来描述神经网络。神经网络的应用始于50年代后期，在60年代，由于缺乏新思想和用于实验的高性能计算机，研究兴趣发生过动摇；80年代以来，随着高性能计算机的发展以及新概念的不断引入，推出了多种重要的模型和算法。近年来，逐渐形成了模糊神经网络、小波神经网络、遗传算法优化的神经网络等。经过多年的发展，神经网络主要分为1供11】1感知器神经网络感知器神经网络PERCEPTRON是最早提出的一种神经网络模型，是一个具有单层神经网络元的网络。网络的激活函数是线性阈值单元，其目的是为了模拟人类大脑的感知和学习能力。它具有很大的局限性，如只能对现行可分的输入向量进行分类等。2线性神经网络线性神经网络是最简单的一种神经网络，可以由一个或者多个线性神经元组成，其传递函数是线性函数，因此线性神经网络的输出值可以取任何值。同感知器神经网络，线性神经网络只能解决线性分离的问题。3BP网络BPBACKPROPAGATION网络是一种多层前馈型神经网络，其神经元的传递函数是S型函数，输出向量为0到L之间的连续量，它可以实现从输入到输出的任意非线性映射。目前，在神经网络的实际应用中，绝大部分的神经网络模型都采用BP网络及其变化形式。其主要应用领域为函数逼近、模式识别、分类、数据压缩。122神经网络的应用进入新世纪后，神经网络理论的应用取得了令人瞩目的进展，特别是在人工智能、自动控制、计算机科学、图像处理、机器人、模式识别等各方面都有重大的应用实例。其主要的应用领域包括3西安科技大学硕士学位论文1自动控制领域系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。2处理组合优化问题成功解决了旅行商问题，另外还有最大匹配问题，装箱问题和作业调度问题。3模式识别手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。4图像处理对图像进行边缘监测，图像分割，图像压缩和图像恢复。5机器人控制对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。13图像压缩算法131非神经网络算法简介图像压缩，指的是在满足一定条件的保真情况下，压缩原始图像的数据，以便于存储和传输。相对应的图像复原，就是对压缩的图像数据进行解压缩，重现原始图像数据，以备计算机进行其他处理。图像数据压缩技术总的来说就是利用图像数据固有的冗余性和相干性，将一个大的数据文件转换成较小的同性质的文件。目前，非神经网络图像压缩算法主要分为无损压缩和有损压缩。哈夫曼编码等算法属于无损压缩；DCT、小波变换及基于神经网络的图像压缩算法属于有损压缩。1哈夫曼HUFFMAN编码哈夫曼压缩编码属于无损压缩算法。HUFFMAN于1952年提出了这种编码方法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码，一般就称作HUFFMAN编码。在计算机信息处理中，“哈夫曼编码”是一种一致性编码法又称“熵编码法”，用于数据的无损耗压缩。它使用一张特殊的编码表将源字符例如某图像数据中的一个像素值进行编码。这张编码表的特殊之处在于，它是根据每一个源字符出现的估算概率而建立起来的出现概率高的字符使用较短的编码，反之出现概率低的则使用较长的编码，这便使编码之后的字符串的平均期望长度降低，从而达到无损压缩数据的目的。2离散余弦变换DISCRETECOSINETRANSFORMDCT压缩法将预先已分成小块的原始图像进行DCT变换后，高频部分包含了锐利的边缘信息，41绪论而低频部分包含了图像的主要信息，因此低频比高频更重要，可以通过量化步骤有选择性地消除或较粗糙地量化高频部分。需要说明的是，压缩不是在变换步骤取得的，而是在量化时取得的，所以离散余弦变换压缩法是有损压缩，不可恢复。典型的DCT变换步骤如图11所示纠图像分块卜一DCT卜一量化卜一熵编码黔1J【一I。一I，J图11基于DCT的图像压缩算3小波变换压缩法小波变换在时域和频域都具有良好的局部化特性，它能将图像分解成交织在一起的多种尺度成分，并对不同的尺度成分采用对应粗细的时域或空域取样步长，对高频信号采用细处理，对低频信号采用粗处理，因此可以不断聚焦到对象的任意微小细节，这使得小波变换优于傅里叶变换。利用小波变换进行图像压缩需要经过以下步骤寻找具有紧支集的正交小波及其对应的小波滤波器；输入原始图像点值序列；解出分解层数和图像数据向量长度；对原始图像运用二维MALLAT分解算法进行小波变换，得到不同层次、不同图号的子图；根据不同层次、不同子图的特点，对相应小波系数的各个部分进行数据向量的量化编码，对最高层子图需要进行无失真压缩编码FL到。132基于神经网络的图像压缩算法简介近年来，随着神经网络理论和技术的发展，其在图像压缩中的应用逐渐引起了人们的注意，和一些传统的压缩方法相比，神经网络技术具有良好的容错性，自组织性及自适应性，因此在图像压缩过程中可以不必借助于某种预先确定的数据编码算法，而是完全根据图像本身的信息特点，自主地完成图像编码和压缩【1391。目前，在基于神经网路的图像压缩算法中，使用较多的是三层BPBACKPROPAGATION网络，它可以提供直接的数据压缩运算，一直是图像压缩技术研究的热点之一。14基于神经网络图像压缩的研究现状141基于神经网络的图像压缩算法研究现状概述神经网络是人们在模仿人脑在处理问题的过程中发展起来的一种新型智能的信息处理系统，它通过大量的称为神经元的简单处理单元构成非线性系统，实现与人脑相似的识别、学习和记忆功能。基于神经网络的图像压缩技术，正是利用了神经网络的并行结构、并行处理；分布系统及容错性；自组织、自学习的自适应能力非线性逼近等优5西安科技大学硕士学位论文点应用于数字图像压缩领域，它也是近两年图像压缩的热点方向之一，并取得了一定的理论成果。目前现有的比较成熟的基于神经网络的图像压缩算法2023】主要分为以下两类使用具有数据压缩特性的神经网络直接实现图像压缩，如用SOFM神经网络作为矢量量化器直接进行矢量量化图像压缩24251；直接用BP神经网络模型对图像进行压缩等12629；神经网络间接应用于压缩，即将神经网络与已有算法相结合，用在己有算法的某个局部阶段，用来实现其中的某些步骤，如用神经网络来实现正交变换编码中的正交变换操作【30。41，基于小波变换的神经网络【35。38】等。比较成熟的主要有1基于BP神经网络的图像压缩算法，1986年DERUMELHART，GEHINTON和RJWILLIAMS提出误差逆传播算法之后，误差逆向传播神经网络BP网络就成了目前应用最为广泛的神经网络，它理论依据坚实、推导过程严谨、通用性强，并具有信息的分布存储、并行处理以及自学习能力等优点，这些优点使它在图像压缩方面具有独特的优势。该算法的主要思想为把一组输入模式通过少量的隐节点映射到一组输出模式，并使输出模式尽可能的等同于输入模式。当中间的隐含层节点数小于输入层节点数时，就意味着中间隐含层能更有效地表现输入模式，并把这种表现传送到输出层。在这个过程中，输入层和中间层的变换可以看成是压缩编码的过程；而中间层和输出层的变换可以看成是解码的过程。该算法的特点可以直接用来进行数据压缩，实现起来比较简单；但存在收敛速度慢；学习率的选择缺乏有效方法；训练过程可能陷入局部最小等缺点。2基于KOHONEN的自组织神经网络算法，矢量量化算法作为一种数据的压缩技术，已经广泛应用于语音及图像的数据压缩编码中，该算法的核心问题为码书的设计，原有的码书设计算法缺乏一定的灵活性和自适应性，且学习的周期较长，而将自组织特征映射网络应用于矢量量化算法而得到的基于KOHONEN的自组织神经网络算法，便可以有效的克服以上缺点。该算法的主要思想为一种具有侧向联想能力的两层结构网络，它采用自组织特征映射SOFM算法，其输出节点呈二维阵列分布，每个输入节点与输出节点之间由可变权值相连，且每个输出节点都有拓邻域，邻域的大小随时间改变。设计码书时相当于聚类分析，可以由神经网络的无监督学习算法实现。利用KOHONEN的自组织特征映射的自组织聚类功能，将自组织特征映射SOFM算法应用于码书设计中，并最终得到相应的码书。该算法的特点克服了原有的矢量量化图像压缩算法缺乏灵活性和自适应性等不足，但实际应用时比较复杂。61绪论3基于小波的神经网络图像压缩算法，小波变换在时域和频域都具有良好的局部化特性，它能将图像分解成交织在一起的多种尺度成分，并对不同的尺度成分采用对应粗细的时域或空域取样步长，对高频信号采用细处理，对低频信号采用粗处理，因此可以不断聚焦到对象的任意微小细节，这使得小波变换优于傅里叶变换，目前在图像压缩领域已得到广泛的应用。而对小波变换后的子图像数据进行矢量量化是图像压缩编码的关键，该算法就将神经网络应用于矢量量化编码器的设计，已达到较好的压缩效果。该算法的主要思想根据神经网络的特性，提出了一种基于小波变换的矢量量化图像数据压缩方法。基本思路是利用小波变换实现图像的多分辨率分解，用矢量量化对分解后的图像进行编码，利用神经网络做矢量量化编码器，从而实现通过神经网络的鲁棒性来加强对某些非典型矢量的容错能力。该算法的特点利用神经网络的鲁棒性容错性来解决当矢量量化中遇到非典型矢量时取最佳匹配矢量时的不准确问题，从而可提高整个系统的质量。缺点是，小波变换用FPGA实现起来比较困难。综上所述，神经网络用于图像压缩的算法虽然很多，但其研究过程当中所用的图像主要针对的是一般图像如人物、景物等，而对遥感图像大压缩比的研究相对较少。目前随着遥感图像在国民经济生活中的日益重要性，国内外对遥感图像大压缩比的研究也随之增多。以上基于神经网络的图像压缩算法各有特点，各有自己的研究领域。对于遥感图像来说，以上压缩技术尚有不足之处。到目前为止，对于遥感图像来说，用小波变换等方法压缩8倍及8倍以下的效果较好，而8倍以上尤其是16倍时的压缩效果却不能令人满意。由于基于BP神经网络模型的多层前馈神经网络具有大规模并行处理、非线性处理、自适应学习能力以及可以提供直接的数据压缩，比较容易实现等诸多优势，它可以为遥感图像压缩8倍以上尤其是16倍的压缩提供较好的压缩效果3940L。本课题在算法选择阶段的研究重点集中在基于BP算法的多层前馈神经网络的图像压缩算法。142基于神经网络图像压缩算法的FPGA实现目前，在图像压缩领域的硬件实现方案主要有DSPDIGITALSIGNALPROCESSOR和FPGAFIELDPROGRAMMABLEGATEARRAY两大类方法。二者各有其特点，都已经得到了业界的广泛应用，但将FPGA用于基于神经网络的图像压缩领域，业界目前也仍处于摸索阶段。与传统的数字信号处理器DSPDIGITALSIGNALPROCESSOR相比，现场可编程门电路FPGAFIELDPROGRAMMABLEGATEARRAY在神经网络的实现上更具优势。DSP处理器在处理时采用指令顺序执行的方式，即一个时钟周期只能完成一次运算，而且其数据位宽是固定的，因而资源的利用率不高，限制了处理器的数据吞吐量，还需要较大的存储空7西安科技大学硕士学位论文间。而随着集成半导体业的飞速发展，FPGA芯片的处理能力得到了极大的提升，已经完全可以承担神经网络的运算量和数据吞吐量。FPGA处理数据的方式是基于硬件的并行处理方式，即一个时钟周期内可并行完成多次运算，特别适合与神经网络的并行特点，而且它还可以根据设计要求配置硬件结构，例如根据实际需要，可灵活设计数据的位宽熊【19】寸。基于以上原因，选择FPGA作为三层BP神经网络图像压缩算法的实现方式，并提出了具体的种实现方案。15图像压缩算法的性能评价衡量重建图像的质量最常见的客观标准是重建图像的峰值信噪比PSNR和信噪比SNR。对于M像素像素的图像，它们的定义如式11，12P2PSNRDB101911SNRAB10LG妥12式中，D2丽R刍TQ刍JVI一XM一2仃22丽了W刍LI去TVI一X2X2丽LR刍CLI刍JVI其中，P表示信号的峰值，D表示均方误差；，丸。分别表示图像第M，胛个像素的灰度值和压缩解压后的灰度值。此外，主观标准也是衡量重建图像质量的重要标准之一，它主要是要求对压缩后的图像要在视觉效果上与原图像差异不大，不会丢失所需要图像的视觉信息。16本论文的主要内容本论文研究的内容主要包括以下几个方面1介绍了论文主要的研究背景和意义，分析了神经网络应用在卫星遥感图像压缩领域的优势，及其有利于使用FPGA进行实现的原因。2研究了神经网络的经典BP算法，和基于BP神经网络的图像压缩算法、方案及流程，并进行了相应的改进，同时给出了仿真结果。3研究了用于图像压缩领域的硬件实现方案，提出了一种基于三层前馈式BP81绪论神经网络图像压缩的FPGA实现方案及主要细节。4针对本文提出的BP网络压缩算法的实现方案，详细对构成神经网络的重要模块随机存储器RAM、先入先出寄存器FIFO和乘累加器MAC单元进行了设计、仿真及不同设计方法的资源占用情况，并给出了图像压缩算法的FPGA电路原理图。5对本课题的研究工作进行了总结和展望。9西安科技大学硕士学位论文2三层前馈式BP神经网络算法21BP算法的基本思想及神经元模型211BP算法的基本思想BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。1工作信号正向传播输入信号从输入层经隐层传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。2误差信号反向传播网络的实际输出与期望输出之间的差值即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修J下使网络的实际输出更接近期望输出。如图21所示工作信号一卜误差信号图21工作信号正向传播，误差信号反向传播这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。212BP算法神经元模型神经元是BP神经网络的基本处理单元，它一般是一个多输入单输出的非线性元件。神经元输出除受输入信号的影响外，同时也受到神经元内部其他因素的影响，所以在神经元的建模中，常常还加有一个额外输入信号，称为偏差BIAS，有时也成为阈值或门102三层前馈式BP神经网络算法限值。一个具有N个输入分量的神经元如图22所示。其中，输入分量一L，2，3，刀通过与它相乘的权值分量M歹1，2，3，刀相连，以T的形式求和后，形成激活函数，L厂的输入。激活函数的另一个输入是神经元的阈值B。图22单个人工神经兀模型神经元的输出可以表示为，月、OJFI叶O6L21JL式中OJ为该神经元的输出，WJ为第J个输入X，对应的权值，B为该神经元的阈值。可以看出阈值被简单的加在WJXJ上作为激活函数的另一个输入分量，实际上阈值也JL是一个权值，只是它具有固定常数为1的输入。在网络的设计中，阈值起着重要的作用，它使得激活函数的图形可以左右移动而增加了解决问题的可能性。22基于BP网络的神经网络模型221三层BP神经网络模型图采用BP算法的多层前馈网络是至今为止应用最为广泛的神经网络，在多层前馈网的应用中，以图23所示的单隐层网络的应用最为普遍。一般习惯将单隐层前馈网称为三层前馈网，它包括输入层、隐层和输出层，其网络模型图如图23所示西安科技大学硕士学位论文XLX2XN图23三层BP网络模型222三层BP神经网络模型说明反以DT三层BP前馈网络中输入向量XXXL，X，X一，X。R，隐层输出向量YYCYL，Y2，Y，一，Y。R，输出层输出NOOOL，02，D，0，7，期望输出向量DDDL，D2，4R，输入层到隐层的权值向量矿1，啊，1，2，V，一，V珊R，其中V，为隐层第J个神经元对应的权值向量；隐层到输出层的权值向量形W嵋，W2，WK，7，其中心为输出层第K个神经元对应的权值向量。隐层的阈值向量0CO,，02，口，一，OMR，输出层的阈值向量PCO,，岛，OK，岛R。下面分析各层信号之间的数学关系。隐层节点的输出YFNETJ22VOX,P，歹1，2，2NETJVOX,M3艺嘭歹1，2，3输出层节点的输出QFNET女NETKWJYJ皖KL，2，JL其中，厂为BP网络中各层的传输函数。23网络误差与权值及阈值的调整231网络误差的定义及计算当网络输出与期望输出不等时，存在输出误差E，定义如下1224252三层前馈式BP神经网络算法E圭P刊2三喜吨226将以上误差定义式展开至隐层，有E三喜K一厂OE】2圭喜D。一厂喜，弘Y，矾2。27，进一步展开至输入层，有由上式可以看出，网络输入误差是各层权值，和闽值嘭，幺的函数，因此调整权值和阈值可改变误差E。232权值及阈值的调整显然，调整权值和阈值的原则是使误差不断的减小，因此应使权值的调整量与误差的负梯度成正比，即吨叫嚣妒一刁薏蛉一嗜够叫虿AEJ1，2，3，珑；K1，2，3，；L，2，3，肌；K1，2，3，；L，2，3，所；K1，2，3，；29210211J1，2，3，册；K1，2，3，；212式中负号表示梯度下降，常数刁0，1表示比例系数，在训练中反映了学习速率。可以看出，BP算法属于万学习规则，这类算法常被称为误差的梯度下降GRADIENTDESCENT算法。13OOZ、RJ1J幺N，一、_M够纹而、F、甜，一爿删。闽，I。R、，。_，脚州。州，一一畋噍，心，科一2一2IE西安科技大学硕士学位论文ILL24BP算法的推导过程及描述241BP算法的推导过程式29，210只是对权值调整思路的数学表达，而不是具体的权值调整计算式。下面推导三层BP算法权值调整的计算式。事先约定，在全部推导过程中，对输出层均有JL，2，M；后L，2，Z；对隐层均有江1，2，刀；J1，2，M。1对于权值的调整，如下对于输出层，可将29式改写为叫瓦AE叫盖筹对于隐层，可将210式改写为妒一喏叫盖等对输出层和隐层各定义一个误差信号，令群一面OE万罗一旦ANET，又因刀,_CONETK少，_ANETJ五，所以式211，212可改写为洲K矾AWIKN6YIAVQQ6XI213214215216217218可以看出，只要计算出式214中的误差信号筇和彤，权值调整量的计算推导即可完成。下面继续推导如何求群和彰。由式26得，_AE一瓴一OI。I一一ID。一，I、，踟142192三层前馈式BP神经网络算法对于输出层，群可展开为群一旦一罢盟瓴飞沙GPF。ONETK舰INETK川川220对于隐层，彤可展开为彰2一盖2一万AE盟一瓦AEA,E0厂K22。J8NETJ匆J劫J、2M、8EAYJ所以，彤最终改写为即，对权值的调整为钆G1G血1，N1V，GV矿222223224225其中，和峨表示如下RY懿RY瓴一沙以226AYE班，喜群2272对于阈值的调整对于输出层，可将式211改写为缈郴署叫嚣署晓2815、L，七甜0矿吼一以J，埘一筇，心一鼍W嚣座心甜L岬，彤西安科技大学硕士学位论文对于隐层，可将式212改写为G叫考叫盖等又因为署1百ANETJ1，且又由式22。，221和式223得吼刁群刁G屯一OKXLGP吒所以，将式230和式231代入下式得对阈值的调整公式GO1巴G嘭吼Q10K“A0K242BP算法常用的传输函数及其导函数1单极性SIGRNOID函数表达式为其曲线图如下图所示几专其导函数表达式为图22单极性S型函数FGG砸一G】16229230231232233234235群，M、LL，甜L甲，玎Y，万玎巴2三层前馈式BP神经网络算法2双极性SIGMOID函数表达式为其曲线图如下图所示厂G等JLFXL。O厂乡X1O其导函数表达式为3线性函数表达式为其导函数表达式为25本章小结图23双极性S型函数236G三【1GIL一厂洲237厂XXFG12382391当输入层到隐层，隐层到输出层的传输函数都使用单极性S型函数时，对权值和阈值的调整如下AWJKRYP。一吼H0一吼AV扩RX，圭A；WJ,YJKL1一少，扩，II1一少，吼玎G以一OKD。00簧种梗大罕坝士罕位论又嘭玎F圭0肚11YJ2438；WYJY43嘭玎L肚L12注群一芸刍P。一。沙OP，。P。一。OK0OK2当输入层到隐层，隐层到输出层的传输函数都使用双极性极性S型函数时，对权值和阈值的调整如下RY，DKOK畦1地X11244扩，F圭OB1UXLYJAVRX6；WI,X1245，IL专1Y245KI吼77DKOK磅1帆1246吼圭LOYJXLYJRI8；WJK247KL吼II2注群一毒瓴一OK沙NET奇DKD；妻1OKX1OKONETZ3当输入层到隐层的传递函数采用双极性S型函数，隐层到输入层的传递函数采用线性函数时，对权值和阈值的调整如下AW肚RY，P一吼248驴RX圭群R1YJX1YJAVRLXY249KL驴I群L寺1X12二AO,刁亿一0女250Q喜R1，YJ251R8；WJ,YYQIL寺1，弛女】注群一以一OK沙OPDKOKORIEL183基于神经网络图像压缩算法及FPGA实现方案研究3基于神经网络图像压缩算法及FPGA实现方案研究31基于BP网络图像压缩311压缩算法理论本文采用BP神经网络进行图像压缩研究。之所以选用BP神经网络，是因为BP神经网络是连续值输入的有监督训练的神经网络中较成功且到目前为止应用最多的神经网络。目前比较典型的是用三层BP神经网络，其原因是11988年CYBENKO就提出，当各节点均采用S型函数时，一个隐层就足以实现任意判决分类问题。对小型网络的边界判决问题，两个隐层并不比单隐层网络有更多的优越性。在线性可分的情况下，甚至不需要隐层；2BP神经网络的收敛速度较慢，越增加隐层，训练越慢，编码时问也越长。基于上述原因，本文选择采用三层BP神经网络，如图31所示X1X2盔D2DL图31三层前馈BP神经网络压缩结构如上图所示，原始数据节点和重建数据节点构成节点数较大的外层输人层和输出层，而中间的具有较小节点数的细腰层即构成压缩结果。其基本思想是强迫原始数据通过细腰型网络瓶颈，并期望在网络的瓶颈处能获得较为紧凑的数据表示，以达到压缩的目的。在网络的学习过程中，通过BP训练算法调整网络的权重，使重建图像在均方误差意义上尽可能近似于训练图像。经过训练的网络即可用来执行数据压缩任务，网络输入层与隐含层之间的加权值相当于一个编码器，隐含层与输出层之间加权相当于一个解码器。从输入端输入的原始图像数据经过神经网络的处理在隐含层得到的输出数据就是原始图像的压缩编码，而输出层矢量即为解压后重建的图像数据。BP神经网络用于图像编码的压缩比与输入层和隐含层的节点数有关19西安科技大学硕士学位论文蹦匕笔鬻粼麓纂裂T，式31中的K和1分别指输入层和隐层各节点的量化阶数即量化比特数，例如输入层节点数为32，其数据的量化阶数为8比特；隐层节点数为8，其数据的量化阶数为4比特，则根据上式，图像的压缩比为8倍。因此一般来说采用不同数目的隐层神经元就可实现同一图像的不同压缩比。312BP网络的设计BP网络是采用误差反向传播算法对网络权值进行训练的多层前馈网络。网络设计的最大特点就是网络的权值是通过使网络输出与样本输出之间的误差平方和达到期望值而不断调整网络的权值训练出来的。而网络的设计过程是一个参数不断调整的过程，这意味着是一个不断对比结果的过程。所以此过程是比较复杂和带有经验性的。本文设计了如下的BP网络用于图像压缩。1网络结构进行网络设计的首要任务就是网络结构的确定，这包括输入输出节点、层数、每层的激活函数的确定以及隐含层节点数。输入输出节点输入输出节点是与样本直接相关的。BP网络已被应用于各个领域，无论让它完成什么任务，都必须将实际问题转化为网络能够接受的数据样本形式。为了说明神经网络对于图像压缩编码的有效性，本文用于压缩的原始图像均选为256X256的标准TIF图像。为了避免网络过于庞大而带来算法复杂性及训练时间的增加，将原始图像分为4X4的小块，每一块作为输入样本接入网络。故而网络的输入节点为32或64个。网络输出即解压图像应和原始图像大小相同，所以网络的输出节点也为32或64个。层数BP网络所具有的最大也是唯一的特点是非线性函数的逼近，而只含有一个隐含层的BP网络即可完成此任务。由于BP网络的功能实际上是通过网络输入到网络输出的计算来完成的，所以多于一个隐含层的BP网络虽然具有更快训练速度，但在实际应用中需要较多的计算时间。另一方面，众所周知，训练速度也可以通过增加隐含层节点数以及采用更好的训练算法来达到。所以，从实用的角度出发，除有特殊的要求，对于一般的应用情况，采用具有一个隐含层的BP网络就能够达到目的，本文最终采用了单隐层的三层前馈BP网络。每层激活函数因为BP网络的非线性逼近能力是通过S型的激活函数体现出来的，所以隐含层中一般采用S型的激活函数，输出层的激活函数采用线性型。203基于神经网络图像压缩算法及FPGA实现方案研究隐层节点数网络训练精度的提高可以通过采用一个隐层，而增加神经元数的方法来获得。这在结构的实现上，要比增加更多的隐含层要简单得多。但是究竟选取多少个隐层节点并没有一个明确的理论指导，通常是靠经验和试验来获得。2各个初始参数的取值输入输出数据的预处理对输入输出数据的预处理主要采用的方法是归一化，是指通过变换将网络的输入输出数据限制在0，L】或1，L】区间内。具体归一化函数的选取，在下文36节会详细介绍。初始权值的选取实验中发现初始权值对训练结果的影响至关重要，即使对初始权值很微小的改变，也会带来误差纪录的剧烈变化，表现为出现毛刺，不平稳或下降趋势改变，甚至出现发散现象。本文取初始权值在1，1之间的随机数，经过多次试验，从中选择训练结果最好的初始权值。学习方法的选取本文的BP网络学习方法采用最陡下降法和附加动量法。32基于BP网络图像压缩算法的算法流程321算法流程说明基于BP网络图像压缩算法的算法流程为1用小的随机数对每一层的权值和偏差初始化，以保证网络不被大的加权输入饱和；并进行以下参数的设定或初始化期望误差最小值；最大循环次数；修正权值的学习速率；2将原始图像分为小块，选取其中一块的像素值作为训练样本接入到输入层，计算各层输出；3计算网络输出与期望输出之间的误差，判断是否小于期望误差，是NILL练结束，否则至下一步；4计算各层误差反传信号；5调整各层权值和阈值；6检查是否对所有样本完成一次训练，是则返回2，否则至7；7检查网络是否达到最大循环次数，是贝1ILL练结束，否则返回步骤2。其算法流程图如下节322所示。21西安科技大学硕士学位论文322算法流程图图32BP网络训练流程图量圭堡垒里兰詈兰三錾耋兰圣2銮墨至耋2耋323图像压缩仿真试验根据322节中的算法流程图，本文对基于神经网络图像压缩算法进行了仿真试骑，使用的仿真软件为MATL。AB7LB，选用的原始图像为标准的TIF格式的灰度图像，选取了遥感图像和具有代表性的人物图像进行仿真。参数的定义为网络的最大训练步数为5000，学习率为O001，目标误差为0001，原始图像的大小为256X256，BP网络各层数据采FFJ8比特量化，采用的三层BP网络为32432，图像分块的大小为16X16。仿真结果如下图33原始遥感刚像圈34重建图像SNR338DBPSNR48LDB幽35原始人物酗像图36重建幽像SNR386DBPSNR764DB根据上图3336，本文提出的基于F经网络的图像压缩算法，在仿真试验中得NT良好的效果，为下文中硬件实现部分提供了理论依据。西安科技大学硕士学位论文33基于三层BP神经网络图像压缩算法硬件实现方案的选择331概述目前，在图像压缩领域的硬件实现方案主要有DSPDIGITALSIGNALPROCESSOR和FPGAFIELDPROGRAMMABLEGATEARRAY两大类方法。二者各有其特点，都已经得到了业界的广泛应用。1数字信号处理器数字信号处理器DSP是种独特的微处理器，有自己的完整指令系统，是以数字信号的方式来处理大量信息的器件。一个数字信号处理器在一块不大的芯片内包括有控制单元、运算单元、各种寄存器以及一定数量的存储单元等等，在其外围还可以连接若干存储器，并可以与一定数量的外部设备互相通信，有软、硬件的全面功能，本身就是一个微型计算机【4卜4刁。2现场可编程门阵列FPGA现场可编程门阵列FPGA器件是XILINX公司于1985年首家推出的，它是在PAL、GAL、PLD等可编程器件的基础上进一步发展的产物，是专用集成电路ASIC中集成度最高的一种。FPGA采用了逻辑单元阵列LCALOGICCELLARRAY这样一个新概念，内部包括可配置逻辑模块CLBCONFIGURABLELOGICBLOCK、输出输入模块IOBINPUTOUTPUTBLOCK和内部连线INTERCONNECT三个部分。用户可对FPGA内部的逻辑模块和IO模块重新配置，以实现用户的逻辑。它还具有静态可重复编程和动态在系统重构的特性，使得硬件的功能可以像软件一样通过编程来修改。目前FPGA的品种很多，有XILINX的S