多源图像融合技术及其遥感应用：02-图像融合技术(彩色-实时)

——图像融合技术多源图像融合技术及其遥感应用图像融合技术概述灰度图像融合技术彩色图像融合技术实时图像融合系统遥感图像融合技术图像融合前沿应用123456课程内容CONTENTS03彩色图像融合技术（伪）彩色图像融合的意义人眼对颜色的分辨力远远超过对灰度等级的分辨力，而且颜色会直接使人产生心理和生理的反映。彩色融合可以充分利用人眼彩色视觉的高分辨力和高灵敏度的特性，提高目视系统探测和目标识别能力。战场上受传感器的限制，摄取的图像（特别是微光图像和热图像）都是低信噪比的单色图像，缺乏体视感（深度感），不利于目标的探测，可以利用伪彩色融合技术将蕴藏在各原始图像灰度等级中的信息用彩色的方式表征出来。多光谱、高光谱成像系统波段愈分愈细，可达200个以上。拍摄的源图像带有丰富的光谱信息，充分利用目标的光谱或波谱信息进行融合可以使融合图像的彩色表现更有针对性。双通道伪彩色融合算法——T&W算法彩色融合不但要用色彩表征图像信息，而且要尽量保证彩色显示符合人眼的视觉习惯，利用生物视觉模型指导图像彩色融合，在生理物理学的基础上提高融合的视觉效果。T&W假彩色融合算法（Toet，Walraven，1996）是一种根据人眼的视觉开发的一种融合红外和可见光图像的假彩色融合算法，该算法将红外图像和可见光图像经过一定的交互处理后，分别送到R、G、B三通道，使融合图像呈现一定自然性的颜色。T&W算法具体步骤如下：首先取两路图像对应像素的较小值作为图像的公共部分再提取各自图像的特征部分，表示可见光的特征部分，表示红外图像的特征部分，则有：最后采用交叉相减的处理来实现，并将处理结果直接送至R、G、B三通道进行显示，即：T&W算法验证红外图像可见光图像T&W伪彩色融合效果在以可见光图像与热红外图像之间的差异形成的蓝色背景上，以不同的颜色差异突出表征可见光图像与热红外图像间的细节差异。基于生物视觉模型的融合算法图像彩色融合算法不但要利用色彩突显目标，还要保证颜色符合人眼的观察习惯。而对生理视觉神经系统性质的研究，可以从生理物理学和心理物理学研究的基础上指导图像彩色融合算法的研究1981年，T.Wiesel给出了受域中心-环绕结构的电生理学描述神经节细胞从功能上的受域可以分为两个系统：ON-center/OFF-surround通道OFF-center/ON-surround通道，受域是中心-环绕结构基于生物视觉模型的融合算法ON-center/OFF-surround系统中心细胞的兴奋刺激导致的细胞响应将被周围环绕细胞所产生响应所抑制。OFF-center/ON-surround系统，细胞响应相反。研究表明，ON、OFF系统分别由视网膜内的各个部分的ON细胞和OFF细胞构成，两个系统的生理作用是视网膜受域内细胞之间通过水平细胞的侧向并联所产生的综合效应基于生物视觉模型的融合算法对于抑制细胞受到刺激的瞬态响应，可以使用中心-环绕的对抗被动膜方程进行模拟：x(i,j)：抑制细胞的响应；A：衰减常数；H：可选参数；C(i,j)：受域的兴奋中心；S(i,j)：侧向抑制环绕区域。基于生物视觉模型的融合算法对于增强细胞，设可引起兴奋的触点总数为b，细胞激活触点总数在时间t时为z(t)，模型由三方面因素决定：1)细胞自发衰减细胞活性触点以固定速率衰减，并且与触点数目成正比，即Az(t)，A

是常数2)活性触点并联增强激活触点被外界随机分布的刺激信号增强，强度正比于z(t)

S(t)

3)非活性触点并联激活细胞非活性触点被刺激信号C(t)激活，强度正比于[b-z(t)]C(t)基于生物视觉模型的融合算法对于增强细胞受到刺激的瞬态响应，可以使用中心-环绕的对抗被动膜方程进行模拟：x(t)：增强细胞的响应；A：衰减常数；D：细胞基底活性；E、F：极化常数，或者称作Nernst电势。侧向并联中心-环绕受域的神经网络动力学方程ON对抗系统细胞响应OFF对抗系统细胞响应S.Grossberg建立了类似形式的受域侧向并联中心-环绕神经网络。该网络在抑制噪声和计算出图像的对比度的同时补偿了光照变化，消除光照的影响。在ON通道，中心是兴奋、环绕是抑制；而在OFF通道，中心抑制、环绕兴奋细胞自发衰减非活性触点并联激活活性触点并联激活侧向并联中心-环绕受域的神经网络动力学方程当系统平衡时，ON、OFF细胞的输出为：ON对抗细胞输出

简化形式OFF对抗细胞输出简化形式其中，整流函数受域兴奋中心响应侧向抑制环绕区域响应神经网络动力学方程简化形式稳态响应ON对抗细胞：OFF对抗细胞：空间常数σc、

σs

影响着细胞对细节的探测能力空间常数大，对细节的探测性能低，但全局颜色表现能力提高空间常数小，可以提供更好的细节探测能力神经网络动力学方程的理解当中心和环绕区域输入信号相同时，上式的分子包含DoG形式而分母包含SoG形式，因此在适当参数下视觉模型对输入信号有增强反差、突出边缘和压缩动态范围的能力，称此过程为信号的增强当中心和环绕区域输入信号不同时，根据在ON、OFF区域的位置相互作用。在适当参数下，视觉模型能保留并增强两信号中的相同信息，并且一定程度上增强两信号间不同信息，从而改善两信号间的对比度，称此过程为信号的组合基于神经动力学的图像融合算法响尾蛇一般视觉都不发达，只能感觉光亮黑暗，但它却在头部两侧长着一套特殊的红外线探测结构的眼睛，对波长为10~15μm的红外线特别敏感。响尾蛇的特点是在夜间也能准确地攻击那些即使伪装得很好的猎物。研究表明，这种攻击能力的“视觉”引导是热制导的，它能察觉热血动物所发出的红外辐射。基于神经动力学的图像融合算法响尾蛇的颊窝器官，是一对位于头部的空腔。腔体很深，在头部两侧眼睛的前下方。有许多与脑相联的热敏感神经纤维。脑部有一群神经细胞集合而成的特化核。其作用是接收、处理来自颊窝器官的感觉信息，并将它传送到中脑的视顶盖。视顶盖则把来自颊窝器官的红外线信号和来自眼睛的视觉信号加以综合，确定攻击对象的精确位置。即使有0.003℃的变化也能使响尾蛇神经纤维的生物电发放速率产生显著变化。基于神经动力学的图像融合算法1981年E.A.Newman和P.H.Hartline通过特征交叉（Cross-modalityInteractions）方法揭示了响尾蛇视顶盖双模式细胞的生理作用能够同时接收来自可见光和红外的信息输入，红外图像并且能够自动同可见光图像配准由于双模式细胞的协同作用，可见光和红外图像共同构成了响尾蛇对外界环境的感知，包括两者之间的“与”、“或”、红外抑制、可见光抑制、红外增强、可见光增强六种协同关系。基于神经动力学的图像融合算法“或”神经元——分别对两种刺激响应,并对两种信号的联合刺激响应红外增强型可见神经元——单独给予刺激时仅对可见光刺激响应,两种刺激同时呈现时放电反应加强可见增强型红外神经元——单独给予刺激时仅对红外刺激响应,两种刺激同时呈现时放电反应加强“和”神经元——对单独的红外或可见刺激响应都较弱,仅对联合刺激有明显响应红外抑制型可见神经元——只对单独的可见光刺激响应,同时伴有红外刺激时放电显著减弱可见抑制型红外神经元——只对单独的红外刺激响应,同时伴有红外刺激时放电显著减弱基于神经动力学的图像融合算法六种双模式细胞发挥着不同的作用，例如“或”细胞和增强细胞，可以有助于响尾蛇感知在可见光波段清晰可见同时具有较高热辐射的目标，比如温血动物抑制细胞，则是对热中性或者冷视觉物体产生最佳响应，例如池塘边的蛙类等冷血生物。基于神经动力学的图像融合算法为了讨论增强细胞和抑制细胞，限于生理学研究现状，需要进行一些假设和简化：响尾蛇视顶盖受域具有中心-环绕结构受域细胞连接是侧向并联的这两条假设与灵长类视觉受域动力学方程的建立假设一致。基于神经动力学的图像融合算法模拟响尾蛇增强与抑制细胞对红外和可见光图像同时感知的功能，并考虑到空间常数对探测能力和颜色显现的影响，可以实现基于生物视觉模型的多尺度（不同空间常数）图像融合，重点考虑双通道交互作用的增强细胞和抑制模式的细胞融合的基本架构包含两个阶段第一阶段：用ON系统进行两个通道图像的动态范围压缩匹配、对比度增强第二阶段的融合：需要实现双通道之间的非线性组合基于神经动力学的图像融合算法第一阶段分子为高斯差分（DoG:DifferentialofGaussian）用于探测景物亮度差异分母为高斯和（SoG:SumofGaussian），随亮度增加而增加ON对抗系统，提供了对输入图像动态范围一种非线性压缩变换，可以补偿亮度的绝对数量级，从而将输入图像的动态范围控制在需要的区间内。ON对抗细胞：基于神经动力学的图像融合算法ON对抗细胞：OFF对抗细胞：Waxman融合神经网络结构（林肯实验室，MIT，1997）BIT提出的融合系统基本结构基于神经动力学的图像融合算法基于神经动力学的图像融合算法融合阶段表达式基于神经动力学融合算法结果(a)红外图像(b)可见光图像(c)BIT的结构(d)Waxman结构BIT提出的多尺度融合系统结构基于神经动力学的图像融合算法多尺度与生物视觉模型的结合对于可见光图像，第一阶段使用了不同尺度的抑制细胞模型（细胞模型大小代表尺度不同）保证后期融合全局和细节表现的均衡HIS变换融合法低分辨率彩色图像与高分辨率灰度图像的融合PCA（PrincipalComponentAnalysis）融合法低分辨率光谱图像与高分辨率灰度图像的融合融合结果展示——原图R

G

BRGB融合结果展示——HIS融合融合结果展示——PCA融合双波段红外伪彩色融合双波段红外伪彩色融合双波段红外伪彩色融合双波段红外伪彩色融合（a）Waxman算法

（b）Toet算法（c）神经视觉算法

（自研）

（d）神经视觉算法

（改进）

03实时图像融合系统设计流程算法评估：运算量、缓存量、可并行性处理架构（平台）选择核心处理芯片选型硬件电路设计算法移植测试（仿真、硬件在环、系统测试）技术指标双波段输入图像：可见光、中波红外（3~5

m）或长波红外（8~12

m）；图像尺寸：输出灰度图像时，输入、输出图像≥512×512；输出彩色图像时，输入图像≥256×256，输出图像≥256×256；输入图像信号频带宽度≤6MHz，灰度等级256；输入图像；输入、输出为标准CVBS信号，使用标准RCA接口；单帧图像处理及融合、显示时间≤40ms；在一定范围内具有图像水平与垂直平移（10线以内）配准功能；可响应外界输入，缩放单路图像，在双通道图像共轴情况下提供视场配准功能。融合系统设计——算法选择融合算法选择基于神经动力学的融合算法实时化方面还有困难。假彩色图像融合效果的自然性仍然是有待解决的问题。这类算法的融合结果对观察员的经验是较大考验。图像调制融合算法比较简单，是实现可见光和红外图像融合的一种实用技术。基于金字塔结构的多分辨图像融合处理算法具有较好的处理视觉效果，算法改进空间大。 在综合考虑到研究应用的普适性、实现的难易程度和可扩展升级性等因素基础上，这里选择Laplacian金字塔算法作为双通道图像融合处理的核心算法。图像处理的性能需求分析MAC运算量估算 待融合图像的大小为M

M

像素，低通滤波器模板大小为n

n，则完成一帧图像的融合总共消耗的MAC运算总量约为：5/3

M2

n2 设数字图像大小为512512，选用5

5的Gaussian模板进行运算，实时处理要求为每秒25帧，可推知该处理过程每秒将消耗高达2.8亿次的MAC运算DSP器件的MACDSP的所有功能都与乘法和累加/加法(MAC)有关。随着本课程的逐步深入，我们将会发现大部分应用算法都使用数字滤波器，自适应滤波器，傅立叶变换等。这些算法都需要乘法和加法(注意除法或者平方根在DSP中应用很少)。因此DSP算法或问题经常根据它的MAC需求来确定。特别是当比较两种算法时,如果它们都能完成相同的工作但其中一个使用了较少的MAC,显然这种“便宜的”算法就是最佳选择。然而这必须是在一定的假设前提下，其中之一为所需的MAC是相同的。这种条件在我们常用的传统DSP处理器中是满足的，比方说，一个16位的器件能处理16位的输入并使用16位的数字滤波器系数等等。使用FPGA可消除这种限制-我们可根据要求使用各种位数的系数。因此我们能用完全不同的方法选择一个优化和确定的DSP算法。实时图像融合系统硬件平台分类（1）单DSP或多DSP并行处理通过单个或多个高性能的DSP器件来实现预处理与融合算法。设计简单，易于实现。在实现复杂算法时较为困难，特别是在多DSP处理中，如何合理地分配各DSP的处理任务，更好地实现处理的并行性，对算法的最终实现起关键作用。比较成熟，是目前应用较多的方案。（2）DSP+FPGA处理通过FPGA来完成预处理部分和相应的逻辑控制，而DSP主要来完成核心算法部分。该方式有较好的灵活性，充分发挥了FPGA和DSP各自的优势。需要解决的问题是：如何协调DSP和FPGA之间的通信和数据传输，以保证整个处理流程可以快速有效地进行。（3）大规模FPGA处理通过FPGA器件内部所带的丰富的逻辑、加法器和乘法器等资源，来实现预处理与融合算法。易于实现并行处理，提高系统的处理速度，同时为将来SoPC设计提供了技术支持。难点在于如何合理的利用FPGA内部资源实现相应的算法。专用集成电路——ASIC随着微电子技术的发展，系统设计师们更愿意自己设计专用集成电路(ASIC)芯片，而且希望ASIC的设计周期尽可能短可编程处理器件概览嵌入式系统的Roadmap51单片机模拟电路AVR单片机数字电路PIC单片机PC原理MSP430C编程ARMCortexA8/A9MPCoreLinux,WP,IOS.AndroidARM7+OS、ARMCortexMNXP、三星DSPTIC6000、ADITigerSharkDSPTIC2000、ADIBlackFinSoPCCPLD、FPGADSP器件的发展历程DSP器件的发展历程DSP器件适合的算法类型线性滤波例如，基于频率/相位鉴别，移除噪声和不希望的干扰信号分量信号变换例如，频率域/变换域信号分析。非线性信号增强/滤波例如，通过中值/阶型滤波移除冲激噪声信号分析/解释/分类例如，信号特性的自动特征分类压缩/编码例如，减少信号的带宽和存储需求记录/复原例如，CD、CD-R、硬盘记录等DSP器件的结构特点（vsCPU）1）内核基于改进的Harvard结构，内部存在一条或多条分离的数据总线和程序总线；程序空间和数据空间分开，各自有独立的地址总线和数据总线，取数和读数可以同时进行。2)独立的硬件乘法器，使得乘法指令可以在单周期内完成。3)一个处理器内含有多个乘加处理单元，使得指令并行执行成为可能。事实上，如果程序优化得当，其性能几乎接近理论加速比。4)低功耗。相比于通用CPU家族的动辄几十W而言，其功耗一般在数W甚至mW量级，这在各种功耗敏感场合显示出独特的优势，同时省去了繁杂的散热系统。TMS320C6416DSP的性能C6416芯片600MHz的主频，4800MIPS（InstructionsPerSecond）的运算能力，完全满足金字塔融合算法所需的运算量。丰富的外设接口，以及其为影像应用所作的结构和指令集的优化C6416DSP主要特点可概括如下：高速定点DSP1.67ns指令周期（600MHz时钟）每指令周期可并行执行8条32bit指令VelociTI.2TM扩展甚长指令字结构6个32/40-bitALU2个硬件乘法器，每时钟周期可进行4个16×16bit或8个8×8bit乘法运算TMS320C6416DSP的核心结构融合系统设计——系统结构及硬件实现图像融合子系统融合系统分为图像融合处理DSP子系统和图像输入输出子系统系统结构及硬件实现采集输出子系统数字视频采集系统用于实现双通道输入图像的数字化采集、图像间配准、融合处理系统工作流程控制等工作同步控制信号提取与输出双路专用视频ADC具有X-Y方向像素平移配准功能的帧存读写控制器使用大规模可编程逻辑器件CPLD实现系统复杂的时序与逻辑控制。视频信号采集系统数据拼接（1路）帧存控制器设计视频信号采集系统PCB电路设计地线设计融合系统的融合处理电路板采用了10层板层结构，采集/输出电路板采用了8层板层结构，其中都设计了独立的电源层和地线层，视频端还设计了专门的模拟地，通过磁珠与系统数字地连接。设计原则电路中的电流回路应保持最小；信号线和回线应尽可能接近；使用较大的地平面以减小导线阻抗；电源线和地线应相互接近；在多层电路板中，应把电源层和地线层分开。PCB电路设计可测试性设计为主要信号设置测试点，以便于调试时使用示波器和逻辑分析仪捕捉波形，测试电路的工作状态和信号特征。设置拨码开关，以根据调试的需要灵活地改变电路的工作状态。对于一些难以预先决定的连接，设置0电阻，当需要断开连接或需要导通时，只需要取下或焊上0电阻即可，避免了飞线。图像融合系统软件设计中断处理程序流程DSP软件优化策略（1）优化高速缓存Cache结构，合理地划分两级Cache的大小，以及代码段、数据段在内存中的布局；（2）合理安排流水操作和程序分支，提高指令的并行度；（3）使用const关键字、restrict关键字，通过限定的指针指向该指针指向的对象，避免存储器相关；（4）内联函数（intrinsic）是汇编指令直接映射的在线函数，使用内联函数使程序中函数更加紧凑，增加函数之间调用数据的相关性等；（5）利用数据打包处理技术，用字、双字访问短型数据进行数据存取；DSP软件优化策略（6）用逻辑运算、加/减/乘运算代替除运算；（7）合理设置CCS编译器参数和各种优化选项，如使用优化选项-o1、-o2、-o3、-pm、-mt等；（8）代码中关键部分是循环。利用软件流水优化循环，解开多重循环嵌套，变函数操作为指令操作，把循环内复杂的条件判断尽量移到循环体的外部，循环内代码尺寸不要太大；（9）使用Profiler工具查找效率低的部分，分析相关图，用线性汇编改写耗时长的部分。DSP6416的内存1MByte，不能完成一场图像的融合。DSP访问片外存储器的时间比访问片内存储器慢得多，为了达到实时效果便不能将数据放在片外存储器处理。充分利用DSPEMIF口的EDMA在无需CPU参与的情况下便能完成DSP存储空间之间的数据搬移的功能。SDRAM配置图内存管理与DMA同步双缓冲策略同步双缓冲是指在SDRAM中使用乒乓结构，用以存放相邻两场的数据。在DSP片内存储器中也开辟乒乓结构用以存放一场中每个半场的数据。处理上半场时，EDMA搬运下半场的数据，处理下半场时，EDMA搬运上半场的数据。实时处理过程的时-空图多分辨图像融合算法的实现流程金字塔结构的多分辨融合算法基本思想来自于人眼视觉系统对于局部对比度变化的敏感性，因此可直接将融合图像作为一种融合多尺度边缘的描述。多分辨融合能较好地保留图像的细节部分，并具有较好的目视效果。Laplacian金字塔结构图像融合算法融合系统实验效果（长波红外图像）（3层Laplacian金字塔融合效果）（可见光图像）（处理板）（实验现场照片）融合系统实验效果（长波红外图像）（3层Laplacian金字塔融合效果）（可见光图像）（处理板）（实验现场照片）基于4×DSP实时融合系统DSP主频720MHzDSP数量4DSP峰值性能5760MIPS系统峰值性能23040MIPSDSP本地带宽1064MB/s系统IO带宽266MB/sDSP本地内存32MB系统总内存128MB+128kB基于4×DSP实时融合系统同步四口SRAM通道划分图像基于DM642的微小型化实时融合系统基于DM642的微小型化实时融合系统DM642是TI公司多媒体处理器TMS320DM64x系列外设最完备的一款，它建立在高性能C64xDSP核的基础上，芯片总体性能比C62x约提高了10倍。DM642最大的特色是具有三个可灵活配置的视频口（VideoPort），使它很适合用于视频采集和处理。主要特点：（1）最高720MHz主频的高性能定点处理器（2）VelociTI.2第二代先进的超长指令字结构（3）具有配置灵活的256KB二级缓存以及64通道EMDA（4）丰富的片上外设，主要包括64bit扩展内存接口（EMIF）、多通道缓冲串口（McBSP）、多通道音频串行端口（McASP）、66MHz32bitPCI接口、10/100Mbps以太网口（EMAC）等。图像融合系统硬件系列平台C62DSP融合板C64DSP融合板DM642DSP融合板FPGA器件早期的门阵列FPGA器件FPGA属于可编程ASIC，由逻辑功能块排列成阵列组成，并由可编程的内部连线连接这些逻辑功能块来实现不同的设计，并通过可编程互连接到所要求的输入、输出FPGA适合应用在低级的DSP算法的数据流场合，而不适合应用在if-then-else判断型编程需求的场合。FPGA器件Altera公司FPGAFPGA器件Xilinx公司FPGA为什么用FPGA开发DSPAlgorithmsbeatsMoorebeatsChemists为什么用FPGA开发DSPXilinxDSPPerformanceLeadershipFPGA与DSP对比FPGA的优势以超高并行性实现更高性能灵活的I/O，可支持多种高速模拟接口低固定成本设计周期短，硬件更改快FPGA的不足冗余逻辑功耗较高量产成本高DSP的优势编程较简单——有许多库和第三方支持公司直通处理速度更快DSP的不足硬件结构固定并行处理量程有限DSP器件的优势（V.S.FPGA）前面所述的DSP是可编程的通用DSP，主要依靠编制的软件来完成算法的实现。DSP适合于顺序算法FPGA的优势是较低系统时钟的并行运算（当然也可以实现顺序的算法）DSP在浮点运算方面有优势目前FPGA对浮点运算的支持效率不高DSP编程开发过程比较简单DSP只需要编译，FPGA需要编译、综合、布局布线DSP开发板和驱动程序较丰富，外围电路完善DSP有丰富的应用范例和库（FPGA各种IP核也越来越多）DSP器件的不足（V.S.FPGA）DSP处理器并行性有限只有几个乘加单元；TI最好的DSP：8个处理核心处理可变宽度数据的效率较低处理多采样速率的系统效率较低主要靠提高系统时钟频率来提高运算速度>1GHz高频电路设计困难功耗和散热问题严重通用DSP——单引擎乘法累加顺序处理限制数据的流量分时共享的乘法累加器单元高的时钟频率产生难以满足的系统要求256抽头FIR滤波器每个数据采样运行256次乘法和累加（MAC）每256个时钟周期产生一个输出RegDataInLoopAlgorithm256timesDataOutMACunit顺序处理限制系统性能ChannelDensityorSampleRateAlgorithmicComplexitySampleRate

(MSamples/s)24681624324048566472808896104510152025303540Single300MHzProcessor

Two300MHzProcessorNo.of

coefficientsFixedProcessorClockRate

=NumberofoperationspersampleMaxSampleRateFPGA-多引擎乘法累加并行处理使数据流量最大化支持任意程度的并行性最佳的性能/成本取舍256FIR滤波器每个数据采样运行256次乘法和累加（MAC）每个时钟周期一个输出灵活的结构分布的DSP资源（LUT，寄存器，乘法器，存储器）DataOut....C0C1C2C255Reg0Reg1Reg2Reg255DataInAll256MACoperationsinoneclockcycleFPGA适合于DSP应用传统的DSP器件

(VonNeumann架构)DataOutRegDataInMACunit....C0DataOutC1C2C255FPGAReg0Reg1Reg2Reg255DataIn在1个时钟周期内同时处理256次MAC需要256次循环来处理采样点数据256TapFIRFilterExampleReason1:FPGAs可以处理运算密集型任务FPGA适合于DSP应用FPGAsarealsoideallysuitedformulti-channelDSPdesignsManylowsampleratechannelscanbemultiplexed(e.g.TDM)andprocessedintheFPGA,atahighrateInterpolation(usingzeros)canalsodrivesamplerateshigherLPFMultiChannelFilter80MHzSamplesch1ch2ch3ch4LPFLPFLPFLPF20MHzSamplesFPGA适合于DSP应用Q=(AxB)+(CxD)+(ExF)+(GxH)canbeimplementedinparallel××××++++++ABCDEFGHQReason2:巨大的灵活性ButisthistheonlywayintheFPGA?FPGA适合于DSP应用CustomizeArchitecturestoSuitYourIdealAlgorithms××××++++++×++DQ

××++++

DQ

ParallelSemi-ParallelSerialFPGAsallowArea(cost)/PerformancetradeoffsOptimizedfor?SpeedCostFPGA适合于DSP应用DDCA/DA/DD/AD/AMACsControlDDCDUCDUCMACsControlDSPProcs.DUCDUCDDCDDCSDRAMAFEFPGADSP

CardHundredsof

TerminationResistorsPowerPCSDRAMSSTL3TranslatorsQuadTRxQuadTRxASSPFPGANetwork

CardSDRAMA/DA/DD/AD/AControlControlPL4CORBAPowerPCMACs,DUCs,DDCs,LogicPowerPCPowerPCPowerPC3.125GbpsASSPSDRAMReason3:可以通过集成降低系统整体成本性能比较：Alteravs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TI性能比较：Xilinxvs.TIXilinxFPGA产品介绍XC4000：5/3.3/2.5V，容量从64～8464个CLBSPARTAN：XC4000的简化版VirtexII：1.5V，拥有256～46592个逻辑片（Slice）、18×18乘法器、嵌入式RAM块SPARTANIII：90nm工艺的新一代低成本FPGA，VirtexII的简化版VirtexIIPro：VirtexII的升级版，内部集成了PowerPC405核、高速接口RocketI/O和数字时钟管理模块（DCM）XilinxFPGA产品介绍VirtexIV：新一代基于组合模块架构(ASMBL)的FPGA平台，拥有LX（侧重于逻辑应用）SX（DSP处理）FX（嵌入式系统和高速收发模块）3个系列（1）设计定义（2）HDLCode（3）功能仿真（4）逻辑综合（5）前仿真（6）布局布线（7）后仿真（9）在系统测试逻辑仿真器逻辑综合器FPGA厂家工具逻辑仿真器逻辑仿真器（8）静态时序分析FPGA

开发流程FPGA

开发流程电路图设计文件HDL设计文件电路功能仿真HDL功能仿真HDL综合确定实现电路的具体库名

布线后门级仿真与实现逻辑的物理器件有关的工艺技术文件优化、布局布线

电路制造工艺文件或FPGA码流文件

有问题有问题有问题没问题没问题没问题没问题增量的设计方法常规的设计方法（如果块E发生改变）增量设计的好处：减少了开发时间基于Virtex4的双通道融合系统架构使用FPGA算法总体实现联合调试实物图图像融合结果

可见光源图像红外源图像融合图像基于Virtex-5的图像融合硬件平台设计Virtex-5FPGA的优势65nm铜工艺第二代高级硅片组合模块（ASMBL）列式架构强大的36KbitBlockRAM/FIFO第二代25x18DSPSlice带有内置数控阻抗的SelectIO技术ChipSync源同步接口模块系统监视器功能增强型时钟管理模块基于Virtex-5的图像融合硬件平台设计资源类型数量LogicResourcesSlices5,440LogicCells34,816CLBFlip-Flops21,760MemoryResourcesDistributedRAM（Kbits）520BlockRAM（36Kbitseach）84TotalBlockRAM（Kbits）3,024ClockResourcesDCM4PLL2I/OResourcesMaximumSingle-EndedPins360MaximumDifferentialI/OPairs180EmbeddedHardIPResourcesDSP48ESlices192PCIExpressEndpointBlocks110/100/1000EthernetMACBlocks4RocketIOGTPLow-PowerTransceivers8ConfigurationConfigurationMemory（Mbits）13.4PackageFootprintFF665Area27

27mm基于Virtex-5的图像融合硬件平台设计基于Virtex-5的图像融合硬件平台设计器件类型器件名称所在位置电平标准音视频CodecTLVAIC23Bank17LVTTLADV7188（1）Bank17LVTTLADV7188（2）Bank13LVTTLADV7393Bank11、Bank13LVTTLADV7123Bank11LVTTL大容量存储器CY7C1372Bank2、Bank12LVTTLMT47H64M16HRBank3、Bank15、Bank16SSTL18通信接口物理层器件RS-232Bank17LVTTLRS-485Bank17LVTTLCANBank17LVTTLEthernetBank18LVTTL其它KEY&LEDBank1LVTTL配置PROMBank0LVTTL系统时钟Bank4LVTTL基于Virtex-5的图像融合硬件平台设计大容量存储器模块设计NoBLSRAM：CY7C1372D（1M

18bit）DDR2SDRAM：MT47H64M16HR-3（8M

16bit

8banks）利用MIG工具生成存储器控制器单元基于Virtex-5的图像融合硬件平台设计电源模块设计XPE（XPowerEstimator）估算FPGA大致的功耗基于Virtex-5的图像融合硬件平台设计电源模块设计电压用途电流功耗供电方案0.9VDDR2SDRAMVref<100mA<100mWLP3906SQSW11VFPGAVCCINT<2A<2WTPS54310PWP1.8VFPGAVCCIODDR2SDRAMVCCVideoDecoderVCCINT<1A<2WLP3906SQSW22.5VFPGAVCCAUX<300mA<1WTPS54315PWPAnalog3.3VVideoDecoderAVCCVieoEncoderAVCCVGAEncoderAVCCAudioCodecAVCC<200mA<600mWLP3906SQLDO1Digital3.3VFPGAVCCIONoBLSRAMVCCVideoCodecDVCCVGAEncoderDVCCRS232TransceiverVCCRS422TransceiverVCCCANTransceiverVCCEthernetPHYVCC<1A<3WTPS54316PWP基于Virtex-5的图像融合硬件平台设计融合系统PCB顶层原件布局图基于Virtex-5的图像融合硬件平台设计基于Virtex-5FPGA的SoPC实时图像融合系统实物图XilinxSoPC架构MBBUSIP基于XtremeDSP的高层次设计方法XtremeDSP设计套件包括SystemGenerator和AccelDSP两个工具。SoPC设计流程基于FPGA的SoPC设计流程基于SoPC的伪彩色融合处理架构基于SoPC的伪彩色融合处理实现架构图像采集与输出模块设计图像采集模块图像采集与输出模块设计图像输出模块伪彩色融合算法模块设计将融合算法模块作为MicroBlaze的协处理器，其间用高速FSL总线连接。伪彩色融合算法模块设计首先将融合算法算法在AccelDSP中实现。查看RTL报告，获取数据运算时间协处理器每次计算1个像素融合结果：单次运算耗时340ns，总耗时141ms；利用面积换速度原则，使协处理器每次计算25个像素融合结果，单次运算耗时1.42ms，总耗时23.47ms。算法协处理器IP核的生成及使用伪彩色融合算法模块设计伪彩色融合算法模块设计融合算法协处理器与MicroBlaze接口其他接口模块的设计本系统存储器由三部分组成，FPGA内部BlockRAM（BRAM）、18MbitNoBLSRAM以及1GbitDDR2SDRAM，分别使用不同的总线和接口；I2C接口、UART接口、GPIO接口模块，以及DMA控制器、存储器控制器模块；系统中断控制器的使用：SoPC融合系统综合结果系统所用IP核连接图SoPC融合系统综合结果在XPS默认设置和约束下，XST综合得到的系统时钟周期为4.663ns，即最高为214.452MHz，因此系统工作在200MHz时钟下是安全的。根据综合报告系统资源占用情况资源占用数量比例Slice251846%Flip-Flops1153253%LUT1357839%BRAM6778%I/O24769%SoPC系统软件流程系统软件流程SoPC实时融合系统调试基于ChipScope的数据流调试