（通信与信息系统专业论文）立体测绘影像压缩硬件系统设计与实现.pdf

摘要 三线阵立体相机目前已在卫星摄影测量中获得了广泛的应用，相机采用前视、 正视和后视三个线阵型c c d 相机对同一地物进行不同角度的拍摄，经过处理后可 获得地物的立体图像。三线阵相机获得的图像原始数据量是相同分辨率单线阵相 机的三倍，因此满足卫星为了提高三线阵图像的存储和传输效率，必须采用更为 高效的图像压缩。和单线阵图像相比，三线阵相机获取的三个视图之间存在较强 的相关性，因此在算法研究方面可以采用高效去相关方法来提高压缩效率。在实 际的应用中，由于三幅对应的图像不是在同一时刻成像，因此无法简单利用这种 相关性，但是由于三幅图像的复杂度可能存在较大的区别，因此本文在设计实际 的硬件系统时，充分利用三线阵成像的这一特点，采用联合压缩编码的方法，在 基本不增加硬件复杂度的条件下，实现了实时三线阵图像高效压缩硬件系统。 本论文在算法研究方面，在研究三线阵图像相关性对压缩性能影响的基础上， 提出了一种自适应联合压缩方法。在基于f p g a 的三线阵图像压缩硬件系统研究 方面，提出了一种根据图像复杂度对图像进行排序及压缩后统一进行码流截取的 方法，确保复杂度高的图像可以分配更多的编码码率，从而总体提高了图像的恢 复质量。在压缩硬件系统测试方面，论文提出了基于f p g a 的多路模拟相机源的 设计方案，可以充分模拟三线阵相机的接口协议，并可向压缩编码系统连续发送 模拟图像，可以充分测试压缩系统的各项技术指标。 关键词：立体测绘图像压缩f p g a 实现 a b s t r a c t t h r e e 1 i n ea r r a ys t e r e oc a m e r a sh a v eb e e nw i d e l yu s e di nt h ef i e l do fs a t e l l i t e p h o t o g r a m m e t r y ，w h i c hc a p t u r es t e r e oi m a g e so ft h es a m eo b j e c tv i at h r e el i n e a rc c d c a m e r a sf r o md i f f e r e n ta n g l e s ，i n c l u d i n gf o r w a r d l o o k i n g ，f a c i n g u pa n db a c k - s i g h t a n g l e s t h ea m o u n to fi m a g ed a t ao b t a i n e db ya t h r e e l i n ea r r a yc a n l e r ai st h r e et i m e s t h ea m o u n to fas i n g l e 1 i n eo n ew i t ht h es a m er e s o l u t i o n t h e r e f o r e ，m o r ee f f i c i e n t c o m p r e s s i o na l g o r i t h m sa r en e c e s s a r yf o re n h a n c i n gt h es t o r a g ea n dt r a n s m i s s i o n e f f i c i e n c yo ft h r e e l i n ea r r a yi m a g e s i np r i n c i p l e ，h i 曲e f f i c i e n td e - c o r r e l a t i o nm e t h o d s s h o u l db eu s e dt oi m p r o v et h ec o m p r e s s i o ne f f i c i e n c yo ft h r e e - l i n ea r r a yi m a g e s ，b y e x p l o i t i n gt h es t r o n gc o r r e l a t i o na m o n gt h e m f o rt h ep r a c t i c a la p p l i c a t i o n s ，h o w e v e r , t h r e e 1 i n ea r r a yi m a g e sa r en o ts i m u l t a n e o u s l yo b t a i n e d ，s ot h a tw ec o u l dn o te a s i l y e x p l o i tt h ec o r r e l a t i o na m o n gt h e m d u r i n gt h ed e s i g no ft h ei m a g ec o m p r e s s i o n h a r d w a r es y s t e m ，t h ef a c tt h a tt h r e e l i n ea r r a yi m a g e sm a yb eg r e a t l yd i f f e r e n tf r o m e a c ho t h e ri s c o m p l e t e l y c o n s i d e r e d an e wm e t h o d , n a m e l yac o - c o m p r e s s i o n a l g o r i t h mi sp r o p o s e dt oi m p l e m e n tt h et a s ko fh i g h e f f i c i e n ta n dt i m e l yc o m p r e s s i o n , w i t h o u ti n c r e a s i n gt h ec o m p l e x i t yo fh a r d w a r es y s t e m i nt h i sp a p e r , a na d a p t i v ec o c o m p r e s s i o na l g o r i t h mi sp r o p o s e da f t e rac o m p l e t e a n a l y s i so ft h ei m p a c to ft h ec o r r e l a t i o na m o n gt h r e e l i n ea r r a yi m a g e s o nt h e c o m p r e s s i o np e r f o r m a n c e f u r t h e r m o r e ，d u r i n gt h e r e s e a r c ho ft h et h r e e l i n ea r r a y i m a g ec o m p r e s s i o nh a r d w a r es y s t e mb a s e do nf p g a , an e w u n i f i c a t i o nc o d e - s t r e a m i n t e r c e p t i o nm e t h o di sp r e s e n t e d i no u rm e t h o d , r e o r d e r i n go f t h r e e - l i n ea r r a yi m a g e si s f n s td o n eb a s e do nt h ed i f f e r e n tc o m p l e x i t ya n dt h e nc o c o m p r e s s i o ni sa p p l i e dt ot h e r e o r d e r i n gi m a g e s t h em e t h o de n s u r e st h a tm o r ec o d es t r e a m sa r ea l l o c a t e dt ot h em o r e c o m p l i c a t e di m a g e sa n do v e r a l li m p r o v e st h eq u a l i t yo fr e c o n s t r u c t e di m a g e s f i n a l l y ，a f p g a b a s e dt e s ts c h e m eo fm u l t i - c h a n n e la n a l o gc a m e r as o u r c e si sp r o p o s e dt o s u f f i c i e n t l ys i m u l a t et h ei n t e r f a c ep r o t o c o lo ft h r e e - l i n ea r r a yc a m e r a t h es c h e m e c a n c o n t i n u o u s l ys e n da n a l o gi m a g e st oc o m p r e s s i o ns y s t e m , s ot h a ta l lt h es p e c i f i c a t i o n so f c o m p r e s s i o ns y s t e mc a n b ef u l l y - t e s t e d k e y w o r d s ：s t e r e om a p p i n gi m a g ec o m p r e s s i o n f p g a i m p l e m e n t a t i o n 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任何 贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。( 保密的论 文在解密后遵守此规定) 本人签名： 刻逸 导师签名：2 蒸立毒绐 第一章绪论 第一章绪论 1 1 引言 近年来，随着通信与信息技术的迅速发展，人们对于传输内容的要求早已从 语音、数据到了图像、视频。一方面，数字化后的信息，尤其是数字化后的高分 辨率立体图像信息，具有数据海量性的特点，这给信息的存储和传输造成很大的 困难，成为阻碍人类有效获取和使用信息的瓶颈问题之一。另一方面，数字化后 的高分辨率立体图像的三视图之间存在较强的相关性，而且它们之间的复杂度有 可能存在较大的区别，另外，在处理高分辨率立体图像时，往往需要考虑实时性 以及存储器的容量问题。利用高精度传输型立体测绘卫星系统采集的数据，其数 据量相当庞大，为了提高存储和传输效率，必须进行高效图像压缩。因此高效图 像压缩技术作为解决这一问题的有效途径，在立体测绘领域越来越受重视。 1 2 立体测绘图像数据压缩分析 一般地，图像压缩技术可分为两大类：无损压缩技术和有损( 率失真) 压缩技术。 无损压缩利用数据的统计冗余进行压缩，可完全恢复原始数据而不引入任何失真， 但压缩率受到数据统计冗余度的理论限制，一般为2 ：1 到5 ：l 。这类方法广泛用于 对文本数据、程序和特殊应用场合的图像数据( 如指纹图像、医学图像等) 的压缩。 由于压缩比的限制，仅使用无损压缩方法不可能解决图像和数字视频的存储和传 输问题。有损压缩方法利用了人类视觉对图像中的某些频率成分不敏感的特性， 允许压缩过程中损失一定的信息，虽然不能完全恢复原始数据，但是所损失的部 分对理解原始图像的影响较小，可以有效的提高压缩比，并且得到较高的图像恢 复质量。有损压缩广泛应用于对语音、图像和视频数据的压缩。在多媒体应用中 常用的压缩方法有p c m ( 脉冲编码调制) 、预测编码、变换编码( 主成分变换或k - l 变换、离散余弦变换等) 、插值和外推法( 空域亚采样、时域亚采样、自适应) 、统 计编码( h u f f m a n 编码、算术编码、s h a n n o n f a n o 编码、行程编码等) 、矢量量化和 子带编码等。新一代的数据压缩方法，如基于模型的压缩方法、分形压缩和小波 变换等方法也己经应用于实际的数据压缩。 与常规图像的压缩技术相比，针对三线阵图像的压缩，由于三线阵图像是由 在同一时刻前视、正视以及后视三个相机分别对三个区域进行拍照成像，经过一 段时间的时延后，将得到同一地区不同视角的三幅图像。这三幅图像之间存在重 2 立体测绘影像压缩硬件系统设计与实现 叠的区域，因此各幅图像之间存在着一定的相关性。如果对各幅图像进行单独压 缩，没有利用图像之间的相关性，则不能得到理想的压缩性能。因此需要对各幅 图像进行联合压缩，充分利用图像之间的相关性，得到优于单独压缩的压缩性能。 基于小波变换的内嵌比特平面编码图像压缩方法已经被公认为是性能最好的压缩 方法，在此基础上，通过研究三线阵图像相关性对压缩性能影响，研究适合于立 体测绘影像的高效压缩方法，即自适应联合压缩方法。 1 3 论文研究内容 本文在研究三线阵图像相关性对压缩性能影响基础上，提出了高效立体图像 自适应联合压缩方法。本文作者参与了基于f p g a 立体测绘图像压缩的硬件系统 设计，主要负责平台整体结构设计及实现。通过对压缩平台各模块的深入研究及 对各模块所占资源的精确估算，该压缩平台制板后工作稳定，获得了很好的工作 性能。 论文由5 个章节组成： 第1 章：绪论 首先对图像数据压缩进行了简要分析，然后对立体测绘图像压缩作了相应的 介绍，最后给出了本文的研究内容。 第2 章：立体测绘图像的基本理论 本章主要介绍了三线阵立体测绘基本定义以及简要介绍了高效立体图像自适 应联合压缩算法的研究。 第3 章：基于f p g a 的立体测绘图像压缩系统的硬件实现 本章通过介绍f p g a 的架构，特性和外围设备，以及搭建基于发送采集卡的 立体测绘图像压缩系统的硬件平台。 第4 章：压缩平台的硬件实现 本章首先在离散小波变换、并行比特平面编码和码流截取三个方面对立体测 绘图像的三路图像并行8 倍压缩处理，对图像单独压缩完毕后，根据图像的复杂 度对图像的重要性进行排序及码流截取，确保复杂度高的图像的重要性高，输出 的码流长度大，且最先输出；而对于复杂度小的图像，恢复它所需要的码流长度 比较小，它所对应的码流在最后输出，从而从总体上保证图像的恢复质量。接着 给出了基于f p g a 的多路模拟相机源的设计方案。此压缩系统压缩性能好、处理 速度高、恢复图像质量高，因而适合于立体测绘图像数据压缩这个特殊领域。 第5 章：结束语 本章为整个论文的总结，在简要回顾论文工作的基础上。提出了作者未来研 第章绪论 究方向的设想。 第二章立体测绘影像的基本理论 5 第二章立体测绘影像的基本理论 2 1 三线阵立体测绘基本定义 所谓立体测绘就是对物体表面进行全范围的测绘。利用c c d 立体相机可同时 对前方、下方和后方进行拍照，形成三维影像。三线阵立体测绘卫星系统指的是 以三线阵c c d 立体测绘相机为有效载荷的测绘卫星。利用这种卫星所获取的立体 影像、姿态、轨道位置以及其他信息，可以在无地面控制点条件下测制地球、月 球等其他星球表面的地形图。为了完成在无控制点情况下，对未知地区进行定位 和测图的要求，三线阵立体测绘卫星系统必须提供下述条件：一是利用三线阵测 量相机完成对地面的推扫成像，形成三幅具有一定视角且相互重叠的三线阵航带 影像；二是利用星敏感器及其他姿态测量部件完成对卫星姿态的测量，获取卫星 在惯性坐标系中的绝对位置，为三线阵影像提供3 个外方位角元素；三是利用轨 道测量部件完成轨道定位测量，为三线阵影像提供3 个外方位位置元素。 三线阵c c d 相机测绘成像原理如图2 1 所示，三线阵c c d 立体测绘相机光学 扫描成像部件是由光学系统焦平面上的三个线阵c c d 传感器组成。垂直对地成像 的称为正视传感器( 图2 1 中2 ) ，向前倾斜成像的称为前视传感器( 图2 1 中1 ) ，向 后倾斜成像的称为后视传感器( 图2 1 中3 ) 。三个线阵c c d 阵列l ，2 ，3 相互平行， 其排列方向与飞行器运动方向垂直。工作时，每个线阵c c d 阵列以一个同步的周 期连续对地面扫描形成3 条相互重叠的图像。对地面上同一区域，3 个传感器分别 以不同的视角扫描，因而可构成立体相对。 图2 1 三线阵c c d 相机测绘成像原理 6 立体测绘影像压缩硬件系统设计与实现 2 2 高效立体图像自适应联合压缩方法研究 高精度传输型立体测绘卫星系统是指采用较高分辨率光学立体测绘相机，在 具有高精度姿态和轨道确定能力、高精度姿态控制和高速数传能力的卫星平台支 撑下，实现全球重点地区实时、高精度的三维目标定位和地理信息获取任务。 在实际的应用中，一方面，高精度立体测绘图像的数据量相当庞大，为了提 高存储和传输效率必须进行高效图像压缩；另一方面，在大压缩比下，图像压缩 带来的信息损失直接影响到测绘精度，因此研究立体测绘图像的质量评价方法不 仅可以对压缩质量进行客观评价，也可以对压缩算法的设计提供理论上的指导。 另外，传输型立体测绘卫星要求星上图像压缩具有实时处理能力，因此必须研究 能够对高码速率立体图像进行实时压缩的硬件方案，并研制硬件原理样机。 在立体测绘图像压缩方面，国外目前主要采用静止图像的压缩方法，如美国 火星探测器“机遇 号和“勇气 号采用了一种名为i c e r 的高效压缩方法，该方 法采用了基于小波变换的内嵌图像编码方法，可以获得从无损到有损的不同压缩 比，该算法的压缩效率与j p e g 2 0 0 0 和s p i h t 基本一致。通过进一步研究更高性 能的软件算法和硬件原理样机来满足这一要求。 本论文研究目标是实现高精度立体测绘图像压缩算法，完成一套能实时压缩 编码的硬件原理样机。当压缩比为8 倍时，压缩影像峰值信噪比和恢复精度满足 要求。 根据三线阵立体测绘相机的工作原理，在同一时刻前视、正视以及后视三个 相机分别对三个区域进行拍照成像，经过一段时间的时延后，将得到同一地区不 同视角的三幅图像。这三幅图像之间存在重叠的区域，因此各幅图像之间存在着 一定的相关性。如果对各幅图像进行单独压缩，没有利用图像之间的相关性，则 不能得到理想的压缩性能。因此需要对各幅图像进行联合压缩，充分利用图像之 间的相关性，得到优于单独压缩的压缩性能。 针对立体影像的相关性问题，进行了具有去相关能力的高效压缩算法的研究 工作，提出了一种具有高效去相关能力的立体测绘图像压缩算法，在该算法中选 择高效内嵌图像压缩算法s p i h t 作为核心算法，系统框图如图2 2 所示。 相关系蔹 联合压缩 大于门限 l 锹图像配准广1 取苗比焉i 一计柏关系敦 独立压缩 相关系数 7 图2 2 立体测绘图像自适应联合压缩算法框图 第二章立体测绘影像的基本理论 首先对立体像对进行粗匹配，计算粗匹配的图像块之间的相关系数，然后根 据两者之间的相关性大小，自适应的选择编码方式，相关系数小于门限，则采用 单独压缩，若相关系数大于门限，则采用联合压缩。得到较好的压缩性能和压缩 效率。 2 3 本章小结 本章首先简要介绍了立体测绘理论的一些基本概念，在此基础上，重点阐述 了高效立体图像自适应联合压缩方法，该方法首先对立体像对进行粗匹配，计算 粗匹配的图像块之间的相关系数，然后根据两者之间的相关性大小，自适应的选 择编码方式，若相关系数小于门限，则采用单独压缩方法，若相关系数大于门限， 则采用联合压缩方法。实验结果表明，与单独压缩方法相比，联合压缩方法具有 较好的压缩性能和压缩效率。由此可见，研究高效的立体图像联合自适应压缩算 法在三线阵图像压缩中起着重要的作用。 第三章基于f p g a 的立体测绘图像压缩系统的硬件实现 9 第三章基于f p g a 的立体测绘图像压缩系统的硬件实现 与传统电路设计方法相比，f p g a 具有功能强大、开发周期短、投资小、可反 复编程、可在线调试、保密性好等特点，因此，本文中采用f p g a 来设计与实现 立体测绘硬件系统；根据估计的硬件算法资源占用率，选用x i n l i xv i r t e xi ip r o 系列的芯片，根据f p g a 设计开发、v i r t e xi ip r o 芯片的特点以及本系统的要求， 并结合f p g a 外围电路的设计，使用p r o t e l9 9s e 软件完成立体测绘硬件系统 的原理图以及p c b 设计，同时为了验证此系统的各项性能指标，设计基于p c i 的 发送采集卡以及测试板( 模拟多路相机源) 对此硬件系统大规模的测试和验证。 因此本系统硬件平台是由发送卡、测试板、压缩板( 实现硬件算法) 、采集卡 以及两台p c 机搭建而成。 3 1 1f p g a 的基本架构 3 1f p g a 的基本介绍 f p g a 采用了逻辑单元阵列( l c a ，l o g i cc e l la r r a y ) 、内部包括可配置逻辑 模块( c l b ，c o n f i g u r a b l el o g i cb l o c k ) 、输入输出模块( 1 0 b ，i n p u to u t p u tb l o c k ) 和内部连线( i n t e r c o n n e c t ) 三个部分。 c l b 是f p g a 内的基本逻辑单元，具有相对独立的组合逻辑阵列，每个c l b 包含一个四输入或六输入，一些选型电路( 多路复用器等) 和触发器组成的可配 置开关矩阵。每块芯片包含几十到近干个c l b ，相互间通过互联布线进行连通。 f p g a 支持多种i o 标准，为用户系统提供了理想的接口连接。f p g a 内的i o 按组分类，每组能够独立地支持不同的i o 标准，实现了i o 支持的灵活性。 大多数f p g a 均提供嵌入式b l o c kr a m 存储器，这可以在用户的设计中实现 片上存储器。 f p g a 提供锁相环，相位环路锁定能够提供精确的时钟综合，且降低抖动，并 实现过滤功能。 3 1 2f p g a 的特点 采用f p g a 设计a s i c 电路，用户不需要投片生产，就能够得到合适的芯 片； f p g a 可做其他全定制或半定制a s i c 电路的中试样片； 1 0 立体测绘影像压缩硬件系统设计与实现 f p g a 内部有丰富的触发器和i o 脚； f p g a 是a s i c 电路中设计周期最短，开发费用最低，风险最小的器件之 一： f p g a 采用高速c h m o s 工艺，功耗低，可以与c m o s ，订l 电平兼容； f p g a 芯片是小批量系统集成度高，可靠性高的器件； 3 1 3f p g a 的工作原理 f p g a 是由存放在片内r a m 中的程序来设置其工作状态的，因此，工作时需 要对片内的r a m 进行编程。加电时，f p g a 芯片将数据读入片内编程r a m 中， 配置完成后，f p g a 进入工作状态。掉电后，f p g a 恢复成白片，内部逻辑关系消 失。因此，f p g a 能够反复使用，同一片f p g a ，不同的编程数据，可以产生不同 的电路功能。因此，f p g a 的使用非常灵活。 3 1 4f p g a 的开发流程 f p g a 设计主体分为设计输入、综合、功能仿真( 前仿真) 、实现、时序仿真 ( 后仿真) 、配置下载等六个步骤，设计流程如图3 1 所示。 3 1 5f p g a 的配置模式 图3 1 开- g a 开发流程 配置又称为加载或下载，是对f p g a 的内容进行编程的一个过程。每次上电 第三章基于f p g a 的立体测绘图像压缩系统的硬件实现 1 1 后需要进行配置是因为f p g a 采用s r a m 的工艺。在f p g a 内部，有许多可编程 的多路器、逻辑、互连线结点和r a m 初始化内容等，都需要配置数据来控制。f p g a 中的配置r a m 就起到这个作用，它存放了配置数据的内容。 f p g a 有多种配置模式：并行主模式、主从模式、串行模式、外设模式； 并行主模式为一片f p g a 加一片e p r o m 的方式； 主从模式可以支持一片p r o m 编程多片f p g a ； 串行模式可以采用串行p r o m 编程f p g a ； 外设模式可以将f p g a 作为微处理器的外设，由微处理器对其编程。 本系统的压缩板采用菊花链式给f p g a 编程，其他的板卡采用从串模式给 f p g a 编程。 3 1 6f p g a 主要的外设芯片 f p g a 主要的外设芯片：电源芯片、存储芯片、时钟芯片和其他芯片。 下面主要介绍x i l i n xf p g a 的常用外设芯片： 电源芯片 ( 1 ) 额定电压 f p g a 对电源的要求与d s p 非常相似，一般需要2 5 v ，1 8 v 或1 5 v 作为核 心电压，3 3 v 或2 5 v 作为i o 电压，另外v i r t e xi i 和v n t c x i ip r o 还需要3 3 v 的 辅助电压。表3 1 列举了x i l i n x 不同系列f p g a 的电压需求。 表3 1f p g a 所需求的电压 f p g a 系列 v i r t e x - i iv i r t e x i ip r o s p a r t a n - i is p a r t a n - l i e 核心电压 1 51 52 51 8 怕电压 3 32 53 33 3 辅助电压 3 33 3 ( 2 ) 电压上升时间 为了保证f p g a 正常启动，核心电压( v c c t ) 的上升时间t r 必须在特定的 范围内，表3 2 列举了不同系列f p g a 的这一指标要求。此外，电压上升必须单调， 不允许有波动。某些d c d c 变换芯片，比如n 的t p s 5 4 6 1 x 系列可以外部调节 电压上升时间，给设计带来了方便。 表3 2 核心电压上升时间要求 f p g a 系列 v i r t e x i iv i n e x - i ip r o s p a r t a n i is p a r t a n - l i e 仃要求 1m s t r 5 0 m s 10 0 u s t r 5 0 m s i r 5 0 m s2 m s 在许多应用中，整个设计项目都采用外部的全局时钟是不可能或不实际 的。通常用阵列时钟构成门控时钟。门控时钟常常同微处理器接口有关， 用地址线去控制写脉冲。然而，每当用组合函数钟控触发器时，通常都存 在着门控时钟。 ， 当产生门控时钟的组合逻辑超过一级( 即超过单个的“与”门或“或”门) 时， 设计项目的可靠性变得很困难。我们不应该用多级组合逻辑去钟控p l d 设计中的触发器。多级逻辑的险象是可以去除的。 另一种流行的时钟电路是采用行波时钟，即一个触发器的输出用作另一个 触发器的时钟输入。如果仔细地设计，行波时钟可以像全局时钟一样地可 1 4 立体测绘影像压缩硬件系统设计与实现 靠工作。然而，行波时钟使得与电路有关的定时计算变得很复杂。行波时 钟在行波链上各触发器的时钟之间产生较大的时间偏移，并且会超出最坏 情况下的建立时间、保持时间和电路中时钟到输出的延时，使系统的实际 速度下降。 本系统中，我们采用外围时钟芯片，将其芯片的输出管脚接到f p g a 的全局 时钟管脚上，通过f p g a 的时钟管理器的产生系统的所需时钟。 其它芯片 f p g a 外围设备除了以上叙述的设备外，还有其它的设备器件，比如电平转换 芯片、差分芯片等多种器件。 本系统在接口设计方面，采用差分芯片，利用s c s i 接口将发送采集卡、测试 板和压缩板连接在一起构建硬件系统平台。 如何实现快速的时序收敛、降低功耗和成本、优化时钟管理并降低f p g a 与 p c b 并行设计的复杂性等问题，一直是采用f p g a 的系统设计工程师需要考虑的 关键问题。 3 2 三线阵立体测绘图像的硬件实现 图像压缩硬件系统用于对三路同时输入的图像进行并行8 倍压缩处理，整个 系统由发送单元、压缩单元、采集单元组成，如图3 2 所示： 3 2 1 发送单元 图3 2 图像压缩硬件系统框图 测试模拟源 p c i 作为发送单元，首先将1 0 2 4 * 1 0 2 4 * 1 0 b i t 的图像按照顺序进行组合，组合 第三章基于f p g a 的立体测绘图像压缩系统的硬件实现 1 5 之后的图像经过p c i 高速发送卡发送至测试板；测试板部分将由p c i 发送卡发送 的图像进行分割成三块，分别缓存到三组s d r a m ，然后再将s d r a m 中缓存的数 据按照接口信号时序同时连续读出，以此来模拟三路同时工作的相机。测试板对 应的框图如图3 3 所示： 图3 3 测试板硬件框图 发送卡的设计 ( 1 ) 发送卡的硬件设计 发送卡的硬件框图和数据流向如图3 4 ，发送卡完成数据由电脑传送至外部的 操作。l v d s 3 1 芯片将f p g a 的1 儿电平转为适合长距离传输的l v d s 差分电平。 发送卡配置寄存器包括： 复位高f 氐有效。 时钟上升厂f 降沿发送数据。 发送数据的大小端模式。 行同步高低有效。 帧同步高“氐有效。 发送时钟频率。 发送卡首先接收l o c a lb u s 发送来的配置信息，然后开始接收数据。数据由乒 乓操作控制器进行乒乓操作，传输给f i f 0 3 2 t 0 1 6 模块。再由数据重组控制器按外 部接口的要求将数据送出。对于要发送t b i t 、2 b i t 、4 b i t 、8 b i t 的情况，发送卡硬件 不做区分，只是在电脑上进行处理，将1 b i t 、2 b i t 、4 b i t 、8 b i t 数据扩充至1 6 b i t 。 这样处理可以简化硬件程序，提高系统的可靠性。 1 6 立体测绘影像压缩硬件系统设计与实现 图3 4 发送卡的硬件框图 ( 2 ) 发送卡的软件设计 发送卡软件首先读取要发送的数据，数据量由用户配置的图像宽度和图像高 度及图像比特深度计算得来。然后打包发送图像数据，每包大小为2 m b ，发送数 据过程中实时检测p l x 9 0 5 4 内部f i f o 状态，并根据前端出1 2 数据的速率调整p c i 的数据发送速率。软件发送流程如图3 5 示： 图3 5 软件发送流程图 p c i 发送给发送卡的数据，在硬件卡上通过两片s r a m 乒乓操作送出，为了硬 件上的设计方便，发送卡软件在发送数据给发送卡前，先将数据进行分割处理， 将总数据量平均分割成小于2 m b ，大于1 m b 的包，然后向发送卡发送参数标示发 送包的大小，硬件按照软件配置的包大小进行乒乓操作，这样做虽增加了硬件乒 乓次数，但极大的简化了硬件设计的复杂度。 第三章基于f p g a 的立体测绘图像压缩系统的硬件实现 1 7 3 2 2 压缩单元 图像压缩单元的硬件系统主要由一片主f p g a ( x c 2 v p 4 0 ) 、两片从p f g a ( x c 2 v p 4 0 ) 、存储系统以及输入输出接口组成。每一片f p g a 独立完成一路图像 的小波变换和量化，码流统一从主f p g a 输出。存储系统包括代码存储器p r o m 和编码存储器s ra m 。p r o m 由x c f l 6 p v o g 4 8 c 组成，单个存储空间为1 6 m b i t ， 用于存储代码，每次f p g a 在上电复位后就会从p r o m 中读取已存储的代码进行 工作，避免重复烧写f p g a ，节省时间。s 蝴由c y 7 c 1 0 6 1 a v 3 3 组成，单个存 储空间为1 m * 1 6 b i t ，4 片s r a m 构成两组，每组由2 片s r a m 拼接成1 m 3 2 b i t ， 用于小波变换和量化。输入输出接口包括输入l v d s 信号的s c s i 接口，用于原始 图像数据输入，输出l v d s 信号的s c s i 接口，用于压缩码流输出。 1 8 立体测绘影像压缩硬件系统设计与实现 3 2 3 采集单元 图3 6 压缩板的硬件框图 图像通过发送单元，传输给压缩单元，经过压缩编码器实时压缩编码后，通 过接收卡接收相应的码流数据。接收到相应数据后通过解码软件解码恢复图像， 并进行测评。 图3 7 为压缩解压缩系统框图，其中虚线框部分为软件解码部分。软件解码 过程描述如下：接收主机将采集到的硬件压缩码流存储为码流文件，调用软件解 第三章基于f p l 3 a 的立体测绘图像压缩系统自硬件实现 码程序对码流文件进行艉压缩，得到恢复图像及原始图像进行比较 细羔够鲨莉 接崆 图37 采集单元的示意图 采集卡设计 采集单元中我们主要是利用采集卡采集数据，下面我们详细介绍采集卡的硬 件设计和软件设计 ( 1 ) 采集卡的硬件设计 采集卡的硬件框图和数据流向如图38 采集卡完成数据由外部传向电脑的操 作。外部的l v d s 差分数据l v d s 3 2 芯片转换为t t l 电平送至f p g a 。 图3 8 采集卡的硬件框图 通用的数据采集卡可以接收从l b i t 1 6 b i t 不同位宽、2 0 m l a z q s o i v l h z 不同频 率的数据。采集卡工作时首先由上位机通过p c i l o c a l b u s 总线桥接器( p l x 9 0 5 4 ) 进行参数配置，配置内容包括： 时钟上升下降沿采样数据。 接收数据的位宽。 接收数据的太小端模式。 2 0 立体测绘影像压缩硬件系统设计与实现 行同步高低有效。 帧同步高低有效。 文数据重组控制器的工作方式： 数据重组控制器负责对外部不同位宽的数据进行重组，以符合f i f o 写入的时 序，工作模式如下图示，数据重组控制器对不同的数据位宽采用并行拼接方式， 在入口端不区分采集卡要求的接收数据位宽。在数据要进入f i f o 时，按照配置寄 存器的要求，将需要采集的数据送入f i f o ，完成对不同位宽的数据的采集工作。 这种工作方式虽对f p g a 资源有所浪费，但实现起来比较简单。 选黟 圭黟乓黟乓黟逵黟 o 1 l t o l 62 t 0 1 64 t 0 1 68 t o l 6 乙一 尊，蔓 ，尊 ， i o 刭弋7 二， 5 m u x l l 曼昌呈- - f 图3 9 数据重组控制器框图 b 乒乓控制器工作方式： 采集卡的上位机工作在查询方式下，即不管前端有没有采集到数据，上位机 每隔一小段时间就从采集卡读取一段数据，数据的大小为2 m b 。采集数据大小正 好为一块s r j 气m 的容量。每次采集引发乒乓控制器进行乒乓切换。乒乓控制器工 作方式如下： 第一次传输开始，乒乓控制器将接收到的数据写入s r a m 1 中，并把 s r a m中的数据读取给后端的 ，并开始对读出的数据进行_ 2 f i f 0 3 2 t 0 3 2 计数，当计数到当前读出的数据为第5 1 2 k 个数据时，将该数据替换为 o x 0 0 0 0 0 0 0 ，表明当前传输的5 1 2 k 个数据中有效的数据为o 。 s r a m的 个数据被读空，乒乓控制器准备进行乒乓切换。此时它_ 2 5 1 2 k 将s r a m 1 中写入的有效数据的个数( 即写入数据的当前地址) 写入地址 为0 x 8 0 0 0 0 的存储空间。乒乓控制器完成乒乓切换。 乒乓控制器开始将接收到的数据写入s r a m2 ，并同时将s r a m 一1 中的数 第三章基于f p g a 的立体测绘图像压缩系统的硬件实现 2 1 据读出送给f i f 0 3 2 t 0 3 2 。当s r a m1 被读空时，乒乓控制器便开始进行 乒乓切换，切换时仍然将s r a _ m 一2 中写入的有效的数据个数写入地址为 0 x 8 0 0 0 0 的存储空间。 乒乓控制器不断重复上述操作，将数据流源源不断的传输给f i f 0 3 2 t 0 3 2 ， l 0 c a lb u s 控制器则将该数据通过9 0 5 4 传送给上位机。 上位机对每一次乒乓切换传来的数据( 2 m ) 进行拆包，首先读取包最后 的数据有效表示信息，通过该信息，将包中的有效数据写入实现开辟的 b u f f e r 中，将无效数据做丢弃处理。 ( 2 ) 采集卡的软件设计 采集卡的软件采用查询方式，每隔一小段时间便从9 0 5 4 接收一帧数据( 2 ) ， 然后提取接收包中的有效数据信息存入本地b u f f e r 中。采集软件流程图如图3 1 0 = 二 刁、o p l x9 0 5 4 提供了一套s d k 程序开发包，包换所有的p c i 相关的函数，用户 在卡发p c i 产品时，不需要自己编写驱动程序，只需调用s d k 中的相应函数就可 完成复杂的p c i 操作。采集卡的软件程序，主要调用s d k 中的p l x d m a s g l t r a n s f e r 函数，其定义如下： p l x d m a s g l t r a n s f e “ h a n d l eh d e v i c e ， d m a c h a n n e ld m a c h a n n e l ， d m a t r a n s f e r e l e m e n t 木d m a d a t a , b o o l e a nr e t u r n l m m e d i a t e ) ； 其中： h d e v i c e ：要操作的当前已打开设备号。 d m a c h a n n e l ：传输数据是使用的d m a 通道号。 * d m a d a t a ：要传输的数据的内存首地址。 r e t t g n i m m e d i a t e ：是否立即返回参数。 立体测绘影像压缩硬件系统设计与实现 图3 1 0 采集卡软件流程图 整合的数据传输卡 传输卡通用功能分为采集和发送两种，p c b 板除接口芯片不同之外，采集卡 和发送卡的硬件完全一致。而从上述采集卡和发送卡的硬件结构和软件设计中， 可以发现，不仅采集卡、发送卡的硬件结构非常相似，软件的流程也有很多相同 的地方，这就为采集卡、发送卡整合到一块硬件卡上成为可能。对于采集和发送 的不同功能，只需用软件发送约定好的指令，使传输卡工作在指定的模式下即可， 省去了每次为完成不同的功能而反复烧写的麻烦。整合后的数据传输卡，用户可 用友好的人机交互界面进行参数配置，由m f c 的图形界面通过调用w m 3 2c o n s o l e a p p l i c a t i o n 程序实现，这样做的好处是，在进行大规模重复性测试时，可以做到 界面程序和发送程序分离，对于重复性的测试，只需简单的编写批处理程序，就 可实现无人参与的自动化测试。避免由人工参与大规模测试时引发的错误。整合 后的采集发送卡界面如图3 1 1 。 第三章基于f p g a 的立体秘纶图像压缩系统的硬件实现 图31 1 整合的数据传输卡界面 图中的保存参数按钮，可以直接在当前目录下生成用于脚本命令的文本。在 进行大规模重复性测试时，由界面配置参数显得不那么必要，重复性的劳动容易 使人疲劳，引入人为错误干扰最终的测试结果。数据传输卡驱动程序和人机交互 程序完全独立，在大规模测试时只需编写简单的脚本，僵可实现无人参与的大规 模测试。 33 本章小结 本章首先简要介绍了f p g a 的基本架构、特点、工作原理、开发流程、配置 模式以及f p g a 的主要外设芯片，包括电源芯片、存储芯片、时钟芯片以及其它 外设等；然后根据需求设计了三线阵立体测绘图像的硬件实现，包括发送单元、 压缩单元以及采集单元；其中发送单元的p c i 和采集单元根据通用采集发送卡的 设计方法，从软件和硬件两个方面阐述发送采集卡的设计方法。由f p g a 设计实 现的采集发送卡，实现方法灵活，配合大容量的存储器对数据进行缓存，可以实 现高速设计的采集和发送。配合脚本文件的使用，在实际应用中可以大大减少数 据传输过程中的重复性劳动。在此基础上，完成了图像压缩系统硬件原理图以及 p c b 的设计。 第四章压缩平台编码器设计及硬件实现 第四章压缩平台编码器设计及硬件实现 本章介绍立体测绘图像压缩以及基于发送卡硬件的多用途相机模拟程序的设 计。这个程序设计开始从相机模拟程序由发送卡硬件负责图像