（农业电气化与自动化专业论文）基于tms320dm270的图像处理平台的开发.pdf

摘要 针对现在市场上普遍采用基于台式p c 机和w i n d o w s 桌面操作系统的技术来开发图像处理 的系统存在成本都较高、功耗大和现场维护成本较高的问题，本文较详细介绍了笔者开发一套 嵌入式图像处理系统一一i p p 平台。文中首先对i p p 采用的基于t i 的d m 2 7 0 架构的硬件平台 徽了简单介绍，分析说明该平台在图像处理的性能和嵌入式方面的优势。然后，笔者对i p p 图 像处理中的图像采集模块，图像处理模块和图像显示模块的实现做了详细的设计和实现说明。 i p p 利用d m 2 7 0 中高性能的d s p 芯片完成图像数字信号处理，利用a r m 来负责系统的管理和 控制。利用移植在该平台上的l i n u x 操作系统将a r m 和d s p 无缝的连接和管理。此外本文还 给出了i p l 平台系统的软件架构。提供了i p l 功能扩展的方法。本文对平台的开放性进行了详 细的论证，并给出了实现的方案，使1 p p 成为一个可持续发展的学习积累平台。文中最后并给 出了该图像处理系统在自动喷洒农药的一个应用实例，说明了i p p 的性能表现。 关键诃：嵌入式，图像处理，d m 2 7 0 ，d s p ，l i n u x a b s t r a c t t h ea r c h i t e c t u r e 如rc u r r e n ti m a g ep r o c e s s i n gi sb a s eo i lp cw o r k s t a t i o nc u r r e n t l y w h i c hh a sl o t so f f a i l t yi nr e a l f i e l d ，i n c l u d i n gt h eb u i l d i n gc o s t ，t h ep o w e rc o n s u m i n g ，t h es t e a d a b l i t y o na n o t h e rh a n d ， t h ee m b e dw h i c hb a s e do nd m 2 7 0 p r o v i d e r e db yt ib r i n gu sa n o t h e rs o l u t i o n i n g 1 1 l i sa r t i c l eb r i n gu s a ne m b e d d e di m a g ep r o c e s s i n gs y s t e mn a m e di f p o nt h ef i r s tp a r t ，t h ea r t i c l e sd i s c r i b e st h eh a r d w a r e f e a t u r eo fd m 2 7 0 , a n a l y z et h ev i r t u l eo ft h i sp l a f f o r mv s t h eo n e sb a s e dp c t h e n t h i sa r t i c l e s d i s c r i b e st h ei m a g ei n p u tm o d u l ei nl p p w h i c hi st h ef r o n tp a r to fi m a g ep r o c e s s a n dt h ed s pf e a t u r e s i si n t r o d u c e dl a t e r w h i c hi st h eh wf o rl o t so fr a a t h m a t i co p e r a t i o n s t h ed s pi nd i n 2 7 0i sa r m e dw i t h ai m x c o p r o c e s s o r t os p e e du pt h em a t i r xa n da r r a yo p e r a t i o n i nt h et h i r dp a r to ft h i sa r t i c l e ，ai p l s o f t w a r ea r c h i t u mi sd e s i g n e d 1 1 l es wa r c hc o v e r st h ed e s i g ni nd s p t h es wo f o na r ma n dt h e c o m m u n i c a t i o no fi m a g ei n p u t ，i m a g ep r o c e s s ，a n dt h ei m a g ec o n t r o l l e rm o d u l e s a nd e m op r o j e c t w h i c hd e v e l o p e do np c i 0 41 a s ty e a ri si m p l e m e n t e do nl p p mt h el a s tp a r t t h i sd e m os h o w st h el p l h a sl o r so fn e wa d v a n c e df e a t u m sa n dt h eh i g hp e r f o r m a n c ei ni m a g ep r o c e s sp l a t f o r m k e y w o r d s ：e m b e d d e d ，i m a g ep r o c e s s i n g ，d m 2 7 0 ，l i n u x 独创性声明 v 7 7 3 8 8 e ； 本人声明所呈交的论文是我个人在导师指导下( 或我个人) 进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得中国农业大学大学或其它教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 研究生签名： 闭千爰 时间： 。了年) 月 曰 关于论文使用授权的说明 本人完全了解中国农业大学大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同 媒体上发表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名： 阁竿羡 时间： p ，年1 7 月 日 导师签名： 夕吨 h i 3 ： 1 9j 年飞月同 1 。1 课题的目的及意义 第1 章绪论 随着信息化技术的发展和数字化产品的普及，以计算机技术、芯片技术和软件技术为核心 的嵌入式系统再度成为当前研究和应用的热点，通信、计算机、消费电子技术( 3 c ) 含一的趋 势正在逐步形成，无所不在的网络和无所不在的计算( e v e r y t h i n gc o n n e c t i n g , e v e r y w h e r e c o m p u t i n g ) 正在将人类带入一个崭新的信息社会。随着农业生产和科研的深入，嵌入式计算机 的技术在农业方面的应用日趋细化。 另方面图像处理技术在农业领域的应用也越来越广泛。自动采摘水果的机械手，自动嫁 接机，智能喷药系统，田间病虫害识别系统等等都使用到图像的采集处理和图像模式识别等领 域的知识。图像作为农业科学中信息传感中一种重要的手段，已经成为一些平台开发中的一个 重要的基础建设的内容。 作为一些图像处理的系统，科研人员般对图像的处理算法比较熟悉，这也是图像处理课 题的重点。对于图像处理平台的基础建设由于涉及到的硬件知识和软件知识比较杂和繁多，往 往会消耗图像开发小组的大量精力。i p p ( i m a g e p r o c e s s p l a t f o r m ) 作为个图像处理的开发平 台目标是提供一个图像开发基础平台，提供二次开发的软件和硬件平台。让图像处理算法研究 小组很容易的投入全部精力在腥i 像算法上而不是图像处理的一些基础上作。同时i p p 提供了 一个开放的平台，任何图像处理的科研结果都可以作为i p p 的新功能嵌入到原来的系统中，让 科研成果通过i p p 得到积累和重用。 1 2 图像数字技术的研究内容概况 人类感知外界信息，8 0 以上是通过视觉得到的，而图像实际上正是对这种感知能力的一 种人为增强形式，因此对图像的研究为我们感知外部世界很有帮助。随着图像数字技术的成熟， 图像作为更直接更丰富的信息载体，正在成为越来越重要的研究对象。 人类是通过眼睛与大脑来获取、处理与理解视觉信息的，周围环境中的物体在可见光的照 射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号，经神经纤维传入大脑皮 层进行处理与理解。视觉，不仅指对光信号的感受，它包括了对视觉信息的获取、传输、处理、 存储与理解的全过程，信号处理理论与计算机出现以后，人们试图用摄像机获取环境图像并将 其转换成数字信号。用计算机实现对视觉信息处理的全过程。这样，就形成了一门新兴的学科 一计算机视觉。计算机视觉的研究目标是使计算机具有通过一幅或多幅图像认知周围环境信息 的能力，这种能力将不仅使机器能感知环境中物体的集合信息，包括它的形状、位置、姿态和 运动等，而且能够对它们进行描述、存储、识别与理解。由此可知，计算机视觉是与图像数字 技术密切相关的，在很大程度上研究的内容是重叠的。而图像的数字技术和计算机视觉技术正 在得到越来越多的应用。 图像数字技术在广义上是各种与图像有关技术的总称。其研究内容主要包括以f 三方面： 1 2 1 图像处理 图像处理技术就是把现场获取的图像转换成具有所希望特性的另一幅图像。例如，可通过处 理使输出图像有较高的信噪比或通过增强处理突出图像的细节，以便于操作员的检验。在计算 机视觉研究中经常利用图像处理技术进行预处理和特征抽取。比较狭义的图像处理主要是指对 l 中国农业人学硕士学位论文第1 章绪论 剧像进行各种加上以改善视觉效果，并为图像识别打f 基础。 1 2 2 模式识别 模式识别技术就是根据从图像抽取的统计特性或结构信息把图像分成预定的类别。例如， 文字识别或指纹识别。在计算机视觉中，模式识别技术经常用于对图像中的某些部分例如分割 区域的识别和分类。 1 2 3 图像理解景物分析 图像理解是在图像识别的基础上，进一步研究图像中各个目标的性质和他们之间的相互关 系，井得出对图像内容含义的理解。一幅图像的图像理解程序不仅描述图像本身，而且描述和 解释图像所代表的景物以便对图像代表的内容做出决定。在人工智能视觉研究的初期经常使用 景物分析这个术语以强调二维图像与三维景物之间的区别。图像理解除了需要复杂的图像处理 以外，还需要具有关于景物成像的物理规则的知识以及与景物内容有关的知识。 1 3 数字图像处理在农业机械中的应用 图像处理技术在农业机械上的研究与应用开始于2 0 世纪7 0 年代末期，主要研究集中丁农 产品分选机械中利_ 机器视觉技术对农产品( 如苹果、桃、香蕉、西红柿、黄瓜等) 进行品质 检测和分级处理等。由于受到当时计算杌发展水平的影响，检测速度达不到实时的要求，处于 试验研究阶段。随着电子技术、计算机软硬件技术、图像处理技术及与人类视觉相关的生理技 术的迅速发展，机器视觉技术本身在理论和实践上都取得了重大的发展，在农业机械上的研究 与应用上也有了较大的发展。除农产品分选机械外。目前该技术已渗透到收获、播种、施肥和 植保等机械中，有些已取得了实用性的成果。 1 3 1 数字图像处理在农产品分选机械中的应用 农产品分选机械是机器视觉技术在农业机械中应用晟早、最多的一个方面。主要是利用该 项技术进行无损检测，即利用农产晶表面所反映出的一些基本物理特性对产品按一定的标准进 行质量评估和分级。需要进行检测的物理参数有尺寸、质量、形状、色彩及表面缺损状态等， 机器视觉技术通过采集农产品外观图像，经过图像处理与分析，可一次获得决定农产品品质的 颜色、尺寸、形状及表面缺陷等参数，因此将机器视觉技术应用于农产品检测有着不可比拟的 优越性。 2 0 年来，对农产品检测的研究有：一是水果类，如苹果、桃、柑橘等分级检测；二是蔬菜 类，如西红柿、黄瓜等品质检测；三是谷物，如大米、小麦的检测、分级；四是农副产品如 鸡蛋的裂纹检测。在我国运用计算机视觉系统进行农产品分选的研究开展较晚，但正在日益得 到重视。中国农业大学刘禾博士( 1 9 9 4 ) ，完成了“计算机视觉在水果自动分级中的应用研究一 苹果自动分级”的博士论文，初步建立了一套根据苹果的形状、大小、表面缺陷进行自动分级的 试验研究系统。籍保平、吴文才在农业机械学报( 2 0 0 0 ) “计算机视觉苹果分级系统一文中回 2 中国农业大学硕士学位论文第1 章绪论 i i i i 顾了计算机视觉技术在苹果品质检测和分级中虑崩的进展，提出了计算机视觉苹果高速分级的 系统模型。计算机苹果分级系统可以对苹果的外部缺陷、色泽、尺寸和形状进行全面的检测。 在此基础上，可对苹果进行高速和精确的分级。 1 3 2 数字图像处理在农产品加工机械中的应用 农产晶加工机械视觉技术的研究工作是在2 0 纪9 0 年代开展的，主要用于在农产品加工过 程中进行品质自动检测及反馈控制。例如在海产品鲜虾、鲇鱼肉产品的加工中，利用机器视觉 技术确定下刀位置，烘烤食品过程中利用机器视觉技术检测颜色来控制烘烤质量。 1 3 3 数字图像处理在农业收获机械中的应用 机器视觉技术在收获机械中的应用研究始于2 0 世纪8 0 年代中后期，是近年来最热fj 的研 究课题之一。主要研究集中在农产品收获自动化( 包括蔬菜、水果的收获) 。其基本原理都是在 收获机械上配备摄像系统采集田间或果树上作业区域图像。运用图像处理与分析的方法判别 图像中是否有目标( 如水果、蔬菜等) 出现，发现目标后，引导机械手完成采摘。研究的农产 品包括西红柿、卷心菜、疆瓜、苹果、柑桔等。研制的机械有柑桔、樱桃和番茄收获机械等。 但是由于田问或果园作业环境较为复杂，使得采集的图像含有火量的背景噪卢和干扰。例如植 物或蔬菜的果实常常被茎叶遮挡，田间光照也时常变化。因此，造成目标信息判别速度较慢， 识别的准确率不高。目前，国外已有部分成果应用于实际生产中。 1 3 4 数字图像处理在农田作业机械中的应用 由于受计算机图像处理等相关技术发展的影响，机器视觉技术在农田作业机械中的应用研 究起步较晚。直到2 0 世纪9 0 年代中后期，相关研究才见诸于报道，主要是农田作业机械，如 播种、施肥、植保机械中的应用研究。采用机器视觉技术进行农田作业时需要解决的主要问 题：一是植株秧苗行列的识别；二是作物行与机器相对位置的确定导向；三是杂草与植株的识 别。后一个问题尤其复杂，国外对该项研究工作的重点很多集中于这一问题。 1 4 嵌入式系统 嵌入式系统是i t 继网络技术之后，叉个新的技术发展方向。由于嵌入式系统具有体积小、 性能强、功耗低、可靠性高以及面向行业应用的突出特征。目前已经广泛地应用于军事国防、 消费电子、网络通信、工业控制等各个领域。随着计算机技术与通信技术的发展，嵌入式系统 的研究与开发也有着越来越重要的实际意义。 随着现代计算机技术的飞速发展和互联网技术的广泛应用，从p c 时代过渡到了以个人数 字助理、手持个人电脑和信息家电为代表的3 c ( 计算机、通信、消费电子) 体的后p c 时代。 后p c 时代里，嵌入式系统扮演了越来越重要的角色，被广泛应用于信息电器、移动计算机设 备、网络设备和工控仿真等领域。嵌入式系统的开发也成为近年l t 行业的技术热点。 根据i e e e ( 国际电气和电子工程师协会) 的定义，嵌入式系统是“控制、监视或者辅助设 备、机器和车间运行的装置”。这主要是从应用上加以定义的，从中可以看出嵌入式系统是软什 和硬f i ：的综合体，还可以涵盖机械等附属装置。不过上述定义并不能充分体现出嵌入式系统 的精髓。目前国内个普遍被认同的定义是：以应用为中心、以计算机技术为基础、软件硬件 可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。 3 2 1 系统硬件平台 第2 章i p p 平台系统架构 系统硬件平台的总体设计是根据系统的总体功能要求。将系统硬件电路划分为独立的硬件 功能模块，并给出各个硬件模块的功能定义以及它们之间的关系，如图2 - 1 所示： 圈2 - 1 系统硬件平台功能框图 f 面是各个功能模块的功能介绍： c p u 模块是整个网络视频服务器的核，t l , ，它主要是对网络视频服务器控制和管理，运行嵌 入式操作系统，处理复杂的各种协议，完成大运算量计算，进行数字信号处理等。 成像和视频处理前端主要是镜头模块( 包含c c d 传感器、镜头和马达) 与模拟前端电路 ( a f e ) 。模拟前端的作用是将图像传感器输出的模拟图像信号嵌位放大并完成a d 转换。 存储器模块是由f l a s h 与s d r a m 组成。f l a s h 存储器是用来存储程序的，在调试阶段 可以不用。但是它是系统独立运行( 脱机运行) 必不可少的组成部分。s d r a m 存储器的主要 功能是用于系统软件的运行以及视频图像数据的存储。在图像处理中需要大量的存储空间存储 原始图像数据以及压缩之后的数据。s d r a m 模块的被访间频率是很高的，所以对s d r a m 的 读写速度要求很高。 网络模块也是整个系统中的一个重要的组成环节。它负责将c p u 处理器模块处理后的数据 通过r j 4 5 接口将数据向网络发送。 云台控制模块的设计是便于扩大网络摄像机的监视范围，使用户可以方便的调节网络摄像 机的摄像角度，以及调节焦距等。 执行模块是平台图像处理完毕后的一个结果处理部分。根据系统设定的判断条件输出控制 信息给控制部分。 电源模块的功能是为系统提供稳定的电源。 调试仿真模块只用于调试仿真使用。在系统脱机运行厉，调试模块就不再起作用了。 4 中国农业大学硕上学位论文 第2 章i p p 平台系统架午勾 2 1 1 c p u 处理单元 t m s 3 2 0 d m 2 7 0 芯片是本系统的核心芯片，它控制着下位机所有其他模块的运作和所有数 据的处理。t m s 3 2 0 d m 2 7 0 是美国德州仪器公司( t i ) 的一款为数码相机设计的高性能c p u 。 d m 2 7 0 是一个单芯片多处理器系统：a r m 7 t d m ir 1 s c ( 简称a r m 7 ) 处理器、t m s 3 2 0 c 5 4 0 9 d s p ( 简称d s p ) 和d s p 协处理器。其中a r m 7 主要负责控制功能，t m s 3 2 0 c 5 4 0 9d s p 主耍负 责数据处理功能，d s p 协处理器的功能是加快图像处理速度。t m s 3 2 0 d m 2 7 0 有以卜技术特点： ) 叹核c p u ，t m s 3 2 0 c 5 4 0 9d s p 和a r m 7 t d l v f lr i s c 处理器：4 5 0 m i p sd s p 子系统采用0 1 8 微米技术；高性能的、最高读写频率可达1 0 0 m h z 的3 2 位s d r a m 接口：可编程的c c d 控制 器，最高可支持4 m 象素的c c d ；可以实现3 0 帧庸 的全n t s c p a l 制式预览( 实时) 显示； 支持全精度的抓拍( 1 0 幅图像，秒) ：支持c o m p a c t f l a s h ( c f c ) 和s m a r t m e d i a ( s s f ) 数据 存储；支持隔行和逐行扫描模式的c c d 和c m o s ；u s b 、r s - 2 3 2 和i r d a 通讯接口；3 0 个用 户可编程通用串行f o 口，可用于对外设控制；低功耗，预览模式为2 6 0 m w 、拍摄模式为3 5 0 r o w 、 m p 3 橘放模式为1 0 5 m w 。 1 m s 3 2 0 d m 2 7 0 有以下的优点：1 ) 支持不同应用和文件格式( j p e g 、m p e g l 、m j p e g 、 h 2 6 3 、m p 3 ) ；2 ) 代码可移植性强，在同样的平台可以开发不同的产品，减少开发周期；3 ) 高集成度，降低整个系统的成本，减少能源消耗。 t m s 3 2 0 d m 2 7 0 由以下五大模块组成： a r m 子系统 d s p 子系统 d s p 协处理器 图像外围单元 s d r a m 控制器 下面具体介绍d m 2 7 0 的五大功能模块。 2 1 1 1 删子系统 a r m 子系统由a r m 7 t d m lr 1 s c 处理器内核、内部r a m 和外设模块组成。a r m 子系统 完成所有的系统控制功能，可以支持一些实时操作系统，如u c o s ，v x w o r k s ，u l t r o n ，n u c l e u s 和l i n u x 等。a r m 也控制片上大部分功能模块，如定时器、中断控制器、c c d c m o s 控制器、 b u r s t 压缩引擎、o s d 、n t s c p a l 视频编码器、u s b 、c f 异、s m 卡、i r d a 、预览引擎和串 口等。同时，用户接口和d s p 的联系并不紧密，通过d s p 的h p i 和一些专用的中断进行通讯。 a r m 可以通过这个端口直接读写d s p 的内部存储器，传递命令和数据。a r m 和d s p 都可以 访问s d r a m ，从而有效的共享大量的图像数据块，如图2 2 所示。 1 r g ：b 豢 a 州 c o r e c 口r 薯 篱 l ，o b l o c k l 洲纂 l 蓑鬻鬻粼戳瓣戮獭黼鬻麟 图2 - 2 棚子系统结构示意圈 a r m 负责处理许多系统功能，如系统级别初始化、配置，用户接口，用户命令执行，p c 通讯和系统控制等。因为a r m 有很大的程序空间和较好的上一f 文交换能力，所以比片二d s p 5 更适合做复杂的多任务和总体控制任务。 2 1 1 2 d s p 子系统和协处理器 d s p 子系统由t m s 3 2 0 c 5 4 0 9 d s p ，d s p 本地内存块，和专用内存块( 1 m a g e b u f f e r ) 组成， 如图2 - 3 所示。两个协处理器是i m a g ee x t e n s i o n 0 m x ) ，和v a r i a b l el e n g t hc o d e r ( v l c ) 。该d s p 是一个5 0 0 m i p s ，0 1 8 微米技术的t m s 3 2 0 c 5 4 0 9 。 d m 2 7 0 中的d s p 负责自动曝光，自动聚焦，自动白平衡( e ，6 f ， w b ) 和部分图像流水 线( i m a g i n g p i p e l i n e ) 的任务。同时，d s p 也管理s d r a m 传输，设置并控制协处理器完成图 像处理和压缩。d s p 的编程灵活性和易用性让工程师能够自定义处理流程，调整质量性能比。 t m s 3 2 0 c 5 4 0 9 是一个基于哈佛( h a r v a r d ) 体系的高带宽处理器。哈佛结构允许数据和程 序代码值同时被锁存，而不会产生冲突。c 5 4 0 9 能完成单周期乘加运算，这是许多数字信号处 理和图像处理的基础。另外，d s p 有一个算术逻辑单元，可以完成加、减和布尔运算指令。对 于大计算量或图像处理任务，c 5 0 0 0 可以作为一个高速控制器，将任务分配给d l v l 2 7 0d s p 子 系统的其他单元( i m x 上) 。 圈2 3d s p 子系统 2 1 1 3 图像功能单元 d m 2 7 0 的图像功能单元通过a r m 端的内存映射寄存器由a r m 控制。d m 2 7 0 有4 个图像 处理功能单元，c c d 控制器，预览引擎，连拍模式压缩解压缩单元，和硬件图形单元。这些 专用的图像单元由a r m 控制，用于向d m 2 7 0 系统读入数据，为用户接口提供彩色o s d 窗口。 t m s 3 2 0 d m 2 7 0 的i 訇像功能单元之一c c d c 控制器为c c d 和c m o s 图像传感器提供了必 须的逻辑，对逐行和隔行扫描c c d 或c m o s 图像传感器给予了很好的支持。c c d 控制器可以 编程控制，有2 0 个寄存器需要设置，由t m s 3 2 0 d s c x 控制，能支持商达4 0 9 6x4 0 9 6 象素的 c c d 。它有以下几部分功能：c c d 接1 3 、数字钳位、时序发生以及输出格式化，如图2 - 4 所示： 图2 - 4c c d 控制器功能框图 6 中国农业人学硕士学位论文 第2 章i p p 平台系统架构 兰! 皇舅曼曼鼍曼_ i qi 皇皇曼曼兰章曼曼曼皇曼皇皇皇量曼量蔓曼皇皇蔓曼曼曼量詈舅量曼皇曼曼皇皇寰皇曼量曼舅皇曾皇量皇 c c d 控制器采集处理c c d 图像传感器的数据。c c d 所需的a d 转换和时序生成由外部芯 片提供。c c d 时序生成器( c c d t i m i n g g e n e r a t o r ) 可以向外部时序产生电路提供h d v d 信号， 也可以接受外部传来的h d v d 信号并与其保持同步。c c d 控制器最高可以处理1 2 位宽的图像 数据，可以支持高达3 0 m h z 的点时钟。我们这里采用t v p 5 0 4 0 生成c c d 控制器所需时序， 并传送 m ，v d 、场i d 和象素时钟信号。 其他单元没有用到就不赘述了。 2 1 - 1 4 s d r a m 控制嚣 s d r a m 控制器是s d r a m 与所有功能模块的接口。它支持最高8 0 m i - i z ，3 2 位s d r a m ， 提供了连续数据访问。也对访问s d r a m 的功能单元区分优先级以支持实时c c d 数据流输入 车u t v 显示数据输山。s d r a m 访问性能达到3 2 0 m 字节秒。s d r a m 控制器在s d r a m 与d m 2 7 0 处理器和图像单元之问提供高带宽接口。 s d r a m 控制器管理处理器和图像功能单元之间的数据流。d m a 帮助在外部存储设备之间 传输数据块而不占用a r m 资源，这是a r m 处理中断、管理系统，而d m a 传输数据。 2 1 2 成像与视频处理前端 成像和视频处理前端主要是镜头模块( 包含c c d 传感器、镜头和马达) 与模拟前端电路 ( a f e ) 。本文所述的成像和视频处理前端与t m s 3 2 0 d s c 2 1 的接口设计如图2 - 5 所示： c c n 懊块 t - s 3 2 s c 控i r - 习 一萎壅“ l = 二二!襄肇卜 f 善鼢l 。一。 时-r l l 玲l 佩 l 【 i 一 圈2 5 赢像和视频处理前端接口设计示意圈 驱动电路和时序生成器件产生c c d 或c m o s 所需要的时钟信号，模拟前端的作用是将图 像传感器输出的模拟图像信号钳位放大，并完成a d 转换，这里采用t v p 5 0 4 0 。t m s 3 2 0 d s c 2 1 含有图像处理和时序控制电路，通过i o 接口可以控制时序发生通过c c d 控制器可以正确接 收垂亩同步( v d ) 和水平同步( h d ) 信号。经过相关配置以后，d s p 就可以接受t v p 5 1 4 5 输 出的c c d 原始数据了。 2 1 3 云台控制模块 在图像处理监视系统中，云台可以增加图像采集的活动范围。本系统中采用4 8 5 总线实现 对云台的控制。d m 2 7 0 有两个同步串口输出，只要再增加一个m a x 4 8 5 芯片，就可以实现电 平转换，从而实现软件控制云台。 2 1 4 外部存储器扩展模块 外部存储器模块包括两部分；f l a s h 和s d r a m 。 f l a s h 主要用于存放程序，包括系统程序和各种算法程序。本系统中采用的是s s t 公司的 s s t 3 9 v f l 6 0 9 0 4 c - e k 。s s t 3 9 v f l 6 0 是3 3 v 电源供电，其存储容量是2 m 字节，1 6 位访问方式 速度为9 0 n s 。 7 中国农业大学硕上学位论文第2 章i p p 甲台系统架构 岂皇鲁! 曼曼皇曼寡舅舅置置i l l l i i l 曼皇量鲁! 鼍蔓舅舅曼曼曼詈鼍芑皇量曼量曼! 皇曼 s d r a m 主要用于系统软件运行以及存放中间数据。本系统中使用了两片韩国现代公司 ( h y n i x ) 生产的h y 5 7 v 6 4 1 6 2 0 h g 。h y 5 7 v 6 4 1 6 2 0 h g 是3 3 v 电源供电，其存储容量是4 m 字 1 6 值访问方式，时钟频率为1 3 3 n h z 。 卧s h 和s d r a m 的外围电路，以及和d s c 2 1 的管脚连接都是很成熟的技术，在这就不再累 餐。 2 2 系统主c p u 和协处理器 2 2 1 a r m 和d s p 通讯机制 d m 2 7 0 内部有两个处理器内核a r m 和d s p ，这两个处理器需要通讯以共同协调完成任务。 a r m 和d s p 之间有两种主要的通讯内容：1 ) d s p 引导时，a r m 向d s p 加载代码或重新加载 程序：2 ) 控制d s p 时，用h p i b 下载命令包到d s p ，实现a r m - - d s p 通讯协议。 a r m 和d s p 通过h p i b 通讯。h p i b 物理上连接着d s p 端口和a r m 的总线控制器b u s c 。 a r m 通过编程h p i b 在d s p 内存跌射中打开一个3 2 ( 字窗口，然后访问d s p 内存。a r m 和 d s p 共享一种数据结构用于命令请求、确认和数据。如图2 - 6 所示。 a r m。骚 j 盖啦巨固习 图2 - 6a 列和d s p 通讯示意图 d s p h o s t 接e l 有两种模式：1 6 b i t 模式和8 b i t 模式。8 b i t 模式中，c 5 4 x 与主机之间需要握手信 号，主机不能直接访问d r a m ，而通过d s p 的三个特殊寄存器实现传输和接收。这三个寄存 器是：h p i a ( 地址) ，h p i d ( 数据) ，和h p i c ( 控制) 。1 6 b i t 模式时，主机可以直接访问d s p 的d r a m 。这时不需要8 b i t 模式下的握手，因此可以达到更快的传输速率。 2 2 2 a r m d s p 通讯硬件协议 在d s p 数据空间定义一段内存空间作为命令寄存器，然后通过h p i 访问这些寄存器，就是 一个d s p 与a r m 之问的通讯接口。d s p 和a r m 都可以异步地向另一方发出命令，两个处理 器之间没有主从关系。 为了建立这种双向异步通讯，系统设计了两组寄存器，一组用于a r m ，一组用t - d s p ，如 图2 7 所示。每组寄存器有一个命令寄存器( a r m c r ，d s p c r ) 和命令完成寄存器( a r m c c r ， d s p c c r ) 。c c r 寄存器返回一个状态字表明命令执行是否成功。另外，每个命令可以传递 3 0 w o r d 的参数。命令参数寄存器( d s p c p r ，a r m c p r ) 和命令返回寄存器( d s p c r r ， a r m c r r ) 是独立的寄存器，因此。d s p 在返网结果时a r m 可以设置新命令。 8 圈2 - 7a r m b s p 通讯静存器示意圈 d s p 向a r m 命令寄存器( a r m c r ) 写入命令m 并请求h p i 中断，就可以向a r m 发送命令。 类似，a r m 向d s p 命令寄存器( d s p c r ) 写入命令并请求h p i 中断。d s p 读墩命令并做 出相应的操作。命令序列是完全顺序执行的，在d s p 没有发送命令完成确认之前，a r m 不能 请求新的命令操作。 d s p 控制器寄存器用于设置和控制a r m 与d s p 之间的数据交换。另外，a r m 用这些寄存器 控制d s p 的运行和引导。 2 2 3 d s p 的代码下载和启动 d s p 的引导由a r m 控制，d s p 软件加载和启动如图2 - 8 所示 圈2 - 8d s p 启动顺序图 1 】a r m 将d s p 挂起在复位状态，通过d s p 控制器h p l bc t r l 。 2 )脱离复位状态之后，d s p 跳到o x f f 8 0 ： 彤b 到0 x 0 f 8 0 0 9 中国农业大学硕士学位论文 第2 章i p p 平台系统禁构 激活i n t 0 ( a r m 发中断信号) 在0 x 0 f 8 0 0 处的代码设置d s pp m s t = o x 0 7 e a o 进入i d e l l 睡眠模式 3 ) 在i d l e i 模式时，a r m 将d s p 代码下载到内存中( 1 i p l l 6 ) 4 ) 代码下载完后，a r m 发送i n t 0 唤醒d s p 5 ) d s p 执行i d l e l 后边的指令 跳转到0 x 7 f 8 0 ( d s p r a m 空问中用户代码的起始位置) 。 2 2 4 。d s p 对s d r a m 访问接口 d m 2 7 0 中的d s p 不能直接访问s d r a m ，必须通过d s p 内部的两个i m a g eb u f f e r 来访问 d m a 通道获取s d r a m 内部的数据。具体结构如下： m e b m e b 圈 9d s p 内存访闫结构 i m a g ob u f f e r 支持同步d m a 读取或异步d m a 读取。每次读取的内存数据以1 6 为的字为 单位，每次可以读取一个小于1 6 k 字的内存块。在d m a 启动之前，要把i m a g eb u f f e r 的总线控 制权交给d m a 控制器，然后开始d m a 操作。 2 3 d m 2 7 0 图像处理数据流 1 来自c c d 的原始图像数据通过c c d 控制器直接或通过预览引擎读入s d r a m 图像缓存， 都要经由s d r a m 控制器。s d r a m 提供多个帧缓存，原始数据依次存入这些缓存； 2 d s p 从帧缓存轮流读取图像数据，通过两个协处理器( i m x 与v l c ) 的并行处理，根据图 像处理算法运算，生成的处理结果存入s d r a m ； 3 a r m 端将s d r a m 缓存中处理结果进行分析和判断，根据用户设定的处理标准输出控制信 息到控制执行模块。 由以上论述可知，整个嵌入式系统的设计需要分为两个部分：a r m 端，控制整个系统流，接 受客户端的请求并返回视频数据流；d s p 端，将原始图像数据压缩以便a r m 端取用。根据这 个整体思想，下面我们进行详细的系统设计。 i o 图2 - 1 0d 1 1 2 7 0 图像处理数据藏程 从i p p 的硬件结构和图像处理的流程来看，系统主要功能模块分为图像采集，图像处理， 处理后输出三部分。由于图像采集和图像处理在系统处理中占用处理时间资源是独立的，又相 互依赖的关系。i p p 系统设计的时候把图像处理和采集逻辑上分成两个模块，形成处理中两级 流水的构成。处理的数据流如下图所示： 至j 二至二) + 亟面- 图2 1 1i ) t 1 2 7 0 图像处理= 缀流水线示意 在图像获取后进入图像处理模块，这两个模块处理都需要比较独立和花时间的阶段，在进 程l 进入图像处理阶段后，由于处理运算在d s p 上运行，a l i m 系统进入空闻期。根据这个特点， 系统再创建进程2 ，进程2 在 刚空闲期时去获取图像数据，做好图像处理的准备。这样两个 进程相互有序使用资源，大大提高系统处理能力。 2 3 1 图像处理模块同步控制 i p p 运行主要模块有图像采集模块，图像处理模块和图像后处理模块。图像采集模块负责 图像的获取，配置图像采集的尺寸和存放位置。图像采集模块通过内部同步机制实现硬件通道 的有序使用。图像处理模块实现图像处理平台核心算法的实施，在i p p 平台里使用协处理器0 s p 来完成大量的图像运算。图像采集模块的数据是处理模块的输入，d s p 通过d m a 读取数据到d s p 内部处理，利用d m 2 7 0 的i m x 和其他协处理器高速完成数据处理。 图像处理完毕后把处理结果交给控制中心，控制中心根据图像处理结果选择用户设定的控 制算法，输出控制信息给外部的控制执行模块。i p p 里提供串口和4 8 5 控制口输出给系统板外 的控制模块。 中国农业大学硕士学位论文第2 章i p p 平台系统架构 曼曼! 曼曼寰曼曼詈舅舅邕巴曼曼邕皇曼鼍曼曼曼量詈舅鼍置量量| 邕皇皇鼍曼曼曼詈詈鼍啊曩_ i1 1i 曼皇曼置曼曼阜 二大模块的相互配合和协调工作是i p p 高效l ：作的关键所在。i p p 利用li n u x 提供的信号 幻，等待队列等同步机制实现模块间同步和配合。v i d e oi n p u t 模块获取图像后通过d s p 驱动 程序的信号灯实现采集模块和处理模块的同步，处理模块和控制中心通过缓冲区的互斥和信号 灯实现同步。处理模块通过缓冲区信号灯来获知控制中心是否已经对上次处理结果作出控制行 动。控制中心每次作出一个处理结果的控制动作之后释放处理结果的缓冲区，随机释放一个空 缓冲区的信号灯。处理模块获取一盏信号灯就意味着控制中心已经有准备处理下一次图像采集 和处理的流程。具体流如图2 一li 所示： 玉亟口区巫画巫 巨亟匝珂 蔓叵 ，1 1 。1 。1 1 1 。 叫d o w n ( s e n db u rs 1 j ：二二j 一。 n 1 享 w b b l m 囝 广 ( 。m p t y j j u l s e m ) i ! ；、嘉； l j w 越 意一 w 厂1 ! e b u f _ w a i ! o e e u e i 镯2 - 1 2i p p 系统模块目步流程 9 暑 中国农业大学硕十学位论义第3 章图像采集和处理模块 曼鼍囊曼曼量! 兰! ! 晕鼍曼曼曼皇量目_ ii , 孽曼勇! 曼曼 第3 章图像采集和处理模块 3 1 图像数据获取 3 1 1 图像传感采集 i p p 系统里图像感光采集使片j 标准c c t v 的摄像头，输出p a l 格式电视信号给电视加码芯片 ( t v p 5 1 4 5 ) 。t v p 5 1 4 5 支持6 通道电视信号输入，系统缺省使用第一通道信号。t v p s l 4 5 配置多 种输出格式： 2 0 1 6 位y u v 4 2 2 1 0 8 位y u v 4 2 2 1 0 8 位i t u - i b t 6 5 6 考虑接线简单和硬件可替代性( 比如升级到w p 5 1 5 0 ，或用飞利浦s a a 系列) ，本设计采用 1 0 8 位的i t u rb t 6 5 6 输出格式。其接线图示如下： 图3 - 1t v p 5 1 4 5 与d m 2 7 0 接线圈 c c i r 6 5 6 输出的数据中内嵌同步信号。当t v p 5 1 4 5 检测到模拟的电视信号有水平同步时产生一 个关键字( k e y ) - - s a v ( s t a r ta c t i v ev i d e o ) ，在电视信号水平同步结束信号产生e a v ( e n da c t i v e v i d e o ) ，如图3 2 所示。 d a t a 斟 妥醢甄二二五五五二二二二二二二堪蕊冱 i m e m a | 啪二i 二二二二；j i k l a iv d r _ 一 髑3 - 2 c c l r 6 蜥信号接口 s a v 和e a v 命令字包含了水平同步信息，垂直同步信息和场信息，内容如表格4 一l 所示。 c c d c 接受到0 x f f ，0 x 0 0 ，o x 0 0 三个连续字后，接受同步字。根据同步字里的各位信息产生v d h d 等信号给p r e v 等外部模块使用。 中国农业大学硕上学位论文第3 章图像采集和处理模块 表格3 1 c c i r 6 5 6 中s a v 和e a r 命令字 n u m b e rw o r d d m 2 7 0 通过内部1 2 c 控翩器来配置t v p 5 1 4 5 ，操作系统u c l i n u x 启动过程中初始化1 2 c 蒋相 关模块。在t v p s l 4 5 的驱动程序里有o p e n 接口，被调用的时候表明应用程序开始使用t v p ，此 时初始化和再己置硬件。所以应用程序在使用这些设备前时，打开设备文件。 3 1 2 图像输入逻辑控制与存储 咖2 7 0 内部有c c d 控制模块，由它来负责c c d 或t v p 等电视解码芯片的接口逻辑，c c d c 由 数据线和一系列的控制信号线组成。c c d c 还负责将图像数据按照一定的格式存放到系统的 s d r 6 1 内部。 c c d c 的o p e