（检测技术与自动化装置专业论文）基于以太网的机器视觉操作终端软件的研究与开发.pdf

摘要 摘要 机器视觉检测系统由于可以代替人眼测量和判断，极大的提高工业产品的检测效 率，在自动化生产领域拥有广泛的应用前景。传统的基于p c 机的机器视觉系统由于成本 高、体积庞大、可移植性较差，不适合工业在线检测。 随着芯片处理能力的提高和图像处理技术的进步，与传统的基于p c 的机器视觉系统 相比，具有软硬件可以灵活配置、体积小、安装方便、便于集成等诸多优点的嵌入式机 器视觉检测系统发展迅速。因此更适合工业检测需求的嵌入式终端替代体积庞大的板卡 一p c 机式终端成为必然趋势。 在对机器视觉终端功能进行详细分析基础上，本课题根据实验室自主研发的智能相 机的功能和特点配套开发了基于以太网的嵌入式机器视觉操作终端。操作终端灵巧方 便，可以很方便的通过以太网接口连接到视觉通信网络，弥补了传统的基于p c 的机器 视觉系统的缺陷。该终端以a t m e l 9 2 6 1 为主c p u ，d m 9 0 0 0 为以太网网卡芯片，主要 包括f l a s h 、s d r a m 、l c d 显示触摸、u s b 接口和以太网通信等硬件模块。 在软件平台上，本终端采用w i n d o w sc e5 0 操作系统，分析了操作系统的定制流 程和b s p 包的开发方法。本文中根据实际硬件配置设计和实现了操作终端的b o o t l o a d e r ， 在理解o a l 的概念和架构的基础上实现了w i n d o w sc e 系统的o a l 层，然后给出了包 括以太网驱动在内的三种不同模型驱动的详细设计方法，根据b s p 包定制生成最后的 w i n d o w sc e 操作系统。在以太网通信协议上，采用了针对机器视觉系统通信数据量大、 实时性要求高的特点设计的m o d b u st c p 和自定义通信协议，并给出了机器视觉配置文 件的具体文件格式，研究和实现了j p e g 图像压缩算法。以太网通信测试表明通信协议 满足机器视觉系统实时性和可靠性的要求。 本文分析了嵌入式机器视觉系统的特点，根据其使用需求设计出全新的嵌入式机器 视觉操作终端。论文从总体功能需求入手，包括硬件介绍、操作系统移植、驱动开发、 以太网通信协议设计和功能测试五个方面，介绍了操作终端主要功能硬件模块，详细阐 述了系统移植、不同模型下驱动开发和以太网通信协议设计流程。最后本文就嵌入式机 器视觉系统发展的趋势和前景进行了展望，并提出了下一版本的操作终端的初步计划。 关键词：机器视觉；终端；a r m 9 ；w i n d o w sc e5 0 ；以太网 a b s t r a c t a b s t r a c t m a c h i n ev i s i o ni n s p e c t i o ns y s t e mc a nr e p l a c eh u m a ne y e st od e t e c tt h ep r o d u c tq u a l i t y t h et e c h n i q u eg r e a t l yi m p r o v e st h ed e t e c t i o ne f f i c i e n c ya n dh a sg o tw i d ea p p l i c a t i o ni nt h e f i e l do fa u t o m a t i o n t r a d i t i o n a lp c b a s e dm a c h i n ev i s i o ns y s t e mi sn o tv e r ys u i t a b l ef o r o n l i n ed e t e c t i o nf o ri t sh i g hc o s t ，l a r g es i z ea n dp o o rp o r t a b i l i t y w i t ht h e i m p r o v e m e n to ft h ec o m p u t e rs c i e n c ea n di m a g ep r o c e s s i n gt e c h n o l o g y , c o m p a r e dw i t ht h et r a d i t i o n a lp c - b a s e dm a c h i n ev i s i o ns y s t e m ，t h ee m b e d d e dm a c h i n ev i s i o n i n s p e c t i o ns y s t e mh a sd e v e l o p e dr a p i d l yo w et o i t ss m a l ls i z e s ，s i m p l ei n s t a l l a t i o n sa n d i n t e g r a t i o na n df l e x i b l es o f t w a r ea n d h a r d w a r es e t t i n g s b a s e do nt h ed e t a i l e d a n a l y s i s o fm a c h i n ev i s i o nt e r m i n a lf u n c t i o n s ，t h ea r t i c l e d e v e l o p e dt h ee m b e d d e dm a c h i n ev i s i o no p e r a t i n gt e r m i n a la c c o r d i n gt ot h ef e a t u r ea n d f u n c t i o n so ft h es m a r tc a m e r ai n d e p e n d e n t l yd e v e l o p e d t h eo p e r a t i n gt e r m i n a li sa g i l ea n di s e a s yt ol i n kt ot h ev i s u a lc o m m u n i c a t i o nn e t w o r kt h r o u g ht h ee t h e r n e tp o r t ，w h i c hm a k eu p f o rt h ed e f i c i e n c yo ft h ep c - b a s e dm a c h i n ev i s i o ns y s t e m t h ee m b e d d e dt e r m i n a lu s e st h e a t m e l 9 2 6 1a st h em a i nc p u ，a n di n c l u d e sf l a s h ，s d r a m ，l c dt o u c hs e n s i t i v ed i s p l a y , e t h e r n e t ，u s bi n t e r f a c ea n do t h e rh a r d w a r em o d u l e s f o rt h es o f t w a r ep l a t f o r m ，t h et e r m i n a lu s e sw i n d o w sc e5 0o p e r a t i n gs y s t e ma n d a n a l y z e st h ec u s t o m i z a t i o nf l o wa n db s pd e v e l o p m e n ta p p r o a c ho ft h eo p e r a t i n gs y s t e m f i r s tt h et e r m i n a lb o o t l o a d e ri s d e s i g n e da n dr e a l i z e db a s e do nt h ea c t u a l h a r d w a r e c o n f i g u r a t i o n t h e nt h eo a l o fc es y s t e mi sr e a l i z e db a s e do nt h ec o m p r e h e n s i o no fo a l c o n c e p t i o na n df r a m e a tl a s tt h es y s t e mi sg e n e r a t e db a s e do nt h ec u s t o m i z e db s pp a c k a g e f o rt h ea p p l i c a t i o np r o g r a m ，t h ea r t i c l eu s e st h em o d b u st c pc o m m u n i c a t i o np r o t o c o la n d c u s t o mc o m m u n i c a t i o np r o t o c o lc o n s i d e r i n gt h a tt h ec o m p u t e rv i s i o n s y s t e mh a sal a r g e n u m b e ro fc o m m u n i c a t i o nd a t aa n dt h es t r i c tr e a l t i m ed e m a n d s ，a n dp r o v i d e st h es p e c i f i c f o r m a t so ft h ec o m p u t e rv i s i o nc o n f i g u r a t i o nf i l e s ，r e s e a r c ha n di m p l e m e n t a t i o no ft h ej p e g i m a g ec o m p r e s s i o na l g o r i t h m t h et e s ts h o w st h a tt h ec o m m u n i c a t i o np r o t o c o l sc a nm e e tt h e r e a l t i m er e q u i r e m e n t sa n dr e l i a b i l i t yr e q u i r e m e n t s t h ea r t i c l ea n a l y z e st h ec h a r a c t e r i s t i c so fe m b e d d e dm a c h i n ev i s i o ns y s t e m sa n dd e s i g n s an e we m b e d d e dm a c h i n ev i s i o n o p e r a t i n gt e r m i n a la c c o r d i n gt o u s e r r e q u i r e m e n t s b e g i n n i n gw i t ht h eo v e r a l lf u n c t i o n ，w h i c hc o n s i s t so fh a r d w a r ei n t r o d u c t i o n ，o p e r a t i n g s y s t e mt r a n s p l a n t ，d r i v e rd e v e l o p m e n t ，c o m m u n i c a t i o np r o t o c o ld e s i g na n df u n c t i o nt e s t s ，t h e a r t i c l er e p r e s e n t st h em a i nh a r d w a r ef u n c t i o nm o d u l e sa n dt h ed e s i g nf l o wo ft h eo p e r a t i n g s y s t e mt r a n s p l a n t a n dt h ed r i v e r d e v e l o p m e n to f d i f f e r e n tm o d e l sa n dt h en e t w o r k s c o m m u n i c a t i o np r o t o c o l s a tl a s t ，t h ea r t i c l ed i s c u s s e st h ee m b e d d e dm a c h i n ev i s i o ns y s t e m s d e v e l o p m e n tt r e n da n dp r o s p e c ta n dp r o p o s e st h ei n i t i a lp l a no fo p e r a t i n gt e r m i n a lo ft h en e x t v e r s i o n k e yw o r d s ：m a c h i n ev i e w ；t e r m i n a l ；a r m 9 ；w i n d o w sc e5 0 ；e t h e r n e t 目录 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 课题的研究背景1 1 2 机器视觉的现状与发展趋势1 1 3 本文的主要研究内容和组织结构2 1 3 1 本文的主要研究内容2 1 3 2 本文的组织结构3 第二章操作终端软硬件总体设计5 2 1 操作终端的功能分析。5 2 2 操作终端主要硬件模块。7 2 2 1 嵌入式处理器的选型8 2 2 2 硬件总体设计9 2 2 3 主要的硬件模块介绍1 0 2 3 嵌入式操作系统的选择一1 3 2 3 1 嵌入式操作系统特点1 3 2 3 2 当前主要嵌入式操作系统介绍。1 3 2 3 3w i n d o w sc e 操作系统优势。1 4 2 4 本章小结1 5 第三章操作终端软件平台的研究与实现1 7 3 1w i n d o w sc e5 0 操作系统开发流程1 7 3 2b o o t l o a d e r 的设计与实现1 8 3 2 1b o o t l o a d e r 的功能与框架1 8 3 2 2b o o t l o a d e r 的执行流程1 8 3 3o a l 层的开发2 0 3 3 1 建立o a l 2 0 3 3 2 增加o a l 功能。2 2 3 3 3 完成o a l 2 3 3 4 设备驱动程序的研究与实现2 3 3 4 1w i n d o w sc e 驱动模型2 3 3 4 2 通用寄存器读写驱动的开发2 4 3 4 3 触摸屏驱动的开发2 6 3 4 4 以太网驱动模型。2 8 3 4 5 以太网驱动实现。2 9 3 5 本章小结3 0 目录 第四章以太网通信软件的设计与实现3 1 4 1 以太网通信协议的设计与应用3 1 4 1 1m o d b u st c p 协议应用3 1 4 1 2 自定义协议设计3 2 4 1 3 设计通信错误码相和配置文件格式3 4 4 1 4 以太网通信任务设计3 5 4 2 机器视觉算法库的设计。3 6 4 3 图像压缩算法研究3 8 4 3 1 图像压缩方案选择3 8 4 3 2j p e g 图像压缩算法的研究与实现3 8 4 4 以太网通信程序编写4 0 4 4 1 程序模块设计。4 0 4 4 2 应用程序开发注意事项4 1 4 5 本章小结4 1 第五章操作终端功能测试4 3 5 1w i n d o w sc e 系统测试。4 3 5 1 1 操作系统测试4 3 5 1 2 设备驱动加载测试4 4 5 2 应用程序功能测试4 4 5 2 1 以太网通信测试4 4 5 2 2 读取智能相机信息测试4 5 5 2 3 网络传输测试4 6 5 3 本章小结4 7 第六章总结与展望4 9 6 1 总结4 9 6 2 展望4 9 致谢5 1 参考文献5 3 附录：作者在攻读硕士学位期间发表的论文5 5 i i 第一章绪论 第一章绪论 1 1 课题的研究背景 视觉是自然生物了解外部世界、获取外部信息从而适应外部环境的重要手段。视觉 可以获得大量的信息，研究表明人类从外部获得的信息量的8 0 均来自于视觉。但在有 些场合，如在现代制造业流水线上，机械零件长度的连续检测，包装表面的特定字符判 断，甚至是生活中火车票的二维码识别，肉眼往往无法胜任这类精度性和专业性要求高 的识别工作。 随着计算机技术的进步和图像处理与模式识别理论的发展，科学家开始尝试使用光 电成像系统采集待测物体的图像数据，包括图像大小、像素值和颜色等信息，经过计算 机或专门检测系统进行相应的算法处理并作出模式判断输出，这样既具有计算机处理数 据的高速可靠性与重复性，也学习和模拟了人类视觉的抽象和辨别能力，机器视觉的概 念由此诞生了i 。 机器视觉检测与传统的人眼检测相比，在工业生产领域可以大幅提高产品质量和生 产效率。机器视觉技术的最大优点是与被观测目标无直接物理接触【2 】。在现代制造业中， 机器视觉系统由于可以实现与生产设备实现信息共享，在产品质量检测领域有着广泛应 用，特别是在一些危险工作环境和人眼识别不能满足要求的检测领域，机器视觉更是具 有不可替代的优势。 机器视觉检测技术由于其非接触性，不会对被检测目标表面产生损伤，安全快速可 靠，而且不易受环境和时间的影响，检测的效率和精度很高，因此在工业生产、消费娱 乐、科研和军事等很多领域有着广泛的应用前景，是实现生产设备自动化和智能化的重 要手段。 1 2 机器视觉的现状与发展趋势 机器视觉作为一门蓬勃发展的新兴学科，经过多年的发展从图像的二值处理到大分 辨率数据的处理，从二维平面到三维立体图像仿真，相应的算法研究和模型的建立都在 不断完善。在实际应用中，机器视觉系统往往是作为自动化生产制造设备的有机组成部 分，整个系统在综合执行运动控制、数据采集、检测分类、网络通信和数据库管理等任 务和功能时，机器视觉系统才能最大程度上体现出自己的特点，所以机器视觉技术的发 展与整体工业技术的水平密切相关【3 】。 根据统计资料，2 0 0 8 年全球机器视觉相关产品产业的价值约为1 0 0 亿美元，按照现 有市场增长速度，到2 0 1 5 年产值预计将达到2 0 0 亿美元。欧美发达国家的机器视觉产 业发展成熟而且在半导体电子、安防和智能系统与交通产业中有着广泛应用。机器视觉 在国内起步较晚，相关产品应用不多，主要应用在瓶盖、制药、包装、印刷检测等低端 领域，而在高端应用上由于技术和成本的限制而不太普及。国内公司自主研发能力相对 薄弱，大多以代理国外知名机器视觉厂商的产品为主，这样也导致了完整的系统解决方 案价格居高不下。未来随着中国经济的发展，人力劳动力成本的提高和企业对产品精度 江南大学硕士学位论文 和质量要求的日益苛刻，机器视觉市场的需求会不断增加，国内市场注定会有着非常广 阔的应用前景 4 - 9 1 。 由于嵌入式处理器性能的发展和网络数据传输速率的提高，嵌入式机器视觉技术发 展迅速，具有体积小、易于集成、使用成本低的技术特点。另外由于在嵌入式操作系统 的开发上具有开发效率高、周期短，易于维护性、可靠性强、更新和升级方便等优势， 与此同时，机器视觉系统朝着标准化、集成化的方向发展。在现代工业中，机器视觉系 统往往采用“标准化技术 与制造设备协同和通信，所以视觉通信协议的设计也需要与 现有的协议标准相兼容【灿1 3 l 。 传统的基于p c 机的板卡式机器视觉系统成本高、体积大、便携性差，不易与自动 化设备集成，而嵌入式机器视觉系统软硬件可以灵活配置，体积小，利于实现高速数据 采集与处理，实时性好，更适合进行在线检钡j j 1 4 。嵌入式机器视觉系统虽然有着以上 优点，但在实际应用中面临着继续使用p c 机作为传统的终端的尴尬，迫切需要易于集 成和采用标准工业通信协议的全新的嵌入式机器视觉终端。针对机器视觉系统的发展趋 势，美国康耐视公司于2 0 0 9 年推出的新一代的机器视觉系统。这套系统中就包括了最 新研发的机器视觉终端，硬件上采用多网卡设备，基于w i n d o w sc e5 0 操作系统并安 装运行v i s i o n v i e w 图像通信处理软件，能够实时显示视觉传感器传送过来的检测图像数 据和结果，并能够随时访问和修改网络上的最多多达九台传感器的运行参数【1 列。 近些年来，国内相关高校和科研单位在机器视觉领域进行了积极探索和尝试，也取 得了一些研究成果。文献【1 6 】设计了基于d s p 的嵌入式机器视觉系统，并将处理后的图 像经过c a n 总线上传到p c 机显示，此系统并没有完全摆脱对p c 机的依赖。文献 1 7 】 提出了基于a r m 处理器的嵌入式图像监控终端，通过以太网对服务器发送来的图像数 据进行存储和报警，但不能显示图像信息且人机界面不友好。 目前，嵌入式机器视觉产品主要被国外知名厂商c o g n e x 、b a n n e r 、n i 等公司垄断， 国内主要为代理国外产品或在此基础上做二次开发，缺乏专用的嵌入式机器视觉终端。 本文设计的嵌入式机器视觉操作终端配套于自主研发的嵌入式机器视觉系统，采用 a r m 9 硬件结构，基于标准的m d o b u s f r c p 和自定义协议，满足了机器视觉系统实时性 和可靠性的要求。 1 3 本文的主要研究内容和组织结构 1 3 1 本文的主要研究内容 本课题根据机器视觉系统和嵌入式设备各自的特点，研究和开发了全新的嵌入式机 器视觉操作终端。它采用w i n d o w sc e5 0 操作系统，以a r m 9 的a t 9 1 s a m 9 2 6 1 芯片 作为主处理器，使用标准的m o d b u st c p 协议和自定义协议，能够实时和智能相机实现 通信，为此类设备的研发提供了较好的参考。 本课题的研究内容主要包括： ( 1 ) 介绍并分析机器视觉系统的应用现状和发展趋势。 ( 2 ) 根据嵌入式机器视觉终端的功能对操作终端设备进行设计和规划。 2 第一章绪论 ( 3 ) 熟悉嵌入式机器视觉系统的要求和特点，选择合适的嵌入式处理器芯片和操作 系统平台。 ( 4 ) 介绍操作终端主要硬件模块的组成，包括s d r a m 、l c d 显示、触摸屏、f l a s h 、 以太网通信等硬件模块的原理框图。 ( 5 ) 分析当前主流的嵌入式操作系统，并为操作终端选择w i n d o w sc e5 0 作为合适 的软件平台。 ( 6 ) 在熟悉w i n d o w sc e5 0 操作系统的结构和原理的基础上，研究板级支持包( b s p ) 的移植方法和开发流程。 ( 7 ) 根据系统需要，开发并修改w i n d o w sc e5 0 操作系统的b o o t l o a d e r 、o a l 层开 发和编写，详细研究和分析w i n d o w sc e5 0 下的三种不同设备驱动模型的开发过程。 ( 8 ) 将w i n d o w sc e5 0 的系统镜像n k n b o 下载到操作终端设备上，测试系统运行 的稳定性和运行参数：包括c p u 使用率、内存占用情况等。 ( 9 ) 根据机器视觉通信系统的要求，设计合适的t c p 协议，并测试系统服务端和客 户端通信的实时性和可靠性。 1 3 2 本文的组织结构 论文的主要工作如下： ( 1 ) 机器视觉背景研究：了解现机器视觉的发展历程和技术发展趋势，加深对机器 视觉技术的理解认识。 ( 2 ) 由需求分析确定系统总体方案规划：根据机器视觉终端的实际需求和技术指标， 确定主控芯片的选型、硬件模块的设计和操作系统的选择等。 ( 3 ) w i n d o w sc e5 0 操作系统的移植：包括b o o t l o a d e r 、o a l 层和驱动的开发。 ( 4 ) 通信协议的设计和应用软件开发开发。 ( 5 ) 操作系统性能和软件功能测试。 本论文一共有六个章节： 第一章作为绪论部分，详细阐述了机器视觉系统的产生背景、发展过程、现状和将 来的趋势，介绍了本课题主要的研究内容以及论文的组织结构。 第二章分析了嵌入式机器视觉终端的功能需求，并根据需求确定了嵌入式机器视觉 操作终端的硬件设计方案。 第三章研究了嵌入式机器视觉操作终端系统移植的流程。 第四章详细介绍了嵌入式机器视觉终端通信协议和应用程序的设计与实现过程。 第五章对操作终端进行了系统性能测试和应用程序的功能测试。 第六章对当前课题的已完成内容进行了总结，并对下一版的操作终端的提出整体改 进思路。 4 第二章操作终端软硬件总体设计 第二章操作终端软硬件总体设计 2 1 操作终端的功能分析 嵌入式机器视觉系统结构如图2 - 1 所示。在工业检测现场，首先选择合适的光源照 射被检测产品，然后经过智能相机的c c d 采集模块和图像处理模块将存储图像信息传 送到相机的s d r a m 内，智能相机将这些数据通过以太网发送到操作终端的组态配置界 面，操作员在操作终端的触摸屏上根据检测的具体要求和实际的图像数据完成对智能相 机各项运行参数的配置并形成配置文件，最后将配置文件通过以太网下载到智能相机 中，此时智能相机便可以独立运行。在智能相机的检测过程中，操作终端可以通过网络 获得最新的检测图像数据和处理结果，必要时操作员可以通过操作终端更新智能相机的 运行参数。操作终端中的机器视觉算法库与智能相机中的视觉工具库在种类和内容上保 持一致，确保下载配置信息的完整性和正确性。 照射c c d 图像 蔼r e ：r 工件、醋 m o d b u st c p 通信 智能相机k = _ i操作终端 m o d b u sr t u 通信 触发设备匕) | p l ce 爿执行设备 图2 1 嵌入式机器视觉系统结构 f i g 2 - 1e m b e d d e dm a c h i n ev i s i o ns y s t e m sa r c h i t e c t u r e 操作终端与智能相机之间通信的数据内容主要包括图像数据、配置信息和检测结果 三部分。操作终端在实现功能上可以分为以下五类： ( 1 ) 现场直接配置智能相机 本课题所涉及的机器视觉检测系统为通用系统，所处环境和检测对象千差万别，因 此需要根据具体的环境和检测对象进行相应的配置。p c 端上位机软件采用图像化配置 界面，如图2 2 所示，可将不同的图像算法按照工业现场实际检测要求组合起来，并根 据实际合格产品的质量宽容度设定通过检测条件，最后通过以太网快速完成对智能相机 的配置。操作终端在设计上是取代p c 机的作用，所以在功能设计上用户期望能够通过 操作终端完成对智能相机的配置，考虑到工业现场环境希望能有快速便捷的交互方式来 完成对智能相机的配置。 江南大学硕士学位论文 r 蚪t 哺d l “帕 囡瓤i i - c 4 s t r t s tl s ：l 0 如- i - k - t ，r i l d l 口_ i - k s t e t e , h i 出 口籼舢- i d t t i w - d ，h 0 i i i - i u * t i v * - 吐 k p r a 嚣- i - s 奸“d l 螂 jr i - d i 口i k = i ms t r “垂u “t h t h 圈f 瓤j “o 。 图2 - 2p c 端软件工具连接与参数设置对话框 f i g 2 2t o o l sc o n n e c t i o na n dp r e f e r e n c e sd i m o g o np c - s o f t ( 2 ) 远端间接配置智能相机 由于机器视觉系统检测的专业性和现场操作者知识的局限性，用户可能需要机器视 觉厂商的帮助才能完成相关的设置。操作终端在功能设计上需要支持网络远传获取或可 移动存储设备装载的方式获得配置文件，最终完成对智能相机的配置。操作终端具有完 善的通信接口和统一的配置文件格式规范是实现此功能的关键所在。 ( 3 ) 更新智能相机的配置信息 智能相机配置文件信息包括1 , - - - 9 个视觉检测作业配置信息，其中每个作业配置又 包含所调用的机器视觉算法库中的图像处理工具的配置信息，配置信息各对象间的关系 如图2 3 所示。无论是现场直接或者远端间接配置智能相机，最终都是将配置文件通过 以太网下载到智能相机。 图2 3 智能相机配置文件关系图 f i g 2 - 3t h er e l a t i o n s h i pb e t w e e nt h ev a r i o u so b j e c t so ft h ec o n f i g u r a t i o n ( 4 ) 接收、显示并存储图像 目前智能相机采集的检测物件的图像分辨率为6 4 0 * 4 8 0 ，如图2 4 所示，一帧黑白 图像的大小为3 0 0 k b 。由于智能相机的检测触发模式有手动触发和自动触发，所以操作 终端在显示图像时需要支持手动触摸显示和自动显示，其中自动显示图像的时间可以随 6 圄雪 囝叩凰却酉l(搬面囱一囱一囝叩凰豳隹一面囱一囱一 第二章操作终端软硬件总体设计 时调整。在这两种模式下，操作终端接收和显示图像的实时性要在可接受的范围内，同 时操作终端要存储未通过检测物件的相关图像信息，以便用户做下一步的分析和处理。 图2 - 4 智能相机采集的分辨率为6 4 0 4 4 8 0 的图像 f i g 2 - 4s m a r tc a m e r 弱c a p t u r er e s o l u t i o no f6 4 0 4 8 0i m a g e s ( 5 ) 显示智能相机的检测结果 智能相机的检测结果包括工具输出结果和作业输出结果两部分。以区域定位检测中 的斑点定位作业为例，装载有该作业的智能相机在检测过程中会根据作业中具体配置的 工具信息如图2 5 所示，分别输出二值化算法、数学形态学算法、提取斑点特征算法、 边界提取算法的执行时间和目标表达检测结果；当上述所有的工具结果输出都在预先设 定的范围内时作业输出结果为p a s s ，表示通过检测，否则为f a i l ，表示未通过检测。 二值化算法数学形态学 提取斑点特征边界提取 目标表达 恒型倒 、赶蛆 址，r 面积 八连通标记 提取 周长 分 ； l + 一 阿司订 l 四连通标记i 四连通边界 提取 i 致密度j 图2 - 5 斑点定位检测作业的所有输出结果 f i g 2 - 5t h eo u t p u to fs p o tl o c a t i o nd e t e c t i o nj o b 2 2 操作终端主要硬件模块 操作终端的整体设计上是以机器视觉系统终端的需求为中心，分别进行基于嵌入式 主处理器的硬件平台设计和实时操作系统的移植，然后再根据功能设计合适的通信协议 和编写应用程序，最后对操作终端的软硬件进行各项测试，操作终端软硬件设计流程如 图2 6 所示。 7 江南大学硕士学位论文 需求分析 由，胜：县二 系统规范描述 五击斗迅且 扒。r r 吸丌 - + 硬什阪丌 软硬件划分 需求 乙 、 需求 小芦 性能评估巡 功能设计f 1 i 设计及优化 y i +接口设计 ：i 硬件综合 实现 山 软硬件集成 黔i 网表l 整合核查 发布毒维护l 一核查誓测试l ： v v发布运行 l 维护l 图2 - 6 操作终端软硬件设计过程 f i g 2 - 6o p e r a t i n gt e r m i n a l s h a r d w a r ea n ds o f t w a r ed e s i g np r o c e s s 2 2 1 嵌入式处理器的选型 a r m 是针对低能耗便携设备所设计的3 2 位的r i s c 处理器，a r m 公司并不制造任 何处理器芯片，而是通过向半导体生产商授权a r mi p 核处理器的设计技术，然后这些 生产商生产各自的a r m 处理器【1 8 l 。a r m 处理器突出的性能功耗比在对强调低功耗便 携设备中得到了广泛应用，如相机、掌上游戏机和手机。在工业自动化领域，基于a r m 核的微控制器的相关设备不但占据了大部分的高端市场，同时在低端领域逐渐替代传统 的8 位和1 6 位单片机。根据最近的统计情况，如图2 7 所示的3 2 位和6 4 位微处理器 的销售数据，a r m 处理器显然占据了最大的市场份额。 a r 材 x 髂 赫i p s s u 阳r h p o w e r p c 旃 目 谬 笏锈 i 寥圉 攀 i 。 目图 缨 。 囫 闩 铲 8 8 d 5 0 0 1 d 0 0 1 5 0 0 埯2 0 0 0 z 5 0 0 0 0 3 5 0 0 4 0 0 0 图2 7 主要微处理器的市场占有率 f i g 2 - 7m a i nm i c r o p r o c e s s o rm a r k e ts h a r e a r m 处理器都有一个基本的3 2 位a r m 指令集，同时又可以有不同的扩展指令集， 如1 6 位t h u m b 指令集、j a z e l l e 扩展指令集以及d s p 扩展指令集等。t h u m b 指令子集 进行1 6 位的编码运行，也可以根据需要恢复为3 2 位指令，这样处理器能方便的在1 6 位指令和3 2 位指令间切换，有效降低系统的内存损耗。基于a r m 核的主流处理器目前 主要有以下系列：a r m 7 、a r m 9 、a r m 9 e 、a r m l 0 、a r m l l 、s e c u r c o r e 和c o r t e x 。 第二章操作终端软硬件总体设计 每个系列在主频功耗等性能参数上都不尽相同以满足不同用户的需求【”】。 通过对比和筛选，最终确定采用a t m e l 公司的a q g l s a m 9 2 6 1 芯片作为操作操作的 主c p u ，属于a r m 9 2 6 e j s 系列的工业级处理器，具有超低功耗的显著特性，同时处 理器性能却最高达到2 0 0 m i p s 。该处理器拥有丰富的外设接口，是专门为有着低功耗、 低成本和高性能需求的嵌入式计算机系统提供的解决方案【删。本文的操作终端采用的a r m 9 2 6 e j s 架构具有以下几个特点1 2 1 】：多灵活度的3 2 位a r m 指令集和高性能的1 6 位 t h u m b 指令集；符合行业规范的a m b a 总线和a h b 接口；支持e t m 9 接口，可实现 实时跟踪功能；支持e m b e d d e di c e r t 实时调试单元；可选的m o v e 协处理器，具备 较强的视频编码性能。 a t 9 1 s a m 9 2 6 1 内含1 6 0 k 大小的高速片上s r a m 以及外部总线接口( e b i ) ，并使 用专用电路连接n a n df l a s h 接口、s d m m c 、和c o m p a c t f l a s h 。a t 9 1 s a m 9 2 6 1 在工 作频率为1 8 0 m h z 的情况下，其运算速度为2 0 0 m 1 p s 。为了提高数据流处理能力，芯片 采用多层总线矩阵的并行机理，将5 个高速总线( a h b ) 控制连接到片上外设、内置或 外置的存储器上；增加了1 9 条p d c 通道，而且紧密式耦合内存技术可将s r a m 直接连 接到处理器上，更有利于流媒体图像数据的处理，以上结构使得该芯片的运算处理能力 强于在高校中广泛使用的三星2 4 1 0 芯片。 此外，本课题选择a t 9 1 s a m 9 2 6 1 1 作为操作终端的核心处理器的原因之一是芯片丰 富的外设资源：内部l c d 控制器最高支持2 0 4 8 * 2 0 4 8 分辨率的1 6 m 的彩色显示屏；三 个可用于全双工通用同步异步串行通信的收发器( u s a r t ) 、u s b 2 0 全速主从接口、 音频接口、j t a g i c e 和专用u a r t 调试通道( d b g u ) ，这些资源使得基于该芯片开发 强调实时性的系统成为可能。 2 2 2 硬件总体设计 在确定了系统的主c p u 后开始设计其他的硬件外设模块，构建操作终端系统所需 要的硬件模块包括主c p u 、电源存储设备、s d r a m 模块、n o rf l a s h 和n a n df l a s h 存 储模块、j t a g 模块。其中主处理器a t 9 1 s a m 9 2 6 的性能决定了整个操作终端设备的性 能高低，该芯片负责系统运算功能和控制功能；电源模块负责整个操作终端的电源管理 和复位控制；s d r a m 存储模块在操作终端中主要用作代码的运行空间，操作系统、用 户堆与栈、程序都被加载到s d r a m 中；n o rf l a s h 模块主要保存引导代码段和掉电保存 的数据；n a n df l a s h 模块的存储量大很多，主要保存操作系统的镜像和其它应用程序数 据；j t a g 模块则通过连接仿真器可以实现b o o t l o a d e r 的下载、系统的调试与更新功能。 在此基础上还需要增加串口设备和u s b 主控接口来实现操作系统的调试与下载。 要实现操作终端的五大功能，必须添加其他的硬件外设。操作终端要显示分辨率为 6 4 0 * 4 8 0 的图像数据和检测结果，需具备一定大小的显示屏；要实现现场直接配置，考 虑到恶劣的现场环境可能不具备使用键盘和鼠标的条件，需要配备触摸屏；要实现远端 间接配置需要配置u s b 从设备接口来支持可移动存储设备和以太网接口实现配置文件 的接收和下载；处理和存储图像数据也对s d r a m 模块和n a n df l a s h 存储模块的性能提 出要求。综合以上分析，最终得到的硬件系统整体结构框如图2 - 8 所示。 9 江南大学硕士学位论文 图2 - 8 操作终端硬件结构 f i g 2 - 8o p e r a t i n gt e r m i n a l s h a r d w a r ea