（计算机应用技术专业论文）基于机器视觉的图像采集与处理系统研究.pdf

摘要机器视觉广泛应用于许多领域。本文介绍了一种基于机器视觉的集采集、传输和分析于一体的图像处理系统。并阐述了该系统的图像采集模块和机器视觉分析模块之间连接通信的原理、接口电路和软件处理系统的设计。实践证明这种小型化、价格低廉的图像采集处理系统在工程实际中有重要的应用价值。本文从机器视觉系统的组成结构出发，介绍了图像采集、图像传输、低层视觉、中层视觉到高层视觉处理的机制。根据机器视觉系统的组成，首先给出了采用单片机和闪存设计的图像采集系统的设计方案。接着为了传输图像采用了基于t c p i p 的传输技术，设计了图像的传输系统，作为机器视觉处理和图像采集系统的连接模块。在机器视觉软件处理的部分，作为基础的中低层视觉处理，涵盖了多种数字图像处理技术，包括图像的空间变换、直方图处理、滤波和边缘检测等，这些图像的处理对于高层视觉是非常重要的。作为高层视觉应用的重要方向，本文将机器视觉技术引入到快速人脸检测和人脸识别的研究中，论述了采用类h a a r 特征的分级分类器快速目标检测算法。介绍了一种较为新颖的具有旋转特征的类h a a r 特征集，以及快速计算特征值的方法。并且使用基于隐马尔可夫模型的人脸识别算法，在人脸定位的基础上进行人脸的识别和匹配。最终设计完成了一个人脸检测识别系统，并且进行了应用测试。最后，对本文的研究和设计成果进行了总结。关键词：机器视觉、图像采集、图像分析、人脸检测a b s t r a c tm a c h i n ev i s i o nt e c h n o l o g yi sw i d e l ya p p l i e di nm a n yf i e l d s i nt h i sp a p e r , as y s t e mf o ra c q u i s i t i o n ，t r a n s f e r r i n ga n da n a l y s i so f i m a g eb a s e do nm a c h i n ev i s i o ni sd e s c r i b e d t h ec o m m u n i c a t i o na n di n t e r f a c eb e t w e e ni m a g ec o l l e c t i o ns y s t e ma n dm a c h i n ev i s i o n b a s e da n a l y s i ss y s t e m ，t h ec o n t r o la n dt r a n s f e r r i n gt r o u 曲f i r m w a r e ，t h er e a l i z a t i o no fi m a g ec o l l e c t i o na n dr e a l i z a t i o no fa p p l i c a t i o nb ys o f t w a r ew a sd i s c u s s e d p r o v e db ye x p e r i m e n t ，t h es y s t e mh a sg r e a tv a l u ei ne n g i n e e r i n g at y p i c a lm a c h i n ev i s i o ns y s t e mi n c l u d e ：i m a g ec o l l e c t i o ns y s t e m , t r a n s f e rs y s t e m ，e a r l yv i s i o ns y s t e m , m i d - l e v e lv i s i o ns y s t e ma n dh i g h l e v e lv i s i o ns y s t e m t h ei m a g ec o l l e c t i o ns y s t e mi sd e s i g n e db a s e do nm c ua n df l a s hm e m o r y t h et r a n s f e rs y s t e mo nt c p i pi sac o n n e c t i o nb e t w e e ni m a g ec o l l e c t i o ns y s t e ma n dm a c h i n ev i s i o ns y s t e m e a r l yv i s i o na n dm i d v i s i o ni sv e r yi m p o r t a n t ，i n c l u d eg r a y s c a l ep r o c e s s i n g ,l i n e a rf i l t e ra n de d g ed e t e c t i o ne t c ，i nt h ee n d ，t h i sp a p e rc o m b i n e sm a c h i n ev i s i o nt e c h n o l o g yi n t oar e s e a r c hf o rr a p i df a c ed e t e c t i o na n dr e c o g n i t i o n , a n dd e s c r i b e sr a p i do b j e c td e t e c t i o na l g o r i t h mu s i n gab o o s t e dc a s c a d eo fh a a r - l i k ef e a t u r e sa n dh m m as e to fr o t a t e dh a a r - l i k ef e a t u r e si si n t r o d u c e d t h e s ef e a t u r e sc a l la l s ob ec a l c u l a t e de f f i c i e n t l y t h ec o m p l e t ef a c ed e t e c t i o na n dr e c o g n i t i o ns y s t e ma r ea v a i l a b l e f i n a l l y ，t h er e s e a r c ha c h i e v e m e n t so f t h ep a p e ra r es u m m a r i z e d k e y w o r d s ：m a c h i n ev i s i o n ，i m a g ec o l l e c t i o n ，i m a g ea n a l y s i s ，f a c ed e t e c t i o ni i第1 章引言第1 章引言1 1 机器视觉系统的研究意义机器视觉5 2 8 , 3 4 既是工程领域，也是科学领域中的一个富有挑战性的重要研究领域。机器视觉是一门综合性的学科，它包括了计算机科学和工程、信号处理、物理学、应用数学和统计学、神经生理学和认知科学等。机器视觉有着广泛的应用，它是制造业、检验、文档分析、医疗诊断和军事等领域中各种智能、自主系统中不可分割的一部分。人可以通过视觉、听觉和语言与外界交换信息，并且可用不同的方式表示相同的含义，而目前的智能机器或计算机却要求严格按照各种机器语言来编写程序，只有这样，机器才能运行。为使更多的人能使用复杂的机器，必须改变过去的那种让人来适应机器的情况。而是反过来让机器来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让机器具有视觉、听觉和说话等能力。这时机器必须具有逻辑推理和决策的能力。这种智能机器不仅使它更便于为人们所使用，同时如果用这样的机器来控制各种自动化装置，就可以使这些自动化系统具有适应环境和自主作出决策的能力。这就可以在各种场合取代或部分取代人的繁重工作，或者代替人到各种危险和恶劣环境中完成任务。机器视觉就是用各种成像系统代替视觉器官作为输入手段，由智能机器来代替大脑完成对信息的处理和解释。机器视觉的最终研究目标就是使智能机器能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。典型的视觉系统能依据视觉敏感和反馈以某种程度的智能完成一定的任务。例如，机器视觉的一个重要应用领域就是人脸的检测和识别，目前还没有条件实现象人那样识别和理解任何情况下人脸信息的系统。因此，从图像中筛选出可能是人脸的部分再加以识别处理，最终的判定仍然需要人的干预，但这已经大大的减少了人的工作量。这里要指出的一点是在机器视觉系统中机器起代替人脑的作用，但并不意味着机器必须按人类视觉的方法完成视觉信息的处理。机器视觉可以而且应该根据机器系统的本身的特点来进行视觉信息的处理。本文着重探讨的也就是这种机器按自身方式来进行视觉信息的采集、加工和处理的过程。成都理工大学硕士学位论文1 2 基于机器视觉的图像采集与处理系统的发展对机器视觉的研究开始于2 0 世纪6 0 年代中期，但在机器视觉的基础研究中的许多重要进展是在8 0 年代后才取得的。在这几十年的发展过程中机器视觉研究的内容、方法和理论都发生了很大变化。并且它融合了众多的学科领域，有不少学科的研究目标与机器视觉相近或与此有关。这些学科包括图像处理、模式识别或图像识别、景物分析、图像理解等。在众多的研究领域中，图像采集系统和机器视觉技术的结合是研究发展的一个重要方向。现有的采集系统结构功能较为简单，通常由摄像设备，控制设备、存储设备和传输设各组成。摄像设备通常采用c c d 或c m o s 的摄像头作为图像采集系统的摄像设备，而控制设备部分多采用单片机作为控制，而存储部分通常采用传统的磁带存储设备，传送阶段较多的采用了有线方式。图像的分析部分主要是采用数字图像处理的方法对图像进行平滑、滤波、锐化、恢复、重建等。将机器视觉技术引入到图像采集系统中，利用机器代替人眼进行测量和判断。通过图像摄取装置将需要检测的目标转换成数字信号，通过图像处理系统对测量到的图像数字信号进行处理、判断，从而提取需要的信息或控制现场的设备动作。这在当前的机器视觉技术发展中有重要的应用地位。根据实际的应用要求，基于机器视觉的采集处理系统的发展包含了以下几个方面：1 高压缩比图像压缩技术随着图像采集的应用越来越多，对图像的压缩提出了更高的要求。在现在的许多非实时采集系统和低端采集系统中都要求采集的图像在满足基本图像处理要求的情况下，尽量采用小尺寸的文件。因此，图像采集后要对采集的数据进行必要的压缩处理。而j p e g 是图像压缩的首选，采用中等质量的j p e g 就可以大幅度的减低数据量。2 图像数据的小型化存储随着对小型化的采集设备的需求量的增加，图像数据的存储已经逐渐以闪存( f l a s hm e m o r y ) 为核心。结合高压缩比的图像压缩技术，一块闪存芯片已经可以取代过去庞大的数据存储设备。闪存主要分为n o r 型和n a n d 型两大类，n o r 型与n a n d 型闪存的区别很大，n o r 型有独立的地址线和数据线，但价格比较贵，容量比较小。n a n d 型与n o r 型闪存相比，成本要低一些，而容量大得多。因此，n o r 型闪存比较适合频繁随机读写的场合，通常用于存储程序代码并直接在闪存内运行，n a n d 型闪存主要用来存储资料。第1 章引言3 图像的无线传输技术传统的图像采集系统大多使用有线方式进行传输，虽然有线传送从技术上较为简单，实现起来容易，其传输的带宽也相对较大。但是，有线方式有一定的应用限制。随着无线传输技术的成熟，例如8 0 2 1 l b 和8 0 2 1 l g 无线局域网技术。在很多不便于有线方式进行传输的场合，例如车载图像监视系统在和监控站进行数据交换时，使用有线方式就不方便。这时采用无线方式更利于数据便利的传输。4 采集系统和机器视觉系统的进一步结合图像采集系统一个很重要的发展应用，就是把单纯的图像采集和机器视觉紧密结合起来。完成更为复杂的分析和处理控制功能。机器视觉包括了低层视觉，使用单幅或多幅图像对图像进行相对简单的滤波、检测等功能。随着图像采集处理系统对智能化要求的提高，仅仅使用低层视觉是无法达到要求的。因此，采用中层视觉对图像进行分割和聚类分析，甚至采用高层视觉对采集图像进行自动的识别己经成为现在图像采集处理系统发展的重要方向。1 3 本文的研究思路基于机器视觉的图像采集处理系统在工程实践中包含了采集、传输、分析处理等过程。作为完整的图像采集处理系统，图像的采集方法、传输手段和最终图像的处理方法都是本论文讨论的要点。图像的采集是机器视觉系统的信息来源，通过采集设备对图像进行有序的采集、存储；采集系统的性能直接决定了机器视觉系统的根本信息来源。因此，从实际应用的角度出发，本文首先探讨了图像采集的方法和系统的设计。图像的传输是机器视觉系统和采集系统连接的桥梁，优秀的传输系统是获取图像信息可靠的保证。在实际应用中，图像的传输即要求可靠又要求便捷、同时应该兼顾传输标准的统一。本文中根据图像传输的要求，讨论了传输系统的应用设计。基于机器视觉的图像采集处理系统的一个重要部分是对采集到的图像进行分析处理，即利用机器视觉的方法对图像进行信息的提取。本文围绕机器视觉的典型应用：人脸的检测和识别，探讨了现有的检测、识别人脸的方法；同时根据实时检测的要求讨论了一种高效检测识别系统的设计方案。成都理工大学硕士学位论文1 4 论文的主要工作根据上述的研究思路，本文以基于机器视觉的图像采集处理系统的设计为轴线，分别探讨了系统中涉及到的主要的硬件、软件的工程设计以及相应的理论基础。并且在已有的技术上根据实际要求进行了新的探索和改进。主要包含了以下的几个部分：第1 章引言，探讨了机器视觉研究的价值。图像采集系统和机器视觉的结合及应用发展，以及面临的挑战。由此，确定了研究的思路和方向。第2 章机器视觉系统的组成，给出了典型的机器视觉系统的组成，讨论了主要的组成要素，并给出了设计的实际系统组成结构。第3 章视觉信息来源：图像采集系统设计，以图像采集设备的设计为核心，讨论了采集设备的要求、组成和实现。第4 章视觉信息传输：图像传输系统设计，以通用的基于t c p i p 的通信模式为基础，讨论了利用t c p i p 进行图像传输的实现方法。第5 章中低层视觉处理：视觉预处理，该章通过对图像灰度处理、边缘检测等的基本图像处理方法的讨论为高层视觉系统提供了分析基础。第6 章高层视觉应用：人脸检测和识别，在这一部分讨论了视觉采集系统的一个典型应用：人脸检测技术，并且根据实际要求以高效检测方法为核心讨论了实时入脸检测的方法和设计。接着以实用人脸的识别技术为核心，讨论了人脸识别的主要方法，设计了一种人脸识别器。第7 章结论最后是致谢及完成论文所查阅的主要参考文献。- 4 -第2 章机器视觉系统的组成第2 章机器视觉系统的组成2 1 视觉计算的体系机器视觉是构建在视觉计算理论【3 4 】之上的。视觉计算理论立足于计算机科学，系统地概括了心理物理学、神经生理学、临床神经病理学等方面已取得的所有重要成果，是迄今为止最系统的视觉理论。根据视觉计算理论，视觉是一个信息处理过程。这个过程根据外部世界采集到的图像产生对观察者有用的描述。这些描述依次由许多不同但固定的、每个都记录了外界的某方面特征的表象所构成或组合而成，例如通过摄像设备采集到的图像。一种新的表象之所以提高了步是因为新的表象表达了某种信息，而这种信息将便于对信息作进一步解释。按这种逻辑来思考可得到这样的结论：即在对数据作进一步解释以前我们需要关于被观察物体的某些信息，这就是所谓的本征图像。然而，数据进入我们的眼睛是要以光线为媒介的。灰度图像中至少包含关于照明情况、观察者相对于物体位置的信息。因此，首先要解决的问题是如何把这些因素分解开。低层视觉技术是视觉处理的第一阶段，其目的就是要分清哪些变化是由哪些因素引起的。大体上来说这个过程要经过两个步骤来完成：第一步是获得表示图像中变化和结构的表象。这包括检测灰度的变化、表示和分析局部的几何结构、以及检测照明的效应等处理。第一步得到的结果被称为初始简图的表象；第二步对初始简图进行一系列运算得到能反映可见表面几何特征的表象，这种表象被称为二维半简图或本征图像。这些运算中包括由立体视觉运算提取深度信息，根据灰度影调、纹理等信息恢复表面方向，由运动视觉运算获取表面形状和空间关系信息等。这些运算的结果都集成到本征图像这个中间表象层次。因为这个中间表象已经从原始的图像中去除了许多的多义性，是纯粹地表示了物体表面的特征，其中包括光照、反射率、方向、距离等。根据本征图像表示的这些信息可以可靠地把图像分成有明确含义的区域，从而可得到比线条、区域、形状等更为高层的描述。这个层次的处理称为中层视觉处理。下一个表象层次是三维模型，它适用于物体的识别。这个层次的处理涉及物体，并且要依靠和应用与领域有关的先验知识来构成对景物的描述，因此被称为高层视觉处理。由此可见，典型的视觉系统包含了低层视觉、中层视觉和高层视觉三部分。而完整的实用视觉处理系统应该包含采集、传输到三层视觉处理。成都理工大学硕士学位论文2 2 视觉系统的核心目前大部分的视觉处理包含了：图像采集、图像传输、预处理、边缘检测、线条拟合和建立线画图、物体建模和匹配等过程。这种识别过程是按从低层到高层、从图像到物体的顺序进行的。这种方法称为自底向上( b o t t o m u p ) 的视觉方法。自底向上的处理方法包含了四个重要的核心：1 原始图像的采集机器视觉系统的信息来源是来自图像，图像的采集作为视觉系统的核心之一，它提供了最原始的信息资源，所有的信息处理都是基于采集到的图像。因此采集的图像直接决定了最终所能达到的结果，良好实用的采集系统是视觉系统的重要组成部分。就现有的采集方式来看，图像采集基本上都是通过摄像设备将图像以数字化的方式采集存储于机器中的。2 图像的传输采集的图像信息，可以在本地进行加工处理，从中获取相应的视觉信息。但是由于现在较为复杂的机器视觉系统其需要的机器资源相对较大，如果在采集的同时进行处理，其设备成本就相对较高。根据这一情况，典型的视觉处理系统通常把采集的图像直接进行存储和传输而不进行加工或仅仅进行简单的加工，复杂的视觉处理都交由中心处理机来完成。因此，在图像采集完成后还需要对图像进行传输。3 图像处理图像处理是机器视觉的基本，它通过使用单幅或多幅图像提取图像中蕴含的信息。通过图像的处理将图像的原始数据转换为可供分析识别使用的图像特征。在人脸识别的机器视觉应用中，主要的图像处理是针对图像的灰度信息和图像边缘信息进行的。4 匹配和识别机器视觉的最终目标是让机器识别物体，因此匹配和识别是机器视觉系统中最后的组成。它利用采集到的图像经过图像处理得到的特征进行数学模型的建立，最终实现物体的匹配和识别。2 3 基于机器视觉的图像采集与处理系统设计根据上述分析，一个典型的视觉处理系统应该包含采集、传输、图像处理、第2 章机器视觉系统的组成匹配等模块。根据实际应用的要求，把基于机器视觉的图像采集处理系统分为了两大部分：硬件部分，完成图像的原始采集、存储和传输；软件部分，完成图像的处理和匹配识别，也就是机器视觉的低层、中层和高层视觉。2 3 1 系统结构图2 - l 给出了基于机器视觉的图像采集与处理系统的整体结构。r 一一一一一一一一一一一一一一一一1厂一一一一一一一一一一一一一一一ii上一i一illilj - ii 可直接有线连接中心处理系统l 一一图2 - 1 系统结构模型该系统，利用摄像设备作为采集的前端，通过控制电路控制图像的采集和存储。其次，通过网络设备以无线方式( 或有线方式) 传输到中心处理机。在中心处理机上利用机器视觉软件进行处理和分析。2 3 2 系统设计特点采用上述的系统作为基于机器视觉的图像采集与处理系统研究的实例，其各部分都具有各自的特点。但总体上各部分都具有：1 独立设计，每个部分都可以独立调试和使用。2 可组合性，可以采用其中几个部分组合成新的实用系统。3 成本低廉，在充分考虑实用效果后，系统在满足实际要求的同时系统设计成本相对低廉。下表列出了主要部分的功能和相应的技术特点。表2 - 1 系统的模块功能模块名功能核心技术和工具设计特点和主要内容控制摄像设备单片机控制使用8 位单片机，控制采集、存储采集控制s t c 8 9 c 5 1 6以r s 2 3 2 输出可接网络传输模块或工作k e i l c直接连接p c 机f l a s h 存储器采集存储存储压缩图像高效存储机制，简化的文件系统设计k 9 f 2 8 0 8 u o c成都理工大学硕士学位论文单片机实现网络传输系传输图像和信1 p i p单片机实现简化的t c p d p 协议栈统令r t l 8 0 1 9 a s以r j 4 5 输出可接无线或有线网络设备u i p数字图像处理、针对图像的压缩解压低层视觉处基础图像处理v i s u a lc + + 、主要的图像处理算法理系统可接收串口、t c p i p 网络和v f w 的d e l p h i图像数据高层视觉处定位物体、检索模式识别针对人脸信息进行检索和定位v i s u “c + +初步实现人脸的识别理系统信息可接收串口、t c p i p 网络和v f w 的d e l p h i图像数据2 4 本章小结本章以机器视觉系统的组成为探讨核心，给出了典型的机器视觉系统的组成，讨论了主要的组成要素。基于机器视觉的系统包含了图像的采集、传输和处理。而处理的过程应该包含了低层视觉处理、中层视觉处理和高层视觉处理三个部分。基于这种组成模型，最后给出了一种实际的机器视觉图像采集系统的系统设计。第3 章视觉信息来源：图像采集系统设计第3 章视觉信息来源：图像采集系统设计图像的采集是视觉处理系统中最为重要的第一部分，它提供了系统处理的信息来源。在科学研究中图像的采集可以直接由图像采集卡或摄像头提供计算机使用。但在实际的应用中采集设备需要自行设计，并且应该满足在足够的图像清晰度下尽量采用较小的存储尺寸，同时采集设备成本也应该较为低廉。本章以一种典型的实用采集系统设计为核心，介绍了图像采集存储的原理和实现，模块采用了以单片机为控制核心的电路设计，除电路设计外，单片机的程序( 即固件设计) 也是该模块的重要组成。3 1 系统方案论证图像采集系统即可以是最简单的摄像头通过u s b 接入p c 机进行分析和处理，也可以是采用专用的采集存储系统来进行采集。在专用的采集系统设计中可以使用8 位单片机、a r m 系统或d s p + f p g a 为核心进行设计。方案一：8 位单片机方案采用8 位单片机的设计是主要考虑到设计的成本要求。然而8 位单片机的处理能力有限，因此使用普通的8 位单片机彳i 可能完成采集和处理的同时进行。因此这种设计中，采集时需要专门的摄像设备，处理图像时需要将图像传输到中心处理计算机中进行处理。但是，对于机器视觉系统而言，将复杂多变的视觉处理放到计算机中完成，采集系统只负责采集图像的任务，这种设计即成本低廉又能满足要求，是一种可行性很好的方案。方案二：嵌入式a r m 方案采用a r m 进行采集控制也是一种合理的方案。a r m 即采用r i s c 指令的微处理器。a r m 的处理速度完全可以满足普通图像采集和处理的要求。相对于8 位单片机而言，它更适合于完成带有一定图像处理要求的采集系统。但是，针对机器视觉处理，a i m 并非最好的解决方案，其成本不是最低的，而运算处理能力也不是最高的。方案三：d s p + f p g a 方案采用d s p 和f p g a 混合的方法实现图像采集，这种方案可以很好的解决采集和实时的处理的问题。相比于单片机系统，d s p 器件具有较高的集成度，功成都理工大学硕士学位论文能强大。d s p 器件采用改进的哈佛结构，具有独立的程序和数据空间，允许同时存取程序和数据。内置高速的硬件乘法器，增强的多级流水线，使d s p 器件具有高速的数据运算能力。这对于有较高实时处理要求的采集系统是很重要的。但是，采用d s p 和f p g a 的方案，其制造成本较高，并且对于复杂和变化较大的机器视觉处理而言，它并非最理想的方案。至于，图像的存储设备，从小型化的要求来看，现有的存储设备都是选用的闪存作为存储的核心，早期的磁带存储方式已经不多见了。所以，综合以上的分析从采集存储器的成本、实际要求和系统设计复杂程度等诸多方面的考虑，图像采集存储电路采用了以单片机为核心，以f l a s hm e m o r y 为存储单元的设计。该采集存储器小巧而实用。采集存储系统有着广泛的应用，其典型应用如下：表3 - 1 采集存储系统应用应用模式应用特点远程监控基于网路的远程监控，小型化设备便于使用安防安全防护，隐蔽的监视终端留像门铃智能的门铃系统网络图像服务器新型网络图像采集存储系统远程抄表取代人工抄表系统可视电话小型的可视终端工业控制利用图像进行工业设备的控制、监控医疗仪器远程医疗应用的低价采集终端g s m 低速信道的远程图像监控系统无线移动采集g p r s 图像监控系统无线移动采集3 _ 2 采集系统电路设计采集系统电路设计的原理框图如图3 1 所示( 完整电路请参考附录) 。其结构简洁，功能完整，是一种良好的实用采集存储设备。l 羞苔图3 - 1 采集存储模块框图第3 章视觉信息来源：图像采集系统设计3 2 1 采集控制单元电路采集控制电路采用了8 位单片机为核心，通过p 1 口获取工控摄像头的图像数据，再通过p 0 口写入f l a s h 中，而需要时把数据从f l a s h 中读取出来通过串口传送到计算机或下一级，该系统设计中通过串口传送数据到网卡模块，再通过网络发送到远端计算机。图3 - 2 采集控制电路在这里，综合考虑了成本和使用便捷性的影响因素，单片机选用了s t c 8 9 c 5 1 6 r d 。s t c 8 9 系列单片机是m c s 5 1 系列单片机的派生产品。在指令系统、硬件结构和片内资源上与标准8 0 5 2 单片机完全兼容，d i p 4 0 封装系列与8 0 5 1 为p i n - t o - p i n 兼容。价格低廉，功能也较为齐全，比较适合采集控制。3 2 2 存储单元电路作为采集存储系统的存储核心，该设计采用了n a n d 型闪存作为存储器，用于保存采集到的图像。鐾m j 0 c器e * j g l m c图3 - 3k 9 f 2 8 0 8 u o c 存储电路一l l 成都理工大学硕士学位论文n a n d 型闪存的基本存储单元是页( p a g e ) 。每一页的有效容量是5 1 2 字节的倍数。所谓的有效容量是指用于数据存储的部分，实际上还要加上1 6 字节的校验信息。目前2 g b 以下容量的n a n d 型闪存绝大多数是( 5 1 2 + 1 6 ) 字节的页面容量。n a n d 型闪存以块为单位进行擦除操作。闪存的写入操作必须在空白区域进行，如果目标区域已经有数据，必须先擦除后写入，因此擦除操作是闪存的基本操作。一般每个块包含3 2 个5 1 2 字节的页，容量1 6 k b 。每颗n a n d 型闪存的u o 接口一般是8 条，每条数据线每次传输( 5 1 2 + 1 6 )b i t 信息，8 条就是( 5 1 2 + 1 6 ) 8 b “。寻址时，n a n d 型闪存通过8 条u o 接口数据线传输地址信息包，每包传送8 位地址信息。由于闪存芯片容量比较大，一组8 位地址只够寻址2 5 6 个页，显然是不够的，因此通常一次地址传送需要分若干组，占用若干个时钟周期。n a n d 的地址信息包括列地址( 页面中的起始操作地址) 、块地址和相应的页面地址，传送时分别分组，至少需要三次，占用三个周期。随着容量的增大，地址信息会更多，需要占用更多的时钟周期传输，因此n a n d 型闪存的一个重要特点就是容量越大，寻址时间越长。而且，由于传送地址周期比其他存储介质长，因此n a n d 型闪存比其他存储介质更不适合大量的小容量读写请求。根据实际要求，存储小幅面已经压缩的图像数据，并且充分考虑了单片机在处理时的速度问题，该部分设计时选用了s a m s l l l l g 的k 9 f 2 8 0 8 u o cn a n d型的f l a s hm e m o r y 。在平均每帧7 k ( j p e g ，c i f ) 左右的压缩图像情况下，1 6 m的k 9 f 2 8 0 8 u o c 可以存储超过千幅的图像，这完全可以满足一般性的存储要求。同时，在设计中也充分考虑了扩展性，如果需要更大的存储空间，只需要更换存储芯片，并修改部分芯片驱动程序就可以完成。3 2 3 接口电路采集系统的接口使用了r s 2 3 2 串行通信标准。其核心是r s 2 3 2 c 的电平转换电路。由于单片机采用t t l 电平输出，而r s 2 3 2 一c 的电平在t x d 和r x d 上：逻辑1 电平为一3 v 到1 5 v ；逻辑0 电平为+ 3 到+ 1 5 v ，所以需要相应的电平转换。在此处，串口即是采集设备和传输设备的连接端口，同时也是单片机调试的接口。该部分选用了m a x 2 3 2 来实现t t l 电平到r s 2 3 2 c 电平的双向转换。其电路图见图3 - 4 。第3 章视觉信息来源：图像采集系统设计图3 4m a x 2 3 2 串口电平转换电路3 3 采集系统软件设计由于采用单片机作为控制核心，采集存储系统大量的功能是通过单片机中的软件实现的，即所谓的固件。这部分仍然属于硬件部分，并且是非常重要的一部分。3 3 1 软件组成良好的采集存储控制软件是图像采集系统的核心，该部分包含：采集控制、芯片检查、块擦除、页写入、页读取、文件组织和信令处理等模块。其组成结构如图3 5 所示。1 i7 - l采集控制l i 一网卡叫f i a s i i 存储器_ jf ) a s h 校验l或p c 机信夸分析一文件分区表驱动串口f l 船h 块擦除if l a s h 存储器驱动jr 。出页读取ii叫r 啪页写入i卑片目l 米采在制_ 彖甄聃王璺功髓使块图3 - 5 采集存储模块固件组成g ，成都理工大学硕士学位论文3 3 2 采集控制系统的采集控制主要是由前端使用的视频采集设备决定。为了节省系统在算法上的开销，在设计中采用了工控摄像头j p e g 3 0 0 作为采集设备的前端。该工控摄像头输出接口为8 位并行接口，输出完整j p e g 格式图像文件。作为低端采集设备是非常适合的。下图给出了j p e g 3 0 0 与单片机的连接方法。p lj p e g 3 0 0c a p m o d ep 2 4数码相机单片机模块c a p e np 2 5p 3 4j p e 锄们图3 - 6j p e g 3 0 0 与单片机连接图图3 7 采集模块的程序流程j p e g 3 0 0 在复位后，需要大约1 9 0 0 m s 进行初始化。c a p e n = i 时模块开始第3 章视觉信息来源：图像采集系统设计采集，并通过j e p e g d 0 j p e g d 7 这8 位并行数据发送到单片机。同时通过j p e g i n t 产生中断，由于j p e g 文件的尺寸会随着采集的图像数据变化而变化，所以什么时候结束采集，需要在单片机中进行判断。一个标准的j p e g 文件总是从f f d 8 开始到f f d 9 结束的，通过这组比特数据可以判断出图像文件数据的起止位置。采集控制模块的流程如图3 7 所示。3 3 3 存储控制3 3 3 1 存储芯片存储是硬件设计中最为重要的一个部分，考虑到实际应用的要求，存储器使用了三星的n a n d 型f l a s h 存储器k 9 f 2 8 0 8 u o c i “1 ，该存储器是拥有1 6 8 b i t 的存储空间，虽然只有1 6 m 字节的空间，但由于图像文件采用了j p e g 压缩，在平均不足i o k 字节一帧的情况下，1 6 m 空间也足以存储上千幅的静态压缩图像，在实际的应用中，对于中低速的采集基本上可以满足要求。该f l a s h 存储器的地址、数据和控制是通过8 位数据线采用时分复用的方式进行工作的，其主要引脚和功能如下：表3 - 2k 9 f 2 8 0 8 u o c 管脚功畿管脚管脚功能作为数据的输入和输出端，在发送命令、写入地址和写入数据时1 0 0 1 0 7通过这8 根数据线向芯片传送，而在执行读操作时又通过它们读取数据。1 1 0 在芯片的片选信号为高时或禁止输出时呈现高组态。命令控制端c l ec l e 控制命令寄存器工作，当c l e 为高时，命令在丽的上升沿，通过i o 写入命令寄存器地址控制端a l ea l e 控制内部地址寄存器，当a l e 为高时，命令在i 面的上升沿，通过i 0 写入地址寄存器芯片控制端c e一c e 为芯片的片选控制端。当芯片忙时，一c e 为高将被忽略，同时芯片在写入和擦除操作时不会返回就绪模式。r e读数据控制端成都理工大学硕士学位论文一r e 控制数据的输出，将数据通过i o 输出。数据当面下降沿时有效。写数据控制端，饱而控制数据的写入，当i 西的上升沿1 1 0 数据被写入到芯片中。就绪忙状态输出r | br 百输出显示芯片的工作状态。当为低电平时，表示写入、擦除、读取操作正在进行中，操作完成后该管脚被置高。通过单片机控制该存储芯片工作，进行读写、擦除等操作。两者的连接方式如图3 - 8 所示。nh 。t艇名w e星面迸片机占c l en a l er ，6图3 - 8 单片机和k 9 f 2 8 0 8 u o c 的连接3 3 3 2 存储芯片的编址模式由于k 9 f 2 8 0 8 u o c 只有8 位i o ，而1 6 m 存储单元需要3 次地址输出，才能输入2 4 位地址数据，所以还需要使用程序对存储地址进行编址。根据k 9 f 2 8 0 8 u o c 的存储结构，它有a b c 三个存储区，分别为2 5 6 字节、2 5 6 字节和1 6 字节。其中采集系统只使用了a b 区的5 1 2 字节，通过a b 区再到a b 区的写入方式进行编址。3 2 k 页= ( 1 0 2 4 块1备二酉蚤= = 歹页寄存嚣1 6 字节1 个k l - 3 2 个页= 1 6 1 ( + 5 1 2 字节i 页= 5 1 2 字节+ 1 6 字节= 5 2 8 字节1 j 失= 5 2 s 字节x 3 2 页= ( 1 6 k + 5 1 2 ) 字节l 设：t - = 5 2 8 字节3 2 页x 1 0 2 4 块- 1 3 2 m b i t s图3 - 9k 9 f 2 8 0 8 u o c 的存储结构由于地址输入时需要通过a 8 来区分a 区和b 区，当a 8 为0 时对a 区进行操作，当a 8 = l 时对b 区进行操作。其流程如图3 1 0 。第3 章视觉信息来源：图像采集系统设计33 3 3f l a s h 芯片驱动程序图3 一1 0 地址操作的流程f l a s h 芯片的驱动程序就是对基本的操作时序的实现，用于完成芯片的检测、存储块的擦除、数据读取和写入等基本操作。其在图3 - 1 l 中给出了块擦除、数据读写的流程。全部的流程、时序和芯片控制字请参考附录。( a ) f l a s h 芯片块擦除流程成都理工大学硕士学位论文( b ) f l a s h 存储器的写入流程图( c ) f l a s h 存储器的读取流程图图3 1 1f l a s h 芯片驱动程序的主要流程图3 3 3 4f l a s h 中的文件系统设计f l a s h 存储器中存储了大量的数据，需要对其进行组织和管理，这就需要建立文件系统。考虑到系统访问速度和存储器消耗的情况，在设计中并没有采用f a t 文件结构，而是自行建立了一个非f a t 文件系统来对文件操作进行管理。该文件系统支持基本的文件系统所具有的功能，结构简练，访问速度快。其整体结构如图3 1 2 所示。第3 章视觉信息来源：图像采集系统设计图3 1 2f l a s h 文件系统结构在设计中，考虑到f l a s h 存储器第一块一定是有效块，所以将文件系统信息全部放在第一个块，而将实际数据从第二个块开始放入，而系统文件的分配的基本单位为一个页( 即5 1 2 字节) 。考虑到系统整体的复杂程度，对文件系统的要求并不是很高，所以文件系统的记录模式，根据需求自行进行了定义。该文件系统包括了：1 文件表区：0 - 1 6 k ( 目p0 块)( 1 ) 文件表标志区( 头6 个字节，0 5 b y t e )应该为：6 f5 a 2 e 4 a 2 e f f ( i i 6 f z j )6 f 作为已经格式化的标志( 2 ) 每6 字节为一个文件记录单元第l 字节：1 1 ，文件标志第2 字节：文件开始的首页地址的高8 位第3 字节：文件开始的首页地址的低8 位第4 字节：文件结束的页地址高8 位最高位为页内分区选择，0 表示a 区，1 表示b 区，该位不是页地址第5 字节：文件结束的页地址低8 位第6 字节：最后一页的数据尺寸( 以半页为单位，取值为0 - 2 5 5 )2 数据区：1 6 k o l 6 m3 3 3 5 信4 q t 计由于采集存储系统只是系统的前端，所以采集存储系统需要接受下一级通信模块或直接p c 机的通信信令。通过信令处理机制来分析系统的操作。在系统设计时由于数据和信令是混合传输的。因此，定义了1 6 进制的f f 为信令标志，系统最多可以支持f f 0 0 f f f e 共2 5 5 种信令处理。如果是数据的f f 则需要传输两次f f ，来区别信令和数据。就现有的系统支持的信令如下：成都理工大学硕士学位论文表3 - 3 采集存储系统的通信信令信令功能信令字返回值数据到达f f 0 0收到命令：f f 0 1系统可工作：f f o i检查系统是否工作f f 0 l系统检测异常：f f 0 2系统已格式化：f f o i系统是否格式化f f 0 2系统未格式化：f f 0 2格式化完成：f f o i格式化f l a s h 存储器f f 0 3格式化异常：f f 0 2文件数目值获取文件数目f f 0 4系统异常，文件数为0数据流开始写入f f 0 5数据流写入结束f f 0 6写入正常完成：f f 0 1文件读取f f 0 7返回文件数据3 3 3 6 高速存储机制设计由于采用8 位单片机其处理速度相对较慢，而摄像头的数据传输率较快再加之存储器写入需要一定的时间，直接数据存储会产生数据的丢失。( a ) 基本采集存储算法i f ) 改进的高效存储算法图3 1 3 高效数据写入方法流程第3 章视觉信息来源：图像采集系统设计为了解决两者速度不匹配的问题，通常可以采用扩展r a m 的方法来临时存储采集的数据，再进行f l a s h 存储器的写入，这种方法至少需要扩展1 0 k 以上的r a m 。在该系统的设计中采用了一种新的方法，即节约了成本又达到了良好的效果。利用c a c h e 的机制，在单片机中开2 5 6 字节的一级缓存，再把f l a s h 芯片的数据缓存当作片外的二级缓存。同时，f l a s h 写入时，单片机不再等待数据写入结束，而是直接把数据放入f l a s h 芯片的数据缓存后又继续接受数据。其算法流程如图3 1 3 。这种方法有效的解决了采集和存储速度不匹配的问题。3 4 测试该采集系统在文件系统设计和存储机制上都作了一定的改进，因此针对文件系统性能和存储性能进行了测试和对比。3 4 1 文件系统性能测试本设计中在系统启动时需要对文件系统进行初始化，主要是读取相应的文件信息和检索可用的存储空间。经过测试，该文件系统的性能如下表所示。表3 4 文件系统初始化速度测试数据表文件数量( 个)o1 01 0 03 0 0i 初始化时间( m s )5 05 25 35 5l 数据正确率( 呦1 0 01 0 01 0 01 0 0注：测试时间时是通过机器程序来完成的，非人工测试，其误差仅由机器时钟产生通过上表可以看出，系统初始化时随着文件数量的增加，初始化时间会有所上升，这主要是由于初始化过程中需要检索文件的数量造成的。但是，这种影响是非常小的，并且读取的数据没有发生任何错误，说明该文件系统是完全实用和可靠的。3 4 2 存储性能测试采用了改进的高效存储机制后，为了对比普通存储算法和改进的存储算法在系统中的性能，进行了不同存储算法的存储速度测试。测试中使用另一单片机系统作为模拟的图像采集源，用不同的速度向采集存储电路发送数据，通过观察存储数据的正确程度来测试两种算法的差别。表3 - 5 给出了测试的结果。2 1成都理工大学硕士学位论文表3 - 5 存储性能测试采集速率l k2 k3 k正常存( b y t e s )储方法数据正确否正确正确错误采集速率l k2 k3 k4 k5 k6 k7 k8 k9 k改进存( b y t e s )储方法数据正确否正确正确正确正确正确正确正确正确错误可以看出，改进的存储方法和普通的存储方法的差别还是较大的，普通的存储方法只能正确存储约2 k 字节秒的数据，而改进的方法可以达到约8 k 字节秒。而实际的摄像设备的平均数据率约为6 k 字节秒，因此该改进算法在不需要添加任何扩展芯片的情况下，仅用程序就提高了存储的效能。3 5 本章小结本章重点讨论了机器视觉系统的来源：图像采集系统的设计。根据实际工程要求以一种小型化的采集存储设备为核心，介绍了该设备的设计电路，算法流程，着重介绍n a n df l a s h 的存储机制以及单片机的控制功能的实现和改进。在实际应用中，这种低廉的小型采集存储设备有较大的实用价值。第4 章视觉信息传输：图像传输系统设计第4 章视觉信息传输：图像传输系统设计为了能方便快捷的转移采集到的图像，以便于对图像进行视觉处理，完整的视觉处理系统中，图像传输系统是一个组成部分。传统的图像采集系统多使用有线方式进行传输，但是，在不便于有线方式进行传输的场合，就需要使用无线传输的方式。而以t c p p 为核心的通信体系即便捷又通用，即可以是有线方式又可以是无线方式的，因此利用网络进行图像的传输是非常好的视觉信息传输方法。本章以网络传输为核心，讨论了基于i p 方式的图像传输系统的设计。4 1 系统方案论证传输电路是把采集存储的数据传送到p c 机，或把p c 机的指令传输到采集存储系统。传输的方式包括了有线和无线两种方式。根据采集存储系统的设计以及传输的要求来看，图像传输有四种方案可以选择：方案一：直接串口连接直接串口连接是一种晟简单的设计方案。它适合于近距离的数据传输和控制，对于不需要远距传输处理的系统而言，这种方案是最简单有效的。考虑到采集存储系统已经带有r s 2 3 2 串行通信口，所以传输模块不需要再考虑通