（测试计量技术及仪器专业论文）智能视觉传感器技术及其在药品自动视觉检测的应用研究.pdf

中文摘要 视觉传感器，也称智能相机，因其将图像传感器、数字处理器、通信接口和 i o 控制单元集成到一个单一的相机内，兼具了图像采集、图像处理、信息传递 和i 0 控制功能，是近年来计算机视觉研究领域的一个热点。现代化工业生产对 产品的质量控制提出了更严格的要求，自动视觉检测技术以其高精度、非接触性、 高智能等优点，符合现代生产过程中对在线检测和智能控制的要求，应用日趋广 泛。本文研究了视觉传感器技术，所开发设计的视觉传感器样机采用c m o s 图像 传感器，并基于d s p + c p l d 技术实现了图像采集、图像处理和i 0 控制，同时设 计实现了基于d s p 内置u s b 接口的数据通信。针对泡罩药品包装生产线上的实时 检测要求，采用所设计的视觉传感器样机搭建了泡罩药品自动视觉检测实验系 统，并研究了泡罩药品表面图像处理算法。本文完成的主要工作有： ( 1 ) 设计了基于t m s 3 2 0 v c 5 5 0 9 a 型d s p 的视觉传感器硬件电路并完成调试 工作，实现了其图像采集、图像处理、数据通信和i o 控制功能。 ( 2 ) 开发实现了d s p 内置u s b 通信接口。编写了基于中断处理的u s b 固件 程序，编写了基于w d m 结构的u s b 驱动程序，实现了u s b 接口的枚 举和数据通信。数据传输速率满足系统要求。 ( 3 ) 设计了视觉传感器的软件系统。编写了运行于d s p 系统的图像采集、处 理和传输程序，实现了视觉传感器实时响应外部采集命令，并经图像处 理分析，通过i o 口给出图像处理的结果信号；设计了p c 端的应用程序， 实现了泡罩药品运动图像和检测结果的实时显示。 ( 4 ) 设计了泡罩药品自动视觉检测系统的总体框架结构。系统由光电模块发 出采集命令，视觉传感器完成图像采集和处理并给出判断结果信号，p l c 模块完成对不合格产品的剔除。开发了专门的光源照明系统。 ( 5 ) 研究了泡罩药品表面图像处理算法。设计实现了图像滤波、灰度增强、 阈值分割、边缘检测、目标标记及几何特征参数测量；讨论了己知圆参 数的快速圆检测霍夫变换算法。 ( 6 ) 设计了两套实验系统。，一套采用透射照明方式，针对未覆盖铝箔材料的 泡罩药品实现实时检测；另一套采用反射照明方式，针对铝箔封合后的 泡罩药品实现实时检测。系统的检测精度和速度满足设计要求。 关键词：视觉传感器d s pu s b 图像处理泡罩检测 a b s t r a c t t h e s ey e a r st h ev i s u a ls e n s o rw h i c ha l s oc a l l e di n t e l l e c t i v ec a m e r ab e c o m em o r e a n dm o r eh o ti nt h ef i e l do fc o m p u t e rv i s u a lt e c h n o l o g y a si t i sc o n s i s t e do fi m a g e s e n s o r s ，d i g i t a ls i g n a lp r o c e s s o r ，c o m m u n i c a t i o ni n t e r f a c ea n di oc o n t r o l l i n gu n i t ， w h i c hc a nb eu s e di ni m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i n g ，i n f o r m a t i o nt r a n s m i s s i o n a n di 0c o n t r o l l i n g t oa d a p tt h es t r i c t e r r e q u i r e m e n t sb r o u g h tb yt h eq u a l i t y c o n t r o l l i n gd u r i n gt h em o d e r ni n d u s t r i a lp r o d u c t i o n ，t h ea u t o m a t i cv i s u a li n s p e c t i o n t e c h n i q u ew h i c hh a sh i g h e rp r e c i s i o n ，n o n c o n t a c tm e a s u r i n ga n dh i g h e ri n t e l l i g e n t c o n t r o l m e n ti sw i d e l ya d o p t e di no n l i n ei n s p e c t i o na n di n t e l l e c t i v ec o n t r o l m e n t i n t h i sp a p e r , t h et e c h n i q u eo fv i s u a ls e n s o ri sr e s e a r c h e d ，t h es a m p l eo fv i s u a ls e n s o ri s m a n u f a c t u r e dw h i c ha d o p t e dt h ec m o si m a g es e n s o rb a s e do nd s pp l u sc p l dt o f u l f i l li m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i n ga n dt h ei oc o n t r o l l i n g ，a n da l s ot h ed a t a c o m m u n i c a t i o nb a s e do nb u i l t - i nu s b p o r to fd s pi sd e s i g n e da n df u l f i l l e d f o rt h e r e a l t i m ei n s p e c t i o nr e q u i r e m e n to ft h eb l i s t e rd r u g sp r o d u c tl i n e ，t h ee x p e r i m e n t a l s y s t e mf o ra u t o m a t i cv i s u a ld e t e c t i o nb a s e do i lt h ed e v e l o p e dv i s u a ls e n s o rs a m p l ei s e s t a b l i s h e d ，w i t ht h er e s e a r c hf o rt h es u r f a c ei m a g ep r o c e s s i n ga l g o r i t h mo fb l i s t e r d r u g s t h er e s e a r c hf o c u s e di nt h i sp a p e ra n dt h ec o m p l e t e dw o r k sa r es h o w na s f o l l o w s ： 、 1 t h ec i r c u i to ft h ev i s u a ls e n s o rb a s e do nd s pt m s 3 2 0 v c 5 5 0 9 aw a sd e s i g n e d ， w h i c hc a nf u l f i l la l lf u n c t i o n si ni ts u c ha si m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i n g ，d a t a c o m m u n i c a t i o na n di oc o n t r o l li n g 2 t h eb u i l t i nu s bc o m m u n i c a t i o np o r tw a sd e v e l o p e da n df u l f i l l e d ，a n dt h e i n t e r r u p th a n d l i n gp a r tb a s e do nd s pw a sc o d e d ，i n c l u d i n gt h es o f t w a r eo fu s bd r i v e b a s e do nt h ew d ms t r u c t u r e ，w h i c hi m p l e m e n t st h eu s bi n t e r f a c ee n u m e r a t i o na n d d a t ac o m m u n i c a t i o n s 3 t h es o f t w a r es y s t e mo ft h ev i s u a ls e n s o rw a sd e s i g n e d ，a n dt h ep r o g r a m su s e d f o ri m a g ea c q u i s i t i o n ，p r o c e s s i n ga n dt r a n s m i s s i o no ft h ev i s u a ls e n s o rw a sd e s i g n e d a n dr u nb yo s p , w h i c hi m p l e m e n t st h er e a l t i m er e s p o n s et ot h e - e x t e r n a ls a m p l i n g o r d e ra n dg e t t i n gt h ei oo u t p u ts i g n a lt h r o u g ht h ea n a l y s i so fi m a g ep r o c e s s i n g ，a l s o t h ea p p l i e dp r o g r a mf o rp cw h i c hc o u l df u l f i l lt h er e a l - t i m ed i s p l a yo ft h em o v i n i g i m a g ea n di n s p e c t e dr e s u l to ft h eb l i s t e rd r u g sw a sd e s i g n e d 4 a no v e r a l lf r a m e w o r ko ft h ea u t o m a t i cv i s u a li n s p e c t i o ns y s t e mu s e df o rt h e b l i s t e rd r u g sw a sd e s i g n e d ，t h eo p t o e l e c t r o n i cm o d u l ea n dt h ev i s i o ns e n s o rc o m p l e t e t h ei m a g ea c q u i s i t i o na n di m a g e p r o c e s s i n g ，t h es i g n a lo fp r o c e s s i n gr e s u l t sw a sg i v e n t op l cm o d u l e ，a n das p e c i a ll i g h ts o u r c ew a s d e s i g n e d 5 t h ea l g o r i t h mo f t h eb l i s t e rd r u g ss u r f a c ei m a g ep r o c e s s i n gw a sr e s e a r c h e da n d t h ei m a g ef i l t e r i n g ，g r a ye n h a n c i n g ，t h r e s h o l d s e g m e n t a t i o n ，e d g ed e t e c t i o n ，g o a l m a r k i n ga n dt h eg e o m e t r i cc h a r a c t e r i s t i cm e a s u r e m e n tw e r ed e s i g n e da n da c h i e v e d t h eh o u g ht r a n s f o r ma l g o r i t h mf o rr a p i dc i r c l ed e t e c t i o no ft h ek n o w n p a r a m e t e r s w a sd i s c u s s e d 6 t w os e r i e so f e x p e r i m e n t a ls y s t e mw e r ed e s i g n e d ，o n ea d o p t e dt h e t r a n s m i s s i o nl i g h t i n gm o d e ，w h i c ha i m e da tt h er e a l t i m ei n s p e c t i o no ft h eb l i s t e r d r u g sw h i c hw i t h o u tc o v e r e da l u m i n u mf o i l ，a n dt h eo t h e ra d o p t e dt h er e f l e c t i v e l i g h t i n gm o d e ，w h i c ha i m e da tt h er e a l - t i m ei n s p e c t i o no ft h eb l i s t e rd r u g sc o v e r e d a l u m i n u mf o i lp a c k a g e t h ei n s p e c t i n ga c c u r a c ya n dt h es y s t e m ss p e e ds a t i s 矽t h e d e s i g nr e q u i r e m e n t s k e yw o r d s ：v i s u a ls e n s o r ，d s p , u s b ，a u t o m a t i cv i s u a li n s p e c t i o n ， i m a g ep r o c e s s i n g ，b l i s t e rp a c k a g i n gi n s p e c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名石i 每疲 签字日期： 矽汐年 石月夕日 学位论文版权使用授权书 本学位论文作者完全了解叁盗盘堂有关保留、使用学位论文的规定。 特授权墨鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：f 石喝谚、 导师签名： 签字日期：9 扩年 月厂日 签字日期：珈( ) 8 年冬对 日 】乙f 7 p庐l沙忽 喜 天津大学硕士学位论文 第一章绪论 1 1 机器视觉研究概述 1 1 1 机器视觉的理论体系 第一章绪论 人类观察和认识世界依靠视觉、触觉、听觉和嗅觉等感觉器官，其中视觉是 获取信息最主要的途径，所获取的图像是人类相互交流和认识客观世界的主要载 体，同时也是人类最复杂的感知过程之一【i 】。伴随着人类对视觉机理的认识和计 算机技术的快速发展，人们越来越多地利用计算机来获取与处理视觉( 图像) 信 息，由此产生和促进了计算机视觉、图像工程、图像处理和分析、模式识别等学 科的发展和普及。自动视觉检测技术( a u t o m a t i cv i s u a li n s p e c t i o n ，a v i ) 就是一种 利用计算机视觉系统来代替人工视觉进行产品质量检测的新兴技术。 计算机视觉( c o m p u t e rv i s i o n ) 一般认为是指用计算机和一些辅助设备来实现 人的视觉功能，通过对三维世界所感知的二维图像来研究和提取三维景物的物理 结构，从而实现对外界事物和客观三维世界的感知、识别和理解。早期的视觉研 究是基于二维的，主要集中在对二维景物图像的分析，采用模式识别的方法完成 分类工作。二十世纪六十年代，r o b e r t s 成功地对三维积木世界进行解释，开始 了利用二维图像解释三维目标和景物的研究。八十年代初，m a r r 提出视觉计算 理论，并迅速成为计算机视觉中最重要的理论基础，其核心思想是从二维图像恢 复物体的三维形状，因此被称为重建学派。随着研究的深入和学术讨论的继续， 陆续出现了一些新的思想，如活跃视觉【2 】、主动视觉、定性视觉等。目的学派集 成发展了这些思想，强调视觉是由一系列任务组成，找到每个任务的目的，并增 加约束去解决视觉中的病态问题。 为了获取图像，从而创建或恢复现实世界模型，再进一步实现对现实客观世 界的观察、分析、判断以及决策，就诞生了用机器模拟生物微观和宏观视觉功能 的科学和技术，称为机器视觉系统。 机器视觉( 系统) 一般认为是一个使用光学的非接触式传感设备，能自动获取 现实中机器或过程等目标物体的一幅或多幅图像，对所获取图像进行处理、分析 和测量，取得机器或过程的信息，并且( 或者) 做出相应决策，对机器或过程加以 控制【3 】【5 】。虽然机器视觉需要数字图像处理和分析，常常以计算机为载体，但是 机器视觉、计算机视觉和图像处理并不等同，它们之间也不存在子集关系。计算 天津大学硕士学位论文第一章绪论 机视觉是计算科学的一个分支，机器视觉系统则是系统工程中一个专门化的分 区，特别值得注意的是，分别使用了科学和工程两个概念。当然计算机视觉和机 器视觉又是密不可分的，可以认为机器视觉侧重于计算机视觉技术工程化，能够 自动获取和分析特定图像，以及控制相应行为。从联系上来说：计算机视觉为机 器视觉系统提供了图像和景物分析的理论及算法基础，机器视觉为计算机视觉的 实现提供了传感器模型、系统构造和实现手段。 1 1 2 机器视觉系统的研究方向和热点 近几年来，随着微电子技术和集成电路制造技术的发展，机器视觉系统的研 究从组成结构上，发展为p c 式机器视觉系统( p cb a s e dv i s i o ns y s t e m ) 和视觉 传感器( 智能相机) 两个方向。p c 式机器视觉系统以c c d 摄像机作为图像传感 器，产生的模拟图像在计算机内通过采集卡转换成数字图像，在p c 机内完成图 像处理。而视觉传感器( 智能相机) ，将图像的采集、处理与通信功能集成于单 一相机内，脱离了p c ，提供具有多功能、模块化、高可靠性、易于实现的机器 视觉解决方案。同时，由于应用了最新的d s p 、f p g a 及大容量存储技术，其智 能化程度不断提高，可满足多种机器视觉的应用需求。 机器视觉系统研究从应用上一般可以分为：自动视觉检i 贝i i ( a v i ) 系统和机器人 视觉系纠4 1 。自动视觉检测系统是利用机器视觉手段获取被测物体图像，并与预 定标准( 指标、模板等) 进行比较，决定一个产品( 部件、物体或零件等) 是否偏离 或符合给定的规则集，确定被测定物体的质量、数量、位姿等状况，然后采取相 应的反馈措施。机器人则是一种基于视觉测量并进行制导和控制的系统。相比较 而言，自动视觉检测系统的约束条件更强，应用更广。 本文所论述的课题正是瞄准机器视觉在自动视觉检测( a v i ) 系统中的应用， 研究了以d s p 处理技术为核心的视觉传感器( 智能相机) ，系统脱离p c 机，能 独立地完成图像采集、处理、识别和判断的整个过程。 1 2 自动视觉检测系统综述 1 2 1 自动视觉检测系统 自动视觉检测( a v l ) 正是建壶在机器视觉基础上的一门新兴检测技术，是综合 应用图像处理与分析、模式识别、人工智能、精密仪器等技术的非接触式检测方 法，它是计算机视觉技术走出实验室，在生产和工程中的具体实践。图1 1 所示 为一个典型的a v i 缺陷检测系统，借助特定的图像分析处理及分类软件，由计 天津大学硕士学位论文第一章绪论 算机( 或集成处理器，如：d s p 、f p g a ) 对由一个或多个图像采集系统所获得 的产品表面图像进行分析处理，采集系统的位置通常固定，并配以良好的光照条 件，实现对预知对象特征进行分析、分类。系统根据图像处理、分析的结果做出 决策，决定当前检测的产品是否存在缺陷，如果产品存在缺陷，则通过与p l c ( p r o g r a m m a b l el o g i cc o n t r o l l e r ) 或其他通讯单元来驱动剔除装置予以剔除。 传送带 图1 1 典型的a v i 缺陷检测系统框图 一个良好的生产操作方式应该是结构化的，所以实用的a v i 系统也应该是 简单的、结构化的。除此之外，一个优化的a v i 系统还应该兼顾以下几点：可 靠性、鲁棒性、自适应性、运行速度以及系统的造价等。一个可靠的a v i 检测 系统应该在符合行业标准的基础上尽量降低漏检率( e s c a p er a t e s ) 和误检率( f a l s e r a t e s ) 。对合格品和不合格品的正确分类在很大程度上依赖于系统所获取的图像 的质量，由此系统还应该具有较强的鲁棒性，如系统在图像的噪声、不规则和不 均匀的光照、阴影及背景的扰动等干扰下仍能保证良好的性能，能够在一定范围 内对所检测对象的位置、角度等几何参数的不确定性具有自适应能力等。a v i 检 测系统多应用于生产流水线，为保证生产的连续性，系统还应该具有快的运行速 度。对于对时间要求比较苛刻而超出主处理器处理能力的应用，通常需要借助一 些特殊硬件来加快运行速度。 1 2 2 自动视党检测技术的发展及特点 应用于工业的自动视觉检测系统【5 j ，最初发展始于上世纪7 0 年代，经过数十 年的发展，由于原理和应用目的不同派生了很多分类方法。根据对象空间维数特 征可以分为二维视觉系统和三维视觉系统，在三维视觉中，根据视点数目又可以 分为单目视觉、双目视觉等；根据系统是否发射光线分为有源和无源视觉方法； 根据辨识原理的不同可以分为基于区域、基于特征、基于模型、基于规则的视觉 方法；根据处理的图像可以分为二值、灰度、彩色等。 在自动视觉检测系统的构成方面，随着现代电子技术的发展，计算机性能不 无津大学硕士学位论文 第一章绪论 断地提高，基于p c 机和图像采集卡模式的自动视觉检测系统应用日渐广泛，此 类系统充分利用了通用计算机成熟的软硬件资源，具有配置灵活，开发周期短， 成本较低等特点。尤其在国内，自动视觉检测系统的研究多数基于此类结构。 但是在一些数据量大、实时性要求高的场合，或者一些安装空间有限的场合， 通用计算机不但处理速度无法胜任，而且结构庞大，这时需要采用基于嵌入式处 理器的图像处理系统。由于使用了专用处理器，如d s p 等，其数字信号处理能 力优越可以很好地解决实时性问题。这种专门的处理器，可以将图像传感器、 采集卡、图像处理器集成到一起构成了一个典型的视觉传感器解决方案，可以 独立地完成检测图像的采集、处理、识别和判断等整个过程。 近年来，国外一些从事机器视觉开发的自动化公司纷纷推出其视觉传感器设 备，如n i 的c v s i 4 5 x 系列、s i m a t i c 的v s1 0 0 系列和7 0 0 系列、o m r o n 的f 系统( f 3 0 f 1 6 0 。f 2 1 0 ，f 4 0 0 v 2 等1 ，美国p p t v i s i o n 公司的i m p a c t 系列， k e y e n e e 公司的c v - 2 1 0 0 系列美国b a n n e r ( 邦纳) 公司的p r e s e n c e p l u s 系 列，美国c o g n e x ( 康耐视) 公司的d v t 等。图1 2 是美国c o g n e x ( 康耐 视) 公司最新推出的c h e e k e r 2 3 2 型视觉传感器。图1 3 是美国b a n n e r ( 邦 纳) 公司推出的一款用于潮湿恶劣环境下的视觉传感器。 图i - 2 c o g n e x 公司c h e c k e r 2 3 2 型图 - 3 b a n n e r 公司用于潮湿环境下的i p 6 8 型 面向于工业检测中的自动视觉检测系统由于其明确的工程应用背景，与普通 计算机视觉、模式识别、数字图像处理有着明显区别，其值得一提的特点有： r 】) 自动视觉检测系统的工作环境一般事先确定。对于一个给定的系统，检测时 的照明、位置、颜色、数量、背景等条件都是需要仔细加以调试的。选择适 合的工作条件使得后续处理大为简化，有利于构成实际系统。 ( 2 ) 自动视觉检测系统作为一门高速发展的综合性学科，不光需要数字图像处理、 计算机视觉、模式识别、人工智能等理论基础同时还涉及机械、电气、控 天津大学硕士学位论文第一章绪论 制、照明，光学、传感器、人机接口等技术。这些理论和技术在自动视觉检 测系统中是并列关系，相互协调才能构成一个成功的工业视觉应用系统。 ( 3 ) 自动视觉检测系统往往具有专用性。作为一个面向特定问题的系统，一般并 不需要对目标物体进行三维重建，只需针对某个具体明确的目标( 目的) ，选 择特定的算法和设备，做出决断。 ( 4 ) 由于检测环境可选择，检测目标明确，自动视觉检测系统可以得到更多己知 知识的指导。知识应用在系统的各个层面，这一点体现在算法的选择、目标 特征的确定上，算法中的很多参数可以事先确定。 ( 5 ) 自动视觉检测系统更强调实用、经济和安全可靠性。要求适应工业生产的恶 劣环境，满足分辨率和处理速度两个条件的约束，性价比合理；要有通用的 工业接口；能够由普通工作人员来操作；有较高的容错能力和安全性，不会 破坏工业产品。因而计算机视觉和数字图像处理中的许多技术目前还难以应 用于自动视觉检测，它们的发展速度远远超过其在工业生产中的应用速度。 ( 6 ) 对从事自动视觉检测系统设计的工程师来说，不仅要具有研究数学理论和编 制计算机软件的能力，更需要的是光、机、电一体化的综合能力。 ( 7 ) 工业自动视觉检测系统区别于普通视觉系统，不在图像处理等理论方法，而 在实现技术要适合工业应用环境的特殊要求。这就决定了工业自动视觉检测 系统除了光源和光学成像系统，摄像与图像处理系统，用于控制摄像、图像 处理、图像分析的处理器外，还会包括有更多子系统，如：与生产线同步的 通信系统，测距、测速等辅助检测系统，标记、报警或机械操作等结果反馈 系统。根据应用目的不同，系统设计必须选择或者设计不同的子系统，最后 集成为整体。 1 2 3 自动视觉检测技术的应用 目前，自动视觉检测技术正逐渐触及到人类生产和生活各个领域，从医学图 像到遥感图像，从工业检测到文件处理，从交通自动化到民宅安全监控，从毫微 米技术到多媒体数据库等等。本文针对自动视觉检测在工业场合的实时应用进行 研究，所以仅对其的工业应用进行简单介绍。 就检测性质和应用范围而言，自动视觉检测可分为定量检测和定性检澳i 上两大 、类，每类又可分为不同的子类，如图1 - 4 所示。 天津大学硕士学位论文第一章绪论 1 3 视觉传感器 图1 - 4 自动视觉检测技术的应用 1 3 1 视觉传感器组成及特点 视觉传感器，也称智能相机，是近年来机器视觉领域发展最快的一项新技术。 视觉传感器是一个兼具图像采集、图像处理、信息传递功能和i 0 控制的小型机 器视觉系统，是一种嵌入式机器视觉系统【6 j 。它将图像传感器、数字处理器、通 讯模块和i 0 控制单元到一个单一的相机内，使相机能够完全替代传统的基于 p c 的计算机视觉系统，独立地完成预先设定的图像处理和分析任务。由于采用 一体化设计，可降低系统的复杂度，并提高可靠性。同时系统尺寸大大缩小，拓 宽了视觉技术的应用领域。 视觉传感器一般由图像采集单元、图像处理单元、图像处理软件、通信装置、 i 0 接口等构成，视觉传感器系统构成如图1 5 所示。 i 。ij 二：r ； 图墨 _ 障凳理h 存储单元l 一通冀口i r 二了二二二二1l 匪圃 图像处理软件7 图1 5 视觉传感器系统构成图 习囡|圜|圈|蓦四 天津大学硕士学位论文第一章绪论 视觉传感器其最大特点是集成度高，功能模块化，符合工业特点。它集成了 光源、摄像头、图像处理器、标准控制和通信接口等，可以方便地实现和p c 、 p l c 等设备通信。作为独立的智能图像采集和处理单元，内部存贮器可以存储下 载的图像处理算法。基于视觉传感器开发的检测系统还具有抗干扰能力强、开发 效率高、组成简单、规格等级化等优点。同时，为了支持模块化，开发了图像处 理集成软件包，囊括了视觉检测中最常用的一些图像算法及工具软件包( 又称软 传感器) 。有实力的公司更是推出了包括软硬件在内的一整套图像处理系统及解 决方案。因此，基于视觉传感器技术的自动视觉检测正是本文研究的着眼点。 1 3 2 视觉传感器的发展趋势 由于视觉传感器具有体积小、功能多、方便易用等特点，在多种领域具有广 阔的应用前景，这也正是越来越多的相机和板卡制造商都在开发视觉传感器系统 的主要原因。在可预见的将来，视觉传感器将呈现以下的发展趋势： ( 1 ) 接口的标准化 由于在工业控制领域存在着大量通信需求，因此，视觉传感器的接口将支持 越来越多的通用协议，包括s m t p 、f t p 、t c p i p 客户服务器、t e l n e t 、u s b 等。 ( 2 ) 系统模块化 将光源，电源、控制模块甚至其他一些传感器集成到整个系统的软硬件中， 这样使应用起来更加方便，系统的稳定性也更高。 ( 3 ) 专业化 设计开发出适用于某些行业、某些特定应用的视觉传感器。在特定的检测应 用中，生产现场某些工序的检测内容比较固定，采用较少的硬件及软件算法来构 成特定的系统，这样既可以达到很高的效率又可以降低成本。 ( 4 ) 大面阵和高速化 在许多工业检测应用中，要求视觉传感器具有较高的分辨率和帧速，以满 足对微小尺寸物体及运动目标的检测要求。因此，大面阵和高速化也将成为视觉 传感器的发展方向之一。半导体技术及c c d 技术的飞速发展，为实现视觉传感 器的大面阵和高速化提供了技术基础。 1 4 课题研究背景及意义 1 4 1 泡罩药品自动视觉检测技术的研究现状 药品的包装方式目前主要有瓶装、袋装和铝塑泡罩包装三种形式，其中铝塑 天津大学硕士学位论文第一章绪论 泡罩包装是近几年来有较大发展的片剂、胶囊的主要包装形式，也被称为药品的 “p t p ”泡罩包装。与其它形式的包装方式相比，铝塑泡罩包装不仅具有防水和对 水蒸汽等气体及异味阻隔性好的特性，而且其封口性能、冲击强度、抗张强度、 耐用性等各项指标都比较优良，因此其应用将越来越广泛。片剂和胶囊制剂生产 的包装作业包括搅拌、给药、压封、切割等一系列工艺过程，包装后的药品容易 出现缺粒、破损、裂纹、异物混入等缺陷。旧式的辊式和平板式铝塑泡罩包装机 ( 生产线) 一般没有自动检测功能，对于这些缺陷，传统上采用人工挑选的方法 来进行检测。对于人工检测，长时间操作会使人眼感觉疲劳，检测准确率降低， 而且手工剔除的劳动强度大，效率低下，直接影响产品的质量与成本。而药品生 产的g m p ( g o o dm a n u f a c t u r i n gp r a c t i c e ) 国际认证制度要求药品生产的每一个 环节都必须l0 0 进行合格检查。这无疑给药品生产线的自动视觉检测技术带来 了空前的发展机会。 雅典科技大学主持开发的f a m a r 药品包装检测系统由一个复杂、昂贵的分 布式视觉检测网络系统组成，可以同时检测多个工位。该系统由多个名为 c o m s e r v e r 的特殊硬件通过同轴电缆与p c 连通构成以太网的骨架，图像的获取 及a v i 软件的运行由带有嵌入式微处理器的智能摄像头来完成【7 】。f a m a r 的a v i 软件包含字符确认、标签检测及包装检测等多个嵌入式应用模块，其中包装检测 模块采用传统的基于模板的灰度值匹配方法。多个摄像头通过r s 2 3 2 口与 c o m s e r v e r 相连，由c o m s e r v e r 完成与p c 机的信息交互工作；p c 端仅负责各 检测工位的工况监控、检测参数设置等简单任务。该系统能够在一分钟内完成 1 5 0 个产品的检测。在国内，西安至信公司面向中小型药品生产企业，自主开发 了一套药品包装自动视觉检测系纠8 1 。该系统采用结构光发生器实现线扫描以快 速获得现场图像，图像处理单元( i m a g ep r o c e s s i n gu n i t ，i p u ) 采用高速d s p 和 并行处理相结合的硬件结构，并运用红外、霍尔、电磁传感器来予以触发。缺陷 检测仍然采用模板匹配的方法。发现不合格产品后，i p u 即与p l c 通讯，由p l c 计算位置数据，当不合格产品位移至指定位置时，即通过剔除装置予以剔除。 1 4 2 课题的研究意义 本文研究了视觉传感器系统的关键技术，设计开发了视觉传感器实验样机， 在实验室条件下搭建一套基于视觉传感器的泡罩药品自动视觉检测系统，并将最 终用于制药生产线的实际检测应用。 目前，国内药品生产的自动视觉检测系统多见于进口的全自动生产线，此 类检测系统往往与生产线一体化，调整与维护都比较困难。在非自动或半自动生 产线的产品检测中，人工检验仍然占着主导地位。对于中小制药企业质量检测自 天津大学硕士学位论文第一章绪论 动化的实施，改造现有的旧设备( 生产线) 是一条比较经济可行的路子。据行业内 技术人员介绍，对于己经被淘汰的铝塑包装设备，设备生产厂家完全可以通过回 收改造后再重新投放市场。可见，经济灵活的泡罩药品自动视觉检测系统在国内 有着巨大的市场潜力。目前国外已有很多商品化的专用自动视觉检测系统，但动 辄百万，价格昂贵。 国内外针对泡罩药品的自动视觉检测系统大都采用基于p c 机的视觉检测 模式，而采用视觉传感器的自动视觉检测系统还很少见，视觉传感器在实际的应 用中具有体积小、多功能、方便易用、抗干扰好、集成度高等诸多优势，所以研 究视觉传感器系统对构建能够替代进口产品、适合我国国情的自动视觉检测系 统，具有重要的理论价值和实用意义。 同时，课题研究的视觉传感器和自动视觉检测技术具有一定的通用性，对 其他应用邻域的表面缺陷检测、表面轮廓尺寸测量及生产控制有很好的指导借鉴 意义。本系统基于模块化的设计思想，通过对某些特定模块的更换和改进，可以 方便地实现其他应用邻域的检测任务。 1 5 论文的主要研究内容 本文研究了视觉传感器技术，所开发设计的视觉传感器样机采用c m o s 图像 传感器，并基于d s p + c p l d 技术实现了图像采集、图像处理和i 0 控制，同时设 计实现了基于d s p 内置u s b 接1 2 1 的数据通信。针对泡罩药品包装生产线上的实时 检测要求，采用所设计的视觉传感器样机搭建了用于透射式和反射式泡罩药品视 觉自动视觉检测系统，研究了泡罩药品表面图像处理算法，并在实验装置下完成 了系统检测任务。论文的主要研究内容和完成工作如下： ( 1 ) 设计了基于t m s 3 2 0 v c 5 5 0 9 a 型d s p 的视觉传感器硬件电路并完成调试 工作，实现了其图像采集、图像处理、数据通信和i o 控制功能。 ( 2 ) 开发实现了d s p 内置u s b 通信接e l 。编写了基于中断处理的u s b 固件 程序，编写了基于w d m 结构的u s b 驱动程序，实现了u s b 接口的枚 举和数据通信。数据传输速率满足系统要求。 ( 3 ) 设计了视觉传感器的软件系统。编写了运行于d s p 系统的图像采集、处 理和传输程序，实现了视觉传感器实时响应外部采集命令，并经图像处 理分析，通过i o 口给出图像处理的结果信号；设计了p c 端的应用程序， 实现了泡罩药品运动图像和检测结果的实时显示。 ( 4 ) 设计了泡罩药品自动视觉检测系统的总体框架结构。系统由光电模块发 出采集命令，视觉传感器完成图像采集和处理并给出判断结果信号，p l c 天津大学硕士学位论文第一章绪论 模块完成对不合格产品的剔除。开发了专门的光源照明系统。 ( 5 ) 研究了泡罩药品表面图像处理算法。设计实现了图像滤波、灰度增强、 阈值分割、边缘检测、目标标记及几何特征参数测量；讨论了已知圆参 数的快速圆检测霍夫变换算法。 ( 6 ) 设计了两套实验系统。一套采用透射照明方式，针对未覆盖铝箔材料的 泡罩药品实现实时检测：另一套采用反射照明方式，针对铝箔封合后的 泡罩药品实现实时检测。系统的检测精度和速度满足设计要求。 1 6 本章小结 本章首先论述了机器视觉的分类和研究热点，分析了自动视觉检测技术的 发展、特点和应用，讨论了视觉传感器的组成与优势，最后介绍了本文的研究意 义和主要工作内容安排。以下各章将就系统结构，视觉传感器的软、硬件设计， 通信接口的实现，图像处理与分析算法研究等方面进行详细论述。 天津大学硕士学位论文第二章泡罩药品自动视觉检测系统研究 第二章泡罩药品自动视觉检测系统研究 通过第一章对泡罩药品检测技术的论述，结合课题的研究实际，最终确立了 基于视觉传感器的自动视觉检测方案。系统设计应满足的技术要求主要有： ( 1 ) 1 0 0 检测准确率：药品是一种特殊的产品，根据制药行业的“g m p ”认证 制度要求，药品一经出厂务必1 0 0 是合格产品，这就要求系统具备1 0 0 的检测准确率，实现零误检、零漏检；本系统要求1 0 0 检出药板内任意 位置的缺粒和药片残缺( 缺损部分面积大于完整药片面积的10 ) 。 ( 2 ) 实时性要求：所设计的系统应用于药品生产流水线上，要求系统具备实时 在线检测的能力。系统的检测速度不仅与系统自身的处理速度有关，还应 与生产线的运行速度密切相关，系统的检测速度必须能满足生产现场的客 观条件。 ( 3 ) i 0 扩展要求：通过扩展的i 0 口，系统能同步生产线的相关传感信号，实 时地跟进采集和处理任务，并且通过控制执行机构实现废品的自动剔除。 考虑系统设计的实时性、准确性、鲁棒性要求，遵循系统设计的完整性、可 靠性、经济性和易于升级扩展的原则，采用模块化的设计思想来完成系统的总体 结构设计。 2 1 泡罩药品自动视觉检测系统结构 2 1 1 泡罩药品包装工艺流程 泡罩药品包装是先将透明塑料硬片( p v c 材料) 加热、吸塑成型后，将片剂、 丸剂或颗粒剂、胶囊等固体药品填充在凹槽内，再与涂有粘合剂的铝箔片加热粘 合在一起，形成独立的密封包装【8 】 9 1 ；包装好的的药板经过传送带，送入自动装 盒机，加入说明书进行外盒的包装。这种包装是当今制药行业应用广泛、发展迅 速的药品软包装形式之一。图2 1 是一个典型的泡罩药品包装工艺流程图。 ip v c 加热l 一成型l 一药粒装入l 一政学算舢i 一封合i 图2 1 泡罩药品包装工艺流程图 天津大学硕士学位论文第二章泡罩药品自动视觉检测系统研究 泡罩药品自动视觉检测系统可以位于泡罩药品包装工艺流程中的两个检测 环节，对应于图2 1 中的缺陷检测环节和缺陷检测环节。在缺陷检测环节 情况下，药粒已经装入p v c 吸塑成型的泡罩中，但这时泡罩还没有与铝箔实现 热封合。这一环节主要检测药粒的缺粒、漏装现象，由于泡罩还没有与铝塑封合， 且泡罩p v c 材料是透明的，所以系统可以采用背光源的透射照明方式。在缺陷 检测环节情况下，生产线上已经输出了成品药板，也就是我们日常所见的药品 包装，这时由于铝箔的非透明性，要检测出药片的缺粒、破损，系统应采用前向 光源的反射照明方式。由于药品装盒后就将直接面向消费者，因此为确保药品 1 0 0 的合格率，有必要在药品装盒之前再次安排缺陷检测任务。本文针对泡罩 药品包装流程中的这两个缺陷检测环节，分别设计了透射式泡罩药品自动视觉检 测系统和反射式泡罩药品自动视觉检测系统，两套检测系统在实验设计条件下均 能满足检测要求。 2 1 2 泡罩药品自动视觉检测系统结构 泡罩药品自动视觉检测系统中的检测目标是生产线上的产品，检测任务是检 测物体的状态，认证和识别特殊的特性( 模式识别) ，将物体与模板进行对比或 匹配给出判定结果。系统的检测速度不仅与视觉传感器的图像采集和处理速度有 关，还会受到产品生产线的速度影响。实时性、鲁棒性与准确性是对系统最基本 的性能要求。采用模块化的设计思想，本文设计的泡罩药品自动视觉检测系统由 以下7 个模块组成： ( 1 ) 光源照明模块； ( 2 ) 光学成像模块； ( 3 ) 光电触发模块； ( 4 ) 图像获取模块； ( 5 ) 图像分析模块： ( 6 ) 任务决策模块； ( 7 ) 剔除装置模块： ) 光学子系统 k 茎主登慧要嚣 系统又可分为：光学子系统、同步触发子系统、视觉传感器子系统及执行机 构子系统等4 个子系统。图2 2 为透射式泡罩药品自动视觉检测系统示意图。图 2