（控制理论与控制工程专业论文）基于机器视觉的智能灯检机的研究.pdf

山东大学硕士学位论文 摘要 医用输液是我国药品中五大类重要制剂之一，临床应用十分广泛。但由于生 产工艺或生产环境等原因，一些医用输液产品中可能含有玻璃碎屑、铝屑等异物， 对病人身体造成极大危害。因此，我国药典明确规定：要对注射针剂进行逐支， 逐瓶可见异物和澄明度检查。目前，国内厂家普遍采用人工灯检方式，这种方法 检测结果主观性强、效率低、漏检率较高，是注射液自动化生产线的瓶颈问题。 本课题研究基于机器视觉的智能灯检机，即利用机器视觉技术获取待检测药 液的系列图像，运用恰当的图像处理算法对注射液的可见异物进行识别，并自 动判别该药液是否合格。其目的在于提高药液灯检的速度和精度，使医用输液的 生产能够真正实现自动化，具有巨大的经济效益和社会效益。 利用机器视觉技术进行注射液中可见异物识别的检测精度取决于采集到图 像的质量和图像处理算法的有效性，因此本文对注射液在线图像采集和异杂物 识别算法两项关键技术做了实验研究。其主要内容包括： ( 1 ) 设计了基于机器视觉技术和本文算法的输液自动灯检系统，对其中的 关键技术进行了研究。设计了专门的光源和照明系统以获得高质量的原始图像。 选择了合适的摄相机、镜头和图像采集卡以满足系统实时性、高精度的要求。 ( 2 ) 研究了图像预处理方法：对获取的图像通过中值滤波去除噪声，综 合运用数学形态学算子增强图像对比度和瞬时帧差法抑制背景，得到质量较 好的二值图像。 ( 3 ) 研究了基于特征匹配和轨迹关联的药液可见异物检测算法。通过提 取图像中异物目标特征，采用基于多帧图像序列的运动目标检测方法，利用异 物目标运动轨迹的连续性和干扰噪声运动轨迹的随机性来判断小目标的存在。通 过处理采集到的真实药液图像对该算法进行验证，实验结果表明，该算法对药典 规定中粒径较大的可见异物检测效果较好，可以满足大输液异物检查的要求。 ( 4 ) 研究了基于人工免疫算法的药液不溶性微小颗粒检测算法。首先构造各 个小目标所有可能的候选航迹树，对所有轨迹寻优，保证了能对图像中的全部异 物小目标进行搜索，有效的避免了漏检。设计了轨迹编码方案，根据所要检测异 物目标的检测要求定义了的适应度函数，在此基础上提出了基于人工免疫算法的 山东大学硕士学位论文 轨迹寻优算法。最后通过处理真实的药液图像对算法进行验证。实验结果表明， 该算法不仅可以检测药液中粒径较大的可见异物，而且对药典规定的微小颗粒异 物也有良好的检测效果，可以满足大输液澄明度和可见异物的检查要求。 关键词：药液检测：异物目标；b l o b 分析；轨迹关联：人工免疫算法 山东大学硕士学位论文 a b s t r a c t w i t hw i d ec l i n i c a lu s e ，i n f u s i o nf l u i di so n eo ft h ef i v em a j o rt y p e so f p r e p a r a t i o n si nc h i n a d u et op r o d u c t i o np r o c e s so re n v i r o n m e n t a lr e a s o n s ，s c r a p g l a s so rs c r a pa l u m i n i u mm i g h tb ec o n t a i n e di ns o m ei n f u s i o nf l u i dp r o d u c t s ，w h i c h c o u l dc a u s eg r e a td a m a g et oh u m a nb o d i e s t h en a t i o n a lp h a r m a c o p o e i as t i p u l a t e s t h a tt h ee x a m i n a t i o no fv i s i b l ef o r e i g nm a t e r i a l sa n dd i a p h a n e i t ya g a i n s ti n j e c t i o n sm u s t b ec o n d u c t e do na na m p u l - b y a m p u la n db o t t l e b y b o t t l eb a s i s c u r r e n t l y , v i s u a l i n s p e c t i o ni st h em o s tp o p u l a rm e t h o da m o n gd o m e s t i cm a n u f a c t u r e r s s u b j e c t i v i t y , l o we f f i c i e n c ya n dh i g he m i s s i o nf a c t o ro ft h i sm a n u a lp r o c e s sa r et h eb o t t l e n e c ko f t h ea u t o m a t i ci n je c t i o np r o d u c t i o nl i n e m y f o c u si st h em a c h i n e - v i s i o n b a s e di n t e l l i g e n tv i s u a li n s p e c t i o nm a c h i n e f i r s t t h es e r i e si m a g e so ft h et e s t e dl i q u o ra r ec o l l e c t e du s i n gm a c h i n ev i s i o nt e c h n i q u e ， t h e np r o p e ri m a g ep r o c e s s i n ga l g o r i t h mi su s e dt oi d e n t i f yv i s i b l ef o r e i g nm a t e r i a l si n t h ei n je c t i o n s ，a n dt oa u t o m a t i c a l l yd e t e r m i n ei ft h el i q u o rm e e t st h es t a n d a r d s t h e o b j e c t i o ni st oi m p r o v et h es p e e da n da c c u r a c yo fv i s u a li n s p e c t i o no nl i q u o r , a n d f u l l ya u t o m a t et h ep r o d u c t i o no fm e d i c a li n f u s i o nf l u i d t h ee c o n o m i ca n ds o c i a l b e n e f i t so ft h i sa p p r o a c hi se n o r m o u s w h e nm a c h i n ev i s i o nt e c h n i q u ei su s e dt oi d e n t i f yv i s i b l ef o r e i g nm a t e r i a l s i ni n je c t i o n s ，t h ep r e c i s i o nd e p e n d so nt h eq u a l i t yo ft h ea c q u i r e di m a g e sa n dt h e v a l i d i t yo ft h ei m a g ep r o c e s s i n ga l g o r i t h m i nt h i sp a p e r ，ic o n d u c te x p e r i m e n t a l r e s e a r c ho nt w ok e yt e c h n i q u e s ，n a m e l y , t h eo n l i n ec o l l e c t i n go fi n je c t i o ni m a g e s ， a n dt h ef o r e i g nm a t e r i a li d e n t i f i c a t i o na l g o r i t h m t h ec o n t e n ti sa sf o l l o w s ： ( 1 ) id e s i g na na u t o m a t i cv i s u a li n s p e c t i o ns y s t e mb a s e do nm a c h i n ev i s i o n t e c h n i q u ea n dt h ea l g o r i t h mw h i c hir e s e a r c h ，a n dr e s e a r c hi sc o n d u c t e do nt h ek e y t e c h n i q u e si n v o l v e d id e v e l o ps p e c i a ll i g h ts o u r c ea n dl i g h t i n gs y s t e mt oe n s u r et h e h i g hq u a l i t yo ft h ec o l l e c t e di m a g e s p r o p e rv i d i c o n s ，v i d i c o nl e n sa n di m a g ed a t a a c q u i s i t i o nc a r da r ec h o s e ni no r d e rt om e e tt h er e a l - t i m e n e s sa n dh i g hp r e c i s i o no f t h es y s t e m 山东大学硕士学位论文 ( 2 ) t h er e s e a r c ho ni m a g ep r e p r o c e s s i n gm e t h o di n c l u d e s ：r e m o v i n gt h e n o i s ei n a c q u i r e di m a g e sw i t h m e d i a n f i l t e r i n g ，a p p l y i n g m a t h e m a t i c a l m o r p h o l o g yo p e r a t o r t oe n h a n c ei m a g ec o n t r a s t ，e m p l o y i n gi n s t a n tf r a m e d i f f e r e n c em e t h o dt or e s t r a i nb a c k g r o u n d ，a l lo ft h ea b o v ee n s u r e st h eg o o d q u a l i t yo ft h ea c q u i r e db i n a r yi m a g e ( 3 ) r e s e a r c hi sp e r f o r m e do nt h ef l u i dd e t e c t i n ga l g o r i t h mt h a t sb a s e do nf e a t u r e m a t c h i n ga n dt r a c ka s s o c i a t i o n f i r s tt h ef e a t u r e so ft h ef o r e i g no b j e c t sa r ee x t r a c t e d ， a n dt h e nm o v i n g - o b je c t d e t e c t i o nm e t h o db a s e do nm u l t i f l a m ei m a g es e q u e n c ei s u s e dt od e t e r m i n et h ee x i s t e n c eo fs m a l lp a r t i c l e sb a s e do nt h ec o n t i n u i t yo ft h e m o v i n gt r a c k sa n dt h er a n d o m n e s so ft h ei n t e r f e r i n gn o i s em o v i n gt r a i l s iv e r i f yt h i s a l g o r i t h ma g a i n s tt h ea c q u i r e dl i q u i di m a g e s t h er e s u l t ss h o wt h a tt h ee f f e c to ft h i s a l g o r i t h mo nl a r g ep a r t i c l e s ( a c c o r d i n gt ot h ed e f i n i t i o ni nn a t i o n a lp h a r m a c o p o e i a ) i s g o o d ，a n dc a ns a t i s f yt h er e q u i r e m e n t sf o rf o r e i g nm a t e r i a ld e t e c t i o no ni n f u s i o nf l u i d ( 4 ) ir e s e a r c ho nf o r e i g nm a t e r i a ld e t e c t i o na l g o r i t h mf o rf l u i db a s e do n a r t i f i c i a li m m u n ea l g o r i t h m f i r s t l y , ic o n s t r u c tt h ep o s s i b l ef l i g h tt r a c kt r e e sf o r s m a l lo b j e c t s ，a n do p t i m i z ea l lt h et r a i l s t oe n s u r et h a ta l lt h es m a l l s i z e df o r e i g n m a t e r i a l si nt h ei m a g ea r es e a r c h a b l e ，t h u sa v o i d i n go m i s s i o n id e v e l o pat r a i l e n c o d i n gs c h e m a ，d e f i n ef i t n e s sf u n c t i o na c c o r d i n gt ot h er e q u i r e m e n t si nd e t e c t i n g f o r e i g np a r t i c l e s ，a n do nt o po ft h a t ，p r o p o s eat r a i lo p t i m i z a t i o na l g o r i t h m ，w h i c hi s b a s e do na r t i f i c i a li m m u n ea l g o r i t h m f i n a l l y , iv e r i f yt h ea l g o r i t h ma g a i n s tt h er e a l f l u i di m a g e s t h er e s u l t sp r o v et h a tt h i sa l g o r i t h mh a sg o o de f f e c to nn o to n l yl a r g e v i s i b l ep a r t i c l e si nf l u i d ，b u ta l s os m a l lp a r t i c l e s ( a c c o r d i n gt ot h ed e f i n i t i o ni nt h e n a t i o n a lp h a r m a c o p o e i a ) t h e r e f o r e ，i ti sc o n c l u d e dt h a tt h i sa l g o r i t h mc a nm e e tt h e r e q u i r e m e n t sf o rt h ee x a m i n a t i o no ft h ed i a p h a n e i t ya n dv i s i b l ef o r e i g nm a t t e r si n i n f u s i o nf l u i d k e yw o r d s ：l i q u o rd e t e c t i o n ；f o r e i g nm a t t e r s ；b l o ba n a l y s i s ；t r a c ka s s o c i a t i o n ； a r t i f i c i a li m m u n ea l g o r i t h m 山东大学硕士学位论文 a i a a i s a v i c c d c v g a r 认 s m e 缩略词注释表 a r t i f i c i a li m m u n ea l g o r i t h m a r t i f i c i a li m m u n es y s t e m a u t o m a t i cv i s i o ni n s p e c t i o n c h a r g ec o u p l e dd e v i c e c o m p u t e rv i s i o n g e n e t i ca l g o r i t h m r o b o t i ci n d u s t r i e sa s s o c i a t i o n s o c i e t yo fm a n u f a c t u r i n ge n g i n e e r s 人工免疫算法 人工免疫系统 自动视觉检测 电荷耦合器件 机器视觉 遗传算法 美国机器人工业协会 美国制造工程师协会 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究作出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：丞籀日期：丝! ，! 笪孑p 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：逖丝导师签名：z 继日期：j 出二p 山东大学硕士学位论文 1 1 课题研究背景及意义 第一章绪论 医用输液是我国药品中五大类重要制剂之一，是临床上应用十分广泛的产 品。如今我国的医用输液产量已位居世界产量榜首，年产量及年销售量分别达到 6 0 亿瓶和4 5 亿瓶。但由于生产工艺或生产环境等方面的原因，一些输液产品中 可能含有玻璃碎屑、铝屑、橡皮屑等异物。这些异物粒径微小，可随着静脉注射 进入人体血管，导致血管堵塞，对病人的身体造成极大危害。因此，各国药典都 明确规定：要对注射针剂进行逐支，逐瓶不溶性异物检查。我国在最新2 0 0 5 年 版中华人民共和国药典中，对药液中的异物检查进行了定量规定：可见异物 ( v i s i b l ep a r t i c l e s ) 是指存在于注射剂、滴眼剂中，在规定条件下目视可以观测 到的任何不溶性物质。粒径或长度通常大于5 0 i t m 1 1 。该规定与注射液不溶性微 粒澄明度检查法相互衔接。 目前，国内各厂家普遍采用暗室中的人工灯检，即在黑色背景下，以高强度 日光灯为光源，灯检工完全依靠手工和肉眼逐支对输液的澄明度和可见异物进行 检查。这种检查方法不仅检测结果主观性强，检测效率低、精度低、范围窄，工 人劳动强度大，易疲劳，而且检测结果不稳定，检测方法和标准不统一，漏检 率更是随之攀升，是注射液自动化生产线的瓶颈问题。 本课题研究基于机器视觉的智能灯检机，即利用机器视觉技术获取待检测药 液的系列图像，运用恰当的图像处理算法对注射液的可见异物和澄明度进行识 别，并自动判别该药液是否合格。其目的在于解放人力资源，提高药液灯检的速 度和精度，使医用输液的生产能够真正实现自动化，具有巨大的经济效益和社会 效益。 目前，采用基于机器视觉技术对溶液中异物进行检测和识别的方法还不是很 成熟。虽然国外一些医疗器械公司在这方面作了一些研究工作，但由于各国在制 药标准和生产环境方面存在较大差异，使得国内的药厂引进这类设备，检测效果 很不理想。加上设备价格昂贵，国内药厂购买意愿普遍不强。所以，研究适合中 国国情的智能药液异物检测设备具有十分重要的意义。 1 山东大学硕士学位论文 1 2 相关技术及研究动态 1 2 1 机器视觉原理 在工厂生产活动中，人眼担负着很多重要的任务：放置和固定工件、确定工 序、检测外观和尺寸、确定产品的一致性等【2 1 。近年来，生产速度和产品质量要 求不断提高，对速度和精度的要求已经超过了人眼的能力，同时随着成像、计算 机、图像处理等技术要素的发展，这些任务正越来越多地被机器视觉系统所代替。 机器视觉涉及到多个学科，很难给出一个精确的定义，本文采用美国制造工 程师协会( s m e ，s o c i e t yo f m a n u f a c t u r i n ge n g i n e e r s ) 机器视觉分会和美国机器人 工业协会( r i a ， r o b o t i ci n d u s t r i e sa s s o c i a t i o n ) 的自动化视觉分会对机器视觉的 定义为【3 】：“m a c h i n ev i s i o ni st h eu s eo fd e v i c e sf o ro p t i c a ln o n c o n t a c ts e n s i n gt o a u t o m a t i c a l l yr e c e i v ea n di n t e r p r e ta l li m a g eo far e a l s c e n ei no r d e rt oo b t a i n i n f o r m a t i o na n d o rc o n t r o lm a c h i n e so rp r o c e s s e s 一“机器视觉是通过光学装置和 非接触传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控 制机器运动的装置。” 机器视觉系统是指通过机器视觉产品( 即图像采集装置，分为c m o s 和c c d 两种) 将被采集的目标转换成图像信号，然后传送给专用的图像处理系统，根据 像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各 种运算来抽取目标的特征，然后根据预设的容忍度和其他条件来进行尺寸、形状、 颜色等的判别，进而根据判别的结果来控制现场的设备动作。这样，就把计算机 的快速性、可重复性与人眼视觉的高度智能化和抽象能力相结合，由此产生了机 器视觉的概念。 机器视觉被称为自动化的眼睛，在国民经济、科学研究及国防建设等领 域都有着广泛应用 4 5 1 。视觉的最大优点是与被观测的对象无接触，因此对观 测与被观测者都不会产生任何损伤，十分安全可靠，这是其他感觉方式无法 比拟的。而且，机器视觉所能检测的对象十分广泛。理论上，人眼观察不到 的范围，机器视觉可以观察，例如红外线、微波、超声波等人类就观察不到， 而机器视觉则可以利用这方面的敏感器件形成红外线、微波、超声波等图像。 因此可以说机器视觉扩展了人类的视觉范围。另外，人无法长时间地观察对 2 山东大学硕士学位论文 象，机器视觉则不知疲劳、始终如一地观测，可广泛地用于长时间恶劣的工 作环境。 1 2 2 自动视觉检测技术 自动视觉检测技术( a v i ，a u t o m a t i cv i s i o ni n s p e c t i o n ) 是一种利用机器视觉 ( c o m p u t e rv i s i o n ) 技术代替人工视觉进行产品质量检测的新兴技术。自动视觉检 测系统作为一种新型的检测技术，具有速度快、精度高、非接触等优点，将其 应用于工业领域，可以有效地克服人工检测的不足，提高工厂生产的自动化程 度与生产效率。因此，自动视觉检测系统在工况监视、成品检验和质量控制等 领域有着越来越广泛的应用”0 1 。 自动视觉检测系统是利用机器视觉手段获取被测物体图像，并与预定标准 ( 指标、模板等) 进行比较，决定一个产品( 部件、物体或零件等) 是否偏离或符合 给定的规则集，确定被测定物体的质量、数量、位姿等状况，然后采取相应的 反馈措施。 自动视觉检钡j j ( a v i ) 是建立在机器视觉基础上的一门新兴检测技术，是综合 应用图像处理与分析、模式识别、人工智能、精密仪器等技术的非接触式检测 方法。面向于工业检测中的自动视觉系统由于其明确的工程应用背景，与普通 计算机视觉、模式识别、数字图像处理有着明显区别，其特点主要有： ( 1 ) 自动视觉检测系统具有专用性。作为一个面向特定问题的系统，一般不 需要对目标物体进行三维重建，只需针对某个具体明确的目标( 目的) ，设计特定 的算法和设备，做出决断。 ( 2 ) 自动视觉检测系统的工作环境一般预先确定。对于一个给定的系统，检 测时的照明、位置、颜色、数量、背景等条件都是需要认真加以调试的。 ( 3 ) 工业视觉系统与普通视觉系统的主要区别不在图像处理等理论方法，而 在实现技术要适合工业应用环境的特殊要求。这就决定了工业视觉系统除了光 源和光学成像系统，摄像与图像处理系统，用于控制摄像、图像处理、图像分 析的计算机外，还会包括有更多子系统，如：与生产线同步的通信系统，测距、 测速等辅助检测系统，标记、报警或机械操作等结果反馈系统。 在一些数据量大、实时性要求很高的场合，通用计算机的处理速度无法满 山东大学硕士学位论文 足检测的需要，需要采用基于嵌入式处理器的实时图像处理系统。由于使用的 是专用处理器，如数字信号处理器d s p 等，其数字信号处理能力优越，可以很 好地解决实时性问题。当然将工控机和高速图像处理卡结合也是一种经常被采 用的模式。 与人工方式相比，自动视觉检测具有非常明显的优势： ( 1 ) 人工检验主观性较强且容易疲劳，而自动视觉检测系统比人工检验具有 更高的稳定性和可靠性。 ( 2 ) 自动视觉检测可以提高生产效率、减少劳动强度，满足流水线不间歇生 产的要求，是降低生产成本、提高生产效率、缓和劳动力昂贵等现实问题的重 要途径。 ( 3 ) 自动视觉检测技术具有速度快、精度高、现场抗干扰能力强、可同时完 成多个检测指标等突出的优点。可以快速获取大量信息进行数据处理，易于同 设计信息及加工控制信息集成。可以更好地满足在线实时生产的要求，从而提 高生产的柔性和自动化程度，是实现现代工业自动化的基础技术。 ( 4 ) 自动视觉检测自动记录缺陷，可以分析统计数据，为管理人员提供质量 管理决策依据；也可以自动分析检测过程中发现的缺陷，根据出现的位置、频 率等，对缺陷成因进行辅助分析，将结果反馈给车间管理人员，为改进产品质 量提供参考信息，达到现代企业所需要的全面质量管理与控制。 当然自动视觉检测系统也有局限性，如灵活性、智能识别能力不如人类， 对于不同的检测对象要具体分析，采取不同的检测方案等。相信随着认知神经 科学、计算机视觉、图像处理等基础学科的发展，随着计算机性价比的不断提 高，随着市场需求的不断增长，自动视觉检测系统必将得到更加的广泛应用， 成为2 1 世纪工业自动化产品中重要的组成部分。 1 2 3 液体杂质检测技术 本课题的任务是对大输液中异物小目标进行自动检测，自动给出药液中杂质 存在与否的信息。液体中的杂质检测在工业生产中有着非常重要的意义。不管是 在工业上还是民用上，杂质的存在将严重影响产品的质量，甚至危及人们的生命。 通过化学方法进行抽样检查，并不能完全保证产品的合格率，并或多或少地损坏 4 山东大学硕士学位论文 样品，造成资源的浪费。人工检查速度慢，检测效果受到人的熟练程度和身体状 态的影响。本课题所研究的采用图像处理方法检测液体中杂质的方法，效率高， 可以扫描所有的产品，无副作用，具有非常广泛的适用范围。液体中杂质检测技 术不仅在医药生产中应用广泛，在食品、生物、化工、环境等领域也被广泛应用。 不同应用环境其检测精度、要求和标准也不同。 目前，针对液体杂质颗粒检测方法主要有光阻法、沉降法、库尔特点阻法、 光散射法和光衍射法。下面简单介绍一下其中几种常用方法： ( 1 ) 基于光阻法原理的检测技术 光阻法( l i g h t b l o c k i n g ) 是继库尔特法之后的国际上流行的微粒检测技术之 一。其基本原理为：光源发出的光由于受到液体中粒子的遮挡，光强减弱，光 电器件检测到这一信号的变化，形成光电脉冲，通过判断该脉冲的幅值大小， 即可得到粒子存在与否和其直径的信息【1 1 d 3 1 。如美国太平洋科学仪器公司生产 的型号为h i a c 系列的激光光阻法传感器 h 】。 但是基于光阻法原理的检测方法很不稳定，因为一般光源自身误差都在5 左右变化，美国国家标准局( n i s t ) 的较准光源在采用最稳定的电源供电时误 差也达3 ，所以很难判定光强变化是光源引起的还是异杂物引起，结果误检率 较高。 ( 2 ) 基于动态光散射原理的检测技术【1 5 m 】 基于动态光散射原理( d y n a m i cl i g h ts c a t t e r i n g ) 的检测方法是利用液体中 微粒的b r o w n 运动所造成的多普勒效应对溶液的微粒进行测量，通过对某一固 定空间位置上的微粒散射光强度随时间涨落现象的研究，来获取待测微粒的粒 度信息的方法。如果粒子处于无规则的布朗运动中，则散射光强度在时间上表 现为在平均光强附近的随机涨落，它由从各个散射粒子发出的散射光场相叠加 而成。悬浮液中的颗粒由于受到了周围进行布朗运动分子的不断撞击，而不停 地进行随机运动，在激光的照射下，运动颗粒的散射光强也将产生随机的波动。 在一定角度下，颗粒越小，涨落越快。动态光散射技术就是通过对这种涨落变 化快慢的测量和分析，得到影响这种变化的颗粒粒径信息，主要针对亚微米和 纳米级的微粒粒径测量和检测。 ( 3 ) 基于机器视觉的液体杂质颗粒检测技术 山东大学硕士学位论文 基于光阻法原理和动态光散射开发的光电颗粒检测仪器主要应用在实验室 和质检所里，一般是离线的、抽样检测，而且主要是针对纳米和亚微米微粒的 测量和计数。 基于自动视觉技术的液体中微粒检测是利用机器视觉技术获取待检测液体 的图像序列，通过图像处理算法和模式识别算法实现对液体视觉图像中的微粒 进行自动识别检测。 本课题的任务是基于机器视觉技术，研究医用输液中的异物微粒检测的模式 识别和图像处理算法，实现医用输液中微小异物的在线检测，并自动统计出其中 不同粒径范围内的异物个数。 1 3 智能灯检机的研究及发展现状 国外较早地开展了基于机器视觉方面的药液异物智能检测研究，目前基于机 器视觉的智能灯检机在国外已研发成功并且应用到医药生产线上眇2 2 1 ，主要集中 在美国，日本，德国，意大利等国。由于各国在制药标准和生产环境方面存在较 大差异，使得国内的药厂引进这类设备，检测效果很不理想，加上设备价格昂贵、 售后服务价格过高，国内药厂购买意愿普遍不强。 国内一些研究单位在药液异物智能检测研究方面开展了一些工作，他们主要 在实验室作一些仿真试验和算法的研究，没有实际的应用平台。也有几个公司尝 试开发此类产品，但是由于用于高速生产线中的智能灯检系统需要机械、传动、 光学、视觉、图像处理、控制等的精密配合，所以达到实际应用还有很大差距1 2 m 引。 1 4 论文的主要工作及章节安排 1 4 1 本文主要工作 目前国内对于智能灯检机系统的研究还很少，特别是对于智能灯检机系 统中的硬件系统合理设计和针对注射液中异物识别的快速高效的图像处理算 法的研究更少。因此本文重点研究了智能灯检机硬件系统设计和药液中异物 识别处理算法，其主要内容包括： ( 1 ) 设计了基于机器视觉技术和本文算法的输液自动灯检系统。为了检测输 6 山东大学硕士学位论文 液中的异杂物小目标，设计了专用的机械系统，使弱小异物目标随输液离心旋 转。设计了专门的光源和照明系统以获得高质量的原始图像。选择了合适的摄 相机、镜头和图像采集卡以满足系统实时性、高精度的要求。 ( 2 ) 研究了图像预处理算法。对获取的图像通过去除噪声，增强对比度和 背景抑制处理得到质量较好的图像，为下一步小目标识别打下基础。 ( 3 ) 针对药典中规定的药液中可见异物检测要求，本文研究了基于特征匹 配和轨迹关联的药液可见异物检测算法。通过提取图像中可见异物目标特 征，采用基于多帧图像序列的运动目标检测方法，利用小目标运动轨迹的连续 性和干扰噪声运动轨迹的随机性来判断可见异物目标的存在。最后通过处理采集 到的真实药液图像对该算法进行验证，实验结果表明，该算法对药典规定中粒径 较大的可见异物检测效果较好，可以满足大输液异物检查的要求。 ( 4 ) 针对药典规定的药液澄明度检测要求，本文研究了基于人工免疫算法的 药液不溶性微粒检测算法。构造出异物小目标和噪声的所有可能运动轨迹，进而 构造出它们的虚假航迹树。然后通过设计合理的编码方案，构造出小目标运动的 假设轨迹作为抗原。利用人工免疫算法对抗原优化，通过克隆、变异寻找亲和力 大的抗原作为异物目标运动的可能轨迹。最后利用假设检验对这些可能轨迹进行 确认来判断异物小颗粒的数量是否超标。通过处理真实的药液图像对算法进行了 验证。实验结果表明，该算法不仅可以检测药液中粒径较大的可见异物，而且对 药典规定的微小颗粒异物也有良好的检测效果，可以满足大输液澄明度和可见异 物的检查要求。 1 4 2 章节安排 第一章绪论。阐述课题的背景及意义，介绍智能灯检机相关技术和研究 动态并给出全文的主要工作和章节安排。 第二章研究智能灯检机系统的总体结构，分为硬件和软件两部分，对 所需硬件进行选型，并设计合理的硬件图像采集系统。 第三章药液图像预处理。对获取的图像通过中值滤波和中点滤波去除噪 声，综合运用数学形态学算子增强图像对比度和瞬时帧差法抑制背 景，得到质量较好的二值图像。 山东大学硕士学位论文 第四章基于特征匹配和轨迹关联的药液可见异物检测算法研究。通过 提取图像中异物目标特征，采用基于多帧图像序列的运动目标检 测方法，利用小目标运动轨迹的连续性和干扰噪声运动轨迹的随机 性来判断异物小目标的存在。最后通过处理采集到的真实药液图像 对该算法进行验证。 第五章基于人工免疫算法的药液不溶性微粒检测算法研究。构造各个不溶 性小颗粒目标的虚假轨迹树，对所有的轨迹寻优。设计轨迹的编码 方案并定义适应度函数，在此基础上设计基于人工免疫算法的药液 不溶性微粒算法，最后对该算法的检测效果进行仿真和实际实验。 第六章结论与展望。给出本课题研究过程中所取得的主要成果、结论以及 下一步研究工作的简单思路。 山东大学硕士学位论文 2 1 引言 第二章智能灯检机系统设计 基于机器视觉的智能灯检机是自动视觉检测技术在工业检测中的典型应 用。该系统适用于医药行业使用的瓶装输液的灯检，可以在线检测其中的微小 异物，统计某些粒径范围内的异物数量多少，根据设定的检测标准自动剔除不 合格产品。该检测系统能够对瓶装输液实现高效检测，而且检测方法和标准均 匀统一，可以有效杜绝不合格产品进入市场。 智能灯检机作为一个高精度、高速度、非接触性的检测设备，是集机器 视觉、精密机械、实时控制于一体的高速在线检测设备，要求各部分要精密配合， 互相协调才能达到预期检测效果。其主要技术包括光学、机器视觉、图像处理、 多传感器信息融合、计算机控制、变频调速等。本章主要设计了灯检系统的硬 件总体结构和软件算法的总体流程图，并对系统所需硬件选型。 2 2 智能灯检机系统总体设计 2 2 1 灯检系统的基本功能及性能指标 考虑到实际应用，根据中国药典对输液生产中澄明度和可见异物检测规定， 设计的灯检系统具有以下功能并达到相应指标： ( 1 ) 原始序列图像的实时高速采集i 采集速度至少达到1 0 帧秒。 ( 2 ) 基于有效的图像处理和模式识别算法，实时检测输液中微小异物目标。 ( 3 ) 对粒径范围在1 0 2 5 i t m 、2 5 5 0 岬、大于5 0 - t m 的异物目标进行检测识 别并统计数量，并根据设定的标准自动判别产品合格与否。 ( 4 ) 灯检系统的检测速度要能够和整个输液生产线的速度匹配，也就是要 求灯检系统有较高的检测速度。 2 2 2 灯检系统的工作原理 本文主要对智能灯检机系统中的机器视觉系统进行了研究，主要包括光 学设计和图像采集与处理。光学设计是为了获取质量好的图像，突出目标的 9 山东大学硕士学位论文 特征；图像采集通过硬件部分来实现。由于药液中异物( 如铝屑、玻璃屑和 橡皮屑) 在药瓶静止时一般沉在底部，不容易检测到，故设计专门的机械结 构首先把小颗粒搅动起来，然后通过光电开关触发图像采集卡同步控制c c d 摄相机曝光和光源闪烁来抓取运动药液图像，连续抓拍数帧以获得连续多帧 图像，再经图像采集卡将采集到的模拟信号转换为数字信号并输入主机内存 中。图像处理与分析属于系统的软件部分，首先对采集的图像进行预处理以 获得质量较好的图像，然后采用后续章节设计的药液异物识别算法对医用输 液进行可见异物和澄明度检测并判断是否合格，最后发送控制信号给执行机 构，剔除不合格药液。检测系统框图如图2 1 所示，图像处理系统软件框架 图如图2 2 所示。 图2 1 灯检机检测系统框图 ( i ) 视觉单元由高分辨率c c d 摄像机、l e d 环形面光源构成，负责输液原 始序列图像的采集。 ( 2 ) 控制单元由工控机、光电传感器、p l c 、剔除单元、变频器、离心机构 以及各种驱动电机构成。高性能工控机是整个系统的主控部分，它负责协调系 统各单元的工作，同时工控机还实现对系统各部分初始化和记录、统计、显示 各种检测数据和图像等功能。光电传感器用来检测输液瓶在传送带上的位置和 统计各个进出口药瓶的数量，同时，光电传感器给主控p c 提供l e d 频闪和 c c d 拍摄的触发信号。p l c 实现对底层执行部件和传感器的控制功能。剔除单 1 0 山东大学硕士学位论文 元完成不合格药瓶的击出操作。变频器用于控制传送带和离心机构的速度。 外部触发 0 图像采集 0 图像预处理 上 图像特征提取 j 图像分析与理解 j 决策与判断 图2 2 系统软件框架图 系统的主程序流程图如图2 3 所示。 图2 3 系统主程序流程图 山东大学硕士学位论文 智能灯检系统中的视觉系统主要包括：光源、光学系统、c c d 摄相机、 图像采集卡、图像处理软件、工控机等，其主要工作流程如下： ( 1 ) 待检测的药瓶由传送带送入检测区，光电开关检测到药瓶到达指定 工位，由专用夹钳夹住瓶口并作离心旋转； ( 2 ) 光电开关检测到药瓶到达下一指定位置( 摄相机视野的中心) ，向图 像采集卡发送触发脉冲； ( 3 ) 图像采集卡按照事先设置的程序和延时，分别向c c d 摄相机和l e d 光源发出启动脉冲； ( 4 ) c c d 采用异步触发模式，停止当前的扫描，重新开始新一帧扫描； ( 5 ) c c d 摄相机新一帧扫描前，打开曝光机构，曝光时间可提前设定； ( 6 ) 另一启动脉冲触发光源闪烁，光源闪烁时间与摄相机曝光时间匹配； ( 7 ) 摄相机曝光后，便开始一帧图像的扫描和传输，连续拍摄数帧图像； ( 8 ) 图像采集卡接收到模拟视频信号并通过a d 将其数字化，或直接接 收数字化后的数字视频信号，并将数字图像直接传输到计算机内存中； ( 9 ) 计算机利用专门的图像处理软件对图像进行处理、分析和识别，获 取检测结果或者逻辑控制值； ( 1 0 ) 处理结果传送给执行机构，来控制流水线的动作。 从上述工作流程可以看出，机器视觉系统是比较复杂的系统。因为系统 的控制对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所 以给系统各部分的动作时间和处理速度提出了严格的要求。 2 3 机器视觉系统硬件选型 2 3 1 光源和照明系统设计 光源和照明设计是整个机器视觉系统中最为关键的部分，对整个系统能否 可以正确的检测出产品的特征与规格起到举足轻重的作用。 在机器视觉的实际应用中，使用光源的主要目的是以合适的方式将光线投射 到被测物体上，提高图像的亮度和对比度，光源与照明方案的配合应尽可能地突 出物体的特征量，将被测物体从背景中凸现出来。成功的照明设计除了能够提高 图像处理系统检测的成功率外，也可以减轻软件的工作量，使得后续处理简单且 山东大学硕士学位论文 快速。一般光源的选择需要考虑下面几个方面的因素： 对比度：机器视觉应用光源的主要任务就是使需要被观察的特征与需要被忽 略的图像特征之间产生最大的对比度，从而易于特征的区分。 亮度：如果光源不够亮会出现三种不好的情况。第一，造成图像的对比度不 够，图像上出现噪声的可能性也随即增大。其次，光源不够