（计算机应用技术专业论文）基于DSP的苹果大小和形状动态分级系统的研究.pdf

中国农业大学硕士学位论文 摘要 摘要 本课题研究的基于d s p 的苹果大小和形状动态分级系统，它运用机器视觉技术和数字信号处 理技术，通过对图像处理和分析实现对动态苹果的检测，最终实现苹果分级。 本文详细介绍了基于d s p 苹果大小和形状动态分级方法，完成整个软件系统的整体设计和功 能模块划分。首先对摄像头采集的图像进行背景分割、边缘检测等预处理工作，之后运用切片法 进行苹果大小分级。在苹果滚动一周的过程中连续采集多幅图像，依次选取每幅图像的苹果中心 切片，苹果在传送带上转动一周之后，将切片像素值统计起来作为苹果的表面积。再通过表面积 计算公式计算出苹果直径，与国家标准比较，进行大小分级。由于果柄会给形状检测带来误差， 形状检测时，首先建立一个标准果形，作为同品种苹果形状分级的依据。然后去除果柄，并计算 出果轴的位置，再根据待测苹果和标准苹果的极径序列的差值来反映这个苹果形状优劣。 本研究在基于d s p 的苹果分级系统方面属于探索性研究，对苹果分级的后续研究及其它自动 分选技术产品的开发具有重要的参考价值，对提高我国果品的商品价值具有重大的经济意义。 关键词：d s p ，机器视觉，苹果，大小，形状 t h eg r a d i n gs y s t e mo fa p p l es i z ea n ds h a p eb a s e do nd s pu s e sm a c h i n ev i s i o ni n s p e c t i o na n d d i g i t a ls i g n a lp r o c e s si no r d e rt or e a l i z ei n s p e c t i o nd y n a m i ca p p l e sa r e rp r o c e s s i n ga n da n a l y z i n g i m a g e s ，t h e ne v a l u a t ea p p l er a t i n g i nt h i sg r a d i n gs y s t e m ，t h eg r a d i n gm a c h i n ei sd r i v e nt or e a l i z e g r a d i n ga p p l e t h et h e s i si n t r o d u c e ds o m ea p p l eg r a d i n gm e t h o d so fs i z ea n ds h a p eb a s eo nd s p , a c c o m p l i s h e d d e s i g n i n gt h ew h o l es o r w a r es y s t e ma n dd i v i d i n gt h ef u n c t i o n a lm o d u l e f i r s to f a l l ，d s pd e v e l o p m e n t b o a r dc o m m i n u t e db a c k g r o u n da n dc h e c k e dt h ee d g eo fa p p l e ，a n dt h e nc a l c u l a t e dt h eg r a d eo fa p p l e s t h ev i d e os h o tt h ep h o t o g r a p hc o n t i n u o u s l yt h ea p p l eg r a d i n gs y s t e mc h o s et h ec e n t e ro fa p p l ei n p h o t o g r a p ha n dc a l c u l a t e dt h es u r f a c ea r e aa f t e ra p p l ec i r e u m r o t a t e dr o u n d l y t h ea p p l eg r a d i n gs y s t e m d i f f e r e n t i a t e dt h ea p p l ea c c o r d i n ga sd i a m e t e rw h i c hi sa c c o u n t e db ys u r f a c ea r e & b e f u r es h a p eg r a d i n g ， w es h o u l dw i p e do f fa p p l es t e mi fi te x i s t si np h o t o g r a p h t h en o r m a t i v ea p p l ei su s e df o rs t a n d a r d d u r i n gs h a p eg r a d i n g f i n a l l y , t h es y s t e mc o m p a r e dt h ed i f f e r e n c eb e t w e e nt h en o r m a t i v ea p p l ea n dt h e e x a m i n a t i o na p p l ew h i c hd e t e r m i n e dt h es h a p eg r a d e t h er e s e a r c hi sa ne x p l o r i n gs t u d yi ng r a d i n gs y s t e mo fa p p l eb a s e do i ld s p , w h i c hi su s e f u lt ot h e s u b s e q u e n tr e s e a r c ho fa p p l eg r a d i n ga n dt h ed e v e l o p m e n to fo t h e ra u t o m a t i cg r a d i n gp r o d u c t s ，i s s i g n i f i c a n tt oe n h 丑n c ee c o n o m i cv a l u eo f f r u i t s k e yw o r d s ：d s p ，m a c h i n ev i s i o n ，a p p l e ，s i z e ，s h a p e 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名：柏i 充苦 时间： 6 年6 月f r 日 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、 传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议1 研究生签名：柏诗西 导师签名 时间： o d 年6 月旺日 时间：砂，6 年石月圹目 第一章绪论 1 1 课题的研究的背景和意义 我国是世界第一大苹果生产国，无论是总产量还是种植面积，均居世界首位。2 0 0 0 年苹果总 产量达到了2 0 4 3 万吨( “，1 0 年间平均年递增为1 8 1 9 ，其总产量已占我国水果总产量的l ，3 ， 约占世界苹果总产量的3 0 。2 0 0 2 年苹果产量1 , 9 2 4 万吨，占世界总产量的4 5 。2 0 0 4 年苹果 总产量达2 4 0 0 万吨，占世界苹果产量的一半。 我国虽然为世界第一大苹果生产国，但却是一个出口小国。2 0 0 0 年苹果出口量2 9 7 7 万吨， 创汇9 6 5 6 万美元，2 0 0 2 年苹果出口量只有2 9 9 9 万吨，占总产量1 4 6 2 1 。不但如此，我国苹果 在国际市场上，因为规格不统一品质较差只能出口到世界上一些不发达的国家和地区。 近年来，我国一些地区开始重视苹果的优良品种的选择，并引进国外先进的种植方法及管理 技术，很多产品的质最和外观都达到或超过了国际市场的要求。可是，我国水果商品化处理仍处 于初级阶段，主要表现在技术落后、生产效率低、整体质量不高等方面。1 3 前我国水果商品化处 理基本上仍是建立在人工分级基础上。以苹果为例，采摘后进行分级、打蜡、包装、贮运的只占 总产量1 ”1 。由于不同质量等级水果价格差别较大，而同质量等级的水果在不同时间上市其价 格差异更大，因此，我国新鲜水果虽然具有一定的价格优势，但在满足消费者常年均衡需求优质 水果方面的国际竞争力则较弱。随着生活水平不断提高，人们对水果的形状、大小、色泽、缺陷 等外在品质的综合要求不断提高。然而，国内优质水果品种不够丰富，采后商品化处理技术尤其 分级技术落后，造成水果分级精度低，市场上果品等级混乱，高等级果品品质不高，不能满足人 们的需要，从而造成“洋水果”大量涌入我国市场【4 】。 目前在商业应用中，各品种的苹果主要根据大小、形状、颜色、缺陷和内部品质等一个或多 个指标进行分级。在这些指标中，大小是最基本的一个指标，根据颜色、缺陷和内部品质对苹果 进行分级的同时，肯定将大小也作为重要的指标之一。由于苹果在生长发育过程中受外界诸多因 素的影响，同一棵树，甚至同一枝条的果实其形状都有很大差异，从若干果园收集起来的苹果， 必然大小混杂、良莠不齐。为了使苹果在外形上达到一致，形状也是必须考虑的一个重要指标。 实现了苹果大小和形状分级的机械化和自动化，也为进一步的内部品质等指标的分级奠定了基 础。因此，苹果的大小和形状分级具有十分重要的研究价值。 9 0 年代初开始，我国相继引进和开发了按大小和重量分级的分级设备和涂蜡设备，近几年来， 国内也出现了基于计算机视觉技术的水果分级设备，为苹果出口奠定了基础。但是，进口设备价 格昂贵，少则数百万元，多则数千万元，一般企业难以负担。而国产设备由于技术投入不够，与 国外先进设备差距很大。 随着计算机和信息技术的飞速发展，数字信号处理技术应运而生并迅速发展。自8 0 年以来， 专门用来处理数字信号的通用可编程d s p 芯片也得到了突飞猛进的发展，d s p 芯片的应用越来 越广泛。d s p 芯片作为数字信号处理器，是一种具有特殊结构的微处理器。它内部采用程序和数 据分开的哈佛结构。具有专门的硬件乘法器，j r 泛采用流水线操作，提供特殊的d s p 指令，可 以用来快速地实现各种数字信号处理算法。根据数字信号处理的要求，d s p 芯片一般具有如下的 一些主要特点： ( 1 ) 程序和数据空间分开，可以同时访问指令和数据。 ( 2 ) 片内具有快速r a m 通常可通过独立的数据总线在两块中同时访问。 ( 3 ) 在一个指令周期内可完成一次乘法和一次加法。 ( 4 ) 快速的中断处理和硬件i o 支持。 ( 5 ) 具有在单周期内操作的多个硬件地址产生器。 ( 6 ) 具有低开销或无开销循环及跳转的硬件支持。 ( 7 ) 支持流水线操作，使取指、译码和执行等操作可以重叠执行。( 5 j 结台上述特点与通用c p u 芯片相比，d s p 芯片的运行效率将会更高。利用d s p 和f p g a 相 结台的视频图像采集处理技术已经很成熟，专用于图像处理的d s p 开发板早己研制成功。以d s p 为核心的数字信号处理系统是以数字信号处理为基础，因此具有数字处理的全部特点：接e l 方便， 编程方便，稳定性好，精度高，可重复性好。集成方便。d s p 系统中的数字部件有高度的规范性， 便于大规模集成。 近几年来，国外已经研制出基于计算机视觉技术及计算机和d s p 相结合的水果尺寸、形状、 颜色、表面缺陷等的分级设各。水果分级时，水果通过传送带传送到摄像室，摄像头将水果图像 采集到计算机或d s p 内部，然后再对图像进行处理，根据得到的结果来驱动分级执行机构，实现 分级。这种设各的特点是速度快、信息量大、功能多、而且可以定量测量，易实现自动化生产。 近几年来国外基于d s p 系统的近红外和机器视觉分级技术的商业化应用，使我国的果品分 级技术与国外的差距进一步拉大，如果不能及时跟上国外技术水平，水果出口问题将会更加突出。 因此，研究d s p 系统及其基于d s p 系统的近红外和机器视觉分级技术，开发适合我国果品商品 化处理的分级设备，对提高我国果品商品化处理水平和能力，缩小我国与发达国家的技术差距， 提高我国果品在国际贸易中的竞争力和贸易份额，具有十分重要的意义和广阔的应用前景。 1 2 国内外技术现状 2 人工分级目前是我国水果分级的主要方法，用眼睛观察水果的外观特征，通过与脑中的标准 比较后分级。这种分级方法投资少，但需要大量的劳动力，劳动强度大。同时由于受个人视力、 颜色鉴别力、情绪、疲劳程度等因素的影响，分级效率低、精度差，对操作人员的素质要求高， 难以满足现代化工业发展的要求。 机械分级主要是将水果由输送带或输送链传送到分级部件，通过分级部件上大小依次变化的 孔穴或直接通过输送带或输送链之间间距的变化，使大小不同的果品先后分离。以达到分级的目 的。与人工分级相比，机械分级具有速度较快，分级精度较高，对操作人员的素质要求较低的特 点，但容易使水果产生机械损伤。我国已生产滚筒式分级机、三辊筒式分级机和条带式分级机等 机械分级设备，而且还进口了称重式分级机，但由于不能同时根据大小、形状、色泽和缺瞻进行 分级，这些设备尽管能降低劳动强度、提高分级精度，但多数被弃之不用，而仍采用人工分级。 近几年来，国外已研制出基于计算机视觉技术的水果尺寸、形状、颜色、表面缺陷等的分级 设备。成功的产品有a g r lt c c h 生产的m e r l i n 2 0 0 0 和a u t o l i n e 生产的m o d e l 6 型号的水果分级生产 线。进行分级时果品通过输送带传送到摄像室，摄像镜头将果品图像采集到计算机。计算机对 图像进行处理，根据处理得到的结果来驱动分级执行机构实现分级。这种设备的特点是速度快、 信息量大、功能多，而且可以同时对大小、形状、色泽、缺陷进行外观品质的全面分级【“。 1 3 文献综述 近年来，机器视觉在农产品加工中的应崩得到了国内外大批学者的普遍关注，并在机器视觉 水果分级领域进行了大量的探索性研究工作。国内学者人都进行了一些基础性研究，与商品化仍 有相当大的距离。在计算机视觉应用于苹果分级中，学者们将研究重点放在颜色分级和缺陷检测 中，而对尺寸和形状分级不够重视。 对于尺寸分级，1 p a u l u s 、r d eb u s s c h e r 、e s c h r e v e n s 等人【7 1 提出了以表面积、直径和体积作 为分级的依据。其中，表面积是根据一个苹果四个不同角度的投影面积而推算出来的；直径是每 个苹果四幅图像中直径的平均值：体积则是将苹果看作半径为其平均半径的球体而计算得出的， 但缺乏进一步的研究和试验验证。 刘禾、汪懋华吲通过求取最大果宽或果轴长度来估测苹果最火果径，相关系数分别为o 9 6 和 0 9 5 。其果轴是连接果梗与花萼的直线，果宽是垂赢于果轴的直线与边缘的两交点的距离。其果 梗和花萼的位置是通过求苹果图像内的最小灰度值而确定的。用这种方法求取的果宽或果轴长度 确实能估测苹果的大小，但当果轴不在竖直位置时，求取果宽比较困难：并且在二维苹果图像中， 通常不容易拍摄到花萼，也就无法确定或错误地确定了果轴的位置，从而难以正确地估测苹果的 大小。 应义斌、景寒松、马俊福、赵匀和蒋亦元等人【9 1 用机器视觉检测黄花梨尺寸时，先对图像进 行边缘提取和细化处理，然后确定形心点，得到其坐标。将通过果梗与梨体交界点和形心两点的 3 连线定为果轴，用过形心与果轴垂直的直径来代表果径，两者的相关系数为0 9 6 。如果将这种方 法应用到检测苹果的尺寸时，通过果梗与果体交界点和形心两个点来确定果轴的位置，就避免了 确定花萼的位置。但苹果与梨不同，梨的果梗处是凸出来的，而苹果果梗处是凹进去的。在苹果 二维图像中，果梗与果体边缘的交界点不能反映苹果果梗与果体的实际交界点。 章文英、应义斌【”悃苹果的外形特征进行尺寸检测时，在白色背景下，利用图像的b 分景进 行图像与背景分离，结合苹果表面光滑易反射的特点，不停的细化轮廓，采用最小外接矩形法求 横径、纵径，通过苹果的这两个尺寸标准确定苹果的大小。如果苹果不像图中所示的位置放置， 必须对苹果图像进行旋转，达到所要求的条件。但是，由于出现了横径、纵径两个尺寸标准，对 苹果尺寸判断将不能统一，纵径与横径相差较火将会对苹果尺寸判断出现误差。 对于形状分级，i n g r i dp a u l u s 和e d d i es c h r e v e n s u 将苹果边缘点的极径r 作为极角0 的函数 近似地用离散傅立叶变换来表示为： r = 粥= 互1 + 塾c 。椰删 式中m 为谐函数因子，系数a m 和b m 通过快速傅立叶变换来求其值，其计算公式如下 。 f = 一lf ：( o ) c o m 臼如 乳二e b ：11 ，p ) 。i n ( 。臼) 础 石二 ( 1 - 2 ) ( 1 - 3 ) 取系数a m 和b m 的前1 2 个数值进行计算，就能与公式的相关系数达到o 9 8 。最后分别对系 数a m 和b 。的这1 2 个数值进行主成分分析，得到的前两个主成分的方差和占总方差的9 2 4 ，通 过这两个值来判断苹果的形状。利用主成分分析是将多个参数的形状信息集中体现在较少的主成 分上，有利于实现苹果形状的分级。但主成分分析是通过对样本数据的分析来估计总体的分布等 信息，从而样本的选取对分析结果有很大影响。 p - h h e i n e m a n n ，z a v a r g h e s e 等”“( 1 9 9 5 ) 提出了两种判别“d e l i c i o u s ”苹果是否歪斜的方法。 一种是根据图像的轮廓信息以花萼- 果梗轴方向高度的最大值与最小值比值为指标来判别 “d e l i c i o u s ”苹果是否歪斜。最大与最小值分别是一个苹果所有图像中高度的最大和最小值。为 了准确判断是否歪斜，苹果每旋转最多4 0 。就应该拍摄一幅图像，至少应旋转1 8 0 。由于果梗 的存在会影响高度的判断，因此他们又提出了另一种利用图像的面积信息通过计算力矩的方法来 判别苹果是否歪斜。标准的二维力矩方程为： 4 中国农业大学硕士学位论文第一章绪论 棚0 ，q ) =i _ ，9 j ( f ，) ( 1 - 4 ) 其中：p 。q = 0 ，1 ，2 ；i 为像素点的行坐标；j 为像素点的列坐标；i ( q ) 为像素点的亮度或灰度。 像素点的亮度或灰度被二值化，背景上的点其值为o ，苹果上的点则为1 。坐标轴的中心点以 像素为单位给出，计算公式如下： ；= m a o ” 歹= 1 0 1 ( 1 - 5 ) 强对 根据计算三阶力矩m 0 3 和m 3 0 来判断歪斜可以避免转换、旋转和尺寸的影响，其判断与人工 判断的相符程度可达到9 2 。图1 2 是苹果的剖面图，而由c c d 摄取的是苹果的平面投影图， 在平面投影图中难以测得图中所示的高度。二维力矩的计算量大且只能检测苹果歪斜度一个指 标，不适合本课题的研究。 国内的戍义斌、景寒松、马俊福、赵匀和蒋亦元等人【1 用机器视觉检测黄花梨果形时，也先 用快速傅立叶变换求得系数a n l 和b i i l 的前1 6 个数值，然后将这些数值作为b p 人工神经网的输入 值来进行果形识别，其笋蜗0 精度为9 0 。 1 4 课题的提出 1 、我国苹果产量大，出口量小，随着水果市场的竞争愈发激烈，严重影响着我国苹果在国内 外市场竞争力。我国的苹果与欧美、日、韩等国的苹果相比，外观品质及一致性存在很大差距， 所以迫切需要提高我国苹果的分级技术。 2 、进口设备昂贵，由于经费原因，购买进口设备有困难，所以，国内大部分企业仍主要采用 人工对苹果进行火小、形状、颜色分级，人易受各种主观因素的影响，分级质量难于保证。 3 、机器视觉分级可进行果品尺寸、形状、颜色和表面缺陷的全面分级，而且在美、欧、日等 国已商品化，是果品分级发展趋势，国内虽有研究，但相距商品化还有一定差距。国家“十五” 重大科技攻关课题“农产品的快速检测和分级”和农业部“9 4 8 ”项目“机器视觉水果分级设备” 对机器视觉分级技术进行研究，具有理论意义和实用价值。 4 、尽管国内外科研人员对机器视觉果品分级极为关注，且倾注了大量人力物力，但仍有难点 需进一步攻克。 5 、机器视觉苹果分级技术还可以应用于其他农产品分级领域，具有很强的推广价值。 中国农业大学硕士学位论文 第一章绪论 6 、随着计算机和信息技术的飞速发展，数字信号处理技术应运而生并得到迅速的发展。自 8 0 年以来，专门用来处理数字信号的通用可编程d s p 芯片也得到了突飞猛进的发展它内部采用 程序和数据分开的哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特殊的d s p 指 令，可以用来快速地实现各种数字信号处理算法。与计算机相比，d s p 的计算速度快，精度高， 保密性好，功能强大。目前d s p 技术已经发展成熟，d s p 芯片广泛应用在生产生活的各个方面。 综上所述，研究基于d s p 的机器视觉水果分级系统具有重大的经济意义，并且研究成果还具 有很好的推广前景。 1 5 研究的目标和内容 本研究目标是在应用计算机视觉技术实现苹果分级的过程中，通过对苹果数字图像的处理 提取出苹果的形状、尺寸特征参数，用来指导苹果的分级。 本研究的主要内容如下 1 苹果图像预处理 2 苹果大小分级算法研究和开发 3 苹果形状分级算法研究开发 4 软件系统整体设计和功能模块划分。 6 第二章基于d s p 的苹果动态分级系统概述 2 1 系统概述 d s p 苹果分级系统示意图如图2 1 所示，基本工作原理：输送装置连续输送苹果至摄像室， 摄像头对运动的苹果群体进行图像采集，d s p 首先对苹果图像进行预处理，然后对预处理后的数 据进行形状、尺寸、颜色和缺陷识别，将识别的结果与制定的标准进行比较分析，确定每个苹果 的质量级别，最后将计算结果作为分级信号传送给分级装置实现分级。 2 2 分级装置 图2 - 1 苹果分级系统示意图 系统的硬件部分主要由输送装置、光照与摄像系统、d s p 系统和分级装置4 部分组成。 2 2 1 输送装置 输送装置的功能是传送苹果，使苹果旱一定的有序状态进入摄像室，由电机链轮传动下的仿 形辊输送机构组成。苹果在进入仿形辊输送机构前已完成清洗、打蜡等操作，之后进入仿形辊输 送机构。苹果在传送过程中，在仿形辊上由托架托着向前传输。 为了保证生产效率，在输送速度快的同时要保证系统运转平稳，以免产生高频振动而对苹果 造成损伤。由于摄像机所获得的苹果图像是以输送装置等为背景，要求输送装置的颜色与苹果的 颜色能明显分开，以便于后续的背景分离处理，因此本系统选择黑色背景。如图2 - - 2 所示。 2 2 2 光照与摄像系统 幽2 2 输送装置 光照与摄像系统主要由摄像室、 c c d 摄像头和光源组成，其功能是通 过c c d 拍摄得到清晰的苹果图像。摄 像室内照明强度均匀，摄像头成像清 晰且颜色不失真，背景易滤除。因为 该分级系统是连续长时间地运转，从 而对摄像机及光源的稳定性要求较 高；为了避免颜色失真，在摄像机视 区内，光源采用双排荧光灯，分别安 装在传送带的两侧，并且每侧有多个 荧光灯，荧光灯的光线还要经过一层 毛玻璃的散射才能照射到传送带的苹 果上，这样能使光照均匀并具有散射 性，不会产生镜面反射：对于c c d 摄 像头，采用p a l 制采集方式，每秒采 集2 5 幅图像，实现高速连续采集。如 图2 3 所示。 图2 - 3 光照及摄像系统 8 2 23 d s p 图像处理系统 该系统用以美国t i 公司的t m s 3 2 0 d m 6 4 2 为核心器件，加上视频解码接e l 电路、视频编码接 几电路、存储器接口屯路、u a r t 接口电路、以太网口接1 2 1 电路、i o 数字输出电路、j t a g 电路、 复位电路、时钟电路等电路研发出图像处理开发板。d s p 目标板的功毹是利用它的高速运算能 力处理采集的苹果图像根据图像识别出苹果的品质级别，并将识别结果转化为分级信号传送给 分级装置。 t m s 3 2 0 d m 6 4 2 芯片内核采用v e l o c i t i 高级超长指令字( v l i w ) 体系结构，使得一个指令周 期能够并行处理多条指令；具有l 1 ，l 2 级c a c h e ，其中l i p 、l 1 d 直接与内核连接，两块一级高 速缓存分别为1 6 k b y t e s ，。级高速缓存为2 5 6 k - b y t e s t m s 3 2 0 d m 6 4 2 通过外部存储器接l 1 ( e m i f ) 访问外部存储器，最大总线速度1 3 3 m h z ，e m i l ；可以与s d r a m 、f l a s h 、c p l d 等 外部存储器无缝直连；相对于t m s 3 2 0 c 6 4 1 6 ，t m s 3 2 0 d m 6 4 2 集成了三个v i d e op o r t ( 简称v p 口) ，支持i t u rb t , 6 5 6 的视频数据流的输入和输冉所以能与解码器和编码器的视频数据流无 缝连接，省去采集和显示逻辑控制电路的设计，同时v p 口中内置f i f o ，无需增加f i f o 芯片进 行视频缓存。 图像处理开发板硬件结构原理图如图2 - 3 所示。该p c b 板设计为8 层印刷电路板，面积 7 4 x 1 0 7 r a m 2 。 t ：i * = _ 茹臻 d s p 图像处理板主要实现以下功能 2 - 4d s p 硬结构原理图 9 吼 璐 视频采集：2 路p a l n t s c 制标准复合或y c 模拟视频输入。帧数据输出格式y u v4 ：2 ：2 ， 3 5 2 x 2 8 8 帧采集分辨率，用于采集两条苹果分级流水线的图像数据； 视频显示：1 路p a l n t s c 制标准复合或y c 模拟视频输出，用于前期图像处理算法调试过 程中显示图像数据，在实际苹果分级中，视频输出可不采用； 通信接c i ：两路可编程切换的r s 2 3 2 r s 4 2 2 r s 4 8 5 异步接口，实现分级前，p c 机上设定的 苹果分级指标通过串口发送给d m 6 4 2 a p p l e 板，以及分级完成后，分级数据统计由 d m 6 4 2 a p p l e 板通过串口返回给p c 机；至少l o 个i o 口输出用于d s p 综合各种分级指标计 算出分级结果，同时将分级结果转化为分级信号驱动分级执行机构，从而将不同级别的苹果按预 先设定的分级标准在指定位置弹入收集槽中，一条流水线最多可以进行1 0 级苹果分级：以太网 接口，实现远程控制流水线和从该板上获取图像到p c 机； 计数端口：与旋转编码器相连，记录脉冲数量，对苹果定位 【：作方式：独立工作方式 复位方式：上电复位和手动复位开关复位。 2 2 4 分级装置 分级装置每级苹果对应的分级落点处安装了一个旋转电磁铁。它根据获得的分级信号将不同 级别的苹果按预先设定的分级标准送到不同的收集槽，主要由分级执行机构旋转电磁铁及其驱动 电路组成，分级执行机构为输送装置仿形辊上的托架，它接到分级信号后，将苹果弹入收集槽中。 对分级装景的要求是执行速度快，并能根据生产要求灵活变换级别数目和级别排列次序。 2 3 本章小结 本章介绍了d s p 水果分级系统的硬件构成和丁作原理。系统的硬件部分主要由输送装置、光 照与摄像系统、d s p 系统和分级装置4 个机械部分组成，其中d s p 系统是整个装置的核心部分， 控制摄像头图像采集，进行图像分析处理，计算苹果等级，并控制驱动电路在正确的位置送出苹 果。 1 0 第三章基于d s p 的苹果大小分级方法的研究 3 1 概述 在苹果的分级指标中，果品的尺寸是十分重要的指标之一，尺寸的大小直接决定着苹果的等 级。应用现在迅速发展的d s p 技术，利用其计算速度快、精度高的优势，研究了一套针对本系统 的苹果大小的动态分级方法一切片算法。 根据我国苹果销售质量标准【1 “，苹果尺寸是以果径长度( 最大横切面) 为判断依据，如 表3 1 所示。 表3 - 1 苹果质量等级规格指标 对于尺寸分级，目前的研究主要把苹果直径、表面积和体积这三个指标作为分级依据。本系 统通过c c d 摄像头采集的苹果图像是二维的平面图，苹果的体积根本得不到反映，因此，只有 提取包古苹果直径和表面积的信息来判别苹果的尺寸大小。在苹果图像中，其直径可直接计算得 到，而表面积可以通过苹果图像的面积，即苹果的投影面积来反映。 用苹果的直径判别苹果的大小是最直观的一种方法。苹果的边缘像素点以直角坐标存储在数 组中，以苹果的形心为原点转化成极坐标后，其极径即为该处苹果的半径值。形心0 直角坐标 ( x o ，y 。) 的计算公式如下： = - 厶1 x 。 咒= 专飘 1 即形心坐标为所有苹果像素点坐标的平均值。形心确定后，各边缘点的极坐标也就可以确定 了。为了判别苹果的尺寸，取苹果边缘像素点的半径平均值作为判别尺寸的依据。 苹果的投影面积也能够反映苹果表面积的大小，而苹果的投影面积在图像中通过统计苹果的 像素点数来计算。由于这样得到的投影面积是以像素点数为单位的，其数值比较大，不便于比较， 因此通过下面的公式将其数值缩小： s = 石，2j ，：、厩 ( 3 - 2 ) s 为苹果的投影面积，r 为半径，即将苹果的投影近似为圆形，用它的近似半径代替面积来判 别苹果的尺寸大小。 直径法比较直观，投影面积法获取的信息量相对较多，但这两种方法只能反映一个果面的情 况，得到的结果有一定的随机性，因此分级的准确率不够理想。而苹果动态分级系统即要求系统 处理速度快又要求处理结果准确度高。d s p 芯片具有计算速度快、精度高的特点，一些在普通微 机上不能运行的较复杂的算法也可以在本系统实现本文研究了基于d s p 的苹果尺寸分级的切片 方法。这种算法相对复杂度更高，计算结果更准确，以适应大规模生产的需要。 3 2 颜色模型的选择 图像的采集是整个系统计算和处理的基础，采集的质量直接影响着最终的结果。常用的图像 模型有r g b 、c m y 、x y z 、h i s 、y u v 等。 3 2 1r g b 模型 在多媒体计算机技术中，用的最多的是r g b 模型表示。原理是采用r 、g 、b 相加混色的原 理，通过发射出三种不同强度的电子束，使屏幕内侧覆盖的红、绿、蓝磷光材料发光而产生颜色。 r g b 是一个加色立方体模型，光源的亮度、色度、纯度混合在r 、g 、b 3 个参数中。r g b 模型 里面任意色光f 都可以用r 、g 、b 三色不同分量的相加混合而成： f 2 r r + g 【g 】+ b b 】 图3 - 1r g b 颜色模型 ( 3 - 3 ) r g b 模型采用物理三基色表示，因而物理意义很清楚，适合彩色显像管工作，显示器和扫描 仪都采用r g b 模型。然而这一体制并不适应人的视觉特点，如下图所示，不同颜色的苹果和r g b 值没有明显的联系。这种模型从感知来说是不均匀的，并依赖于硬件设备。r g b 模型的缺点有： ( 1 ) 在r g b 模型中，由于彩色合成图像通道之间相关性很高，使合成图像的饱和度偏低 色调变化不大，图像视觉效果差： 1 2 ( 2 ) r g b 模型用红、绿、蓝三原色的混合比例定义不同的色彩，使色彩难以用准确的数值 来表示，并进行定量分析； ( 3 ) 人眼不能直接感觉红、绿、蓝三色的比例，而只能通过感知颜色的亮度、色调以及饱和 度来区分物体，而色调和饱和度与红、绿、蓝的关系是非线性的，如图3 - 2 ，因此，难以在r g b 模型中对图像进行直接处理。 3 2 2 h s i 模型 图3 - 2 不同苹果的r g b 值分布 h s i 模型”1 是基于视觉原理的一个系统，定义了三个互不相关，容易预测的颜色心理属性 即色调( h ) 、亮度( 1 ) 和饱和度( s ) 。其中，h 是表面呈现近似红、黄、绿、蓝等颜色的一种或几种 的目视感知属性；i 是物体表面相对明暗特性；s 是颜色具有“白光”的程度。h s i 模型属极坐标 空间定义，它的二维表示是从r g b 立方体演变过来的，用一个圆锥空间模型来描述。图3 - 3 所 示为h s i 模型的三维表示。 图3 - 3h s i 模型 其中：图( a ) 是h s i 圆锥空间模型；( b ) 为线条示意图：体现了圆锥上亮度、色度和饱和 度的关系；( c ) 表示亮度i ，亮度值是沿着圆锥的轴线度量的沿着圆锥轴线上的点表示完全不 饱和的颜色按照不同的灰度等级，最亮点为纯白色、最暗点为纯黑色：( d ) 是圆锥纵切面，描 述了同一色调的不同亮度和饱和度s 关系。( e ) 是圆锥横切面：色调h 为绕圆锥截面度量的角 度，它用角度0 3 6 0 。度量；圆周上的颜色为完全饱和的纯色。 由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于颜色处理和识别， 人的视觉系统经常采用h s i 颜色空间，它比r g b 颜色空问更符合人的视觉特性。在图像处理和 机器视觉中大量算法都可在h s i 颜色空间中方便地使用。但是，本系统不能采集h s i 格式的图像， 只能由r g b 格式的图像转化得到，转化公式如下： h s i 转换的公式如下 h =一o s 拱等等蒜 3 6 0 。 匹生二鱼! ! 墨二曼丝! ! ( r g ) 2 + ( r 一占) ( g 一占) 】2 1 4 g b ( 3 4 ) g b g 1 0 ，把x 1 ，x 2 分别作为苹果的起始位置，结束位置保存，并计算出苹果中心 位置： 冈网 + p 中国农业大掌硕士学位论文第三章基于o s p 的苹果大小分级方法的研究 4 循环1 ，2 ，3 步，直到这幅图像处理完成； 5 判断标志位的值 5 1 如果标志位为0 ，表示这个苹果未经处理过，为其新建一个存储空间 5 2 如果标志位为l ，表示这个苹果已经建立了存储空间 6 统计切片中的苹果像素数，切片次数n 加1 ； 7 如果切片宽度l * n l ，l 为苹果周长，则切片结束，统计切片中的像素数，并计算出直径长 度，对照标准，判断苹果等级并输出： 8 循环5 ，6 ，7 ，直到处理完这幅图像中的每一个苹果。 3 4 4 试验结果 对1 2 0 个苹果进行试验，先通过毫米刻度尺准确进行测量，根据国家中型果标准，每个等级 挑选3 0 个苹果作为待测果。然后用摄像头采集苹果图像，采集的图像分辨率为6 4 0 * 4 8 0 像素， 切片宽度为7 0 像素。用阈值分割法求出苹果表面像素，通过分析灰度直方图，选择阅值为7 2 。 结果如表3 - 2 所示。可以看出，处理结果和人眼判断的结果基本相符，准确率达到9 0 。 表3 - 2 苹果大小分级试验结果 一等品二等品 三等晶等外品 实验数量3 03 0 3 03 0 2 正确识别数量2 92 8 正确率( )9 6 7 9 3 39 0 0 9 3 3 任选1 0 个苹果，分别编号为苹果1 1 0 ，如图3 - 1 1 。 2 4 处理结果如下： 图3 1 0 备等级的苹果图 表3 - 3 通过机器视觉方法算出的苹果直径 比较表3 - 3 、3 - 4 ，可以看出，处理结果可以比较准确的反映真实值，能比较准确的求出的苹 果直径。由于分级系统最终输出的是苹果的等级，而不是果径长度，因此对精度的要求不是很高， 当前的精度可以满足系统的需要。 3 5 本章结论 本章根据苹果机器视觉分级d s p 系统的特点，开发了一整套适合本系统的分级方法。采用纯 黑色背景，y u v 图像存储格式，进行图像采集。并用切片算法进行苹果表面积的计算，把所得 的结果通过数学公式计算出苹果的直径，作为尺寸分级的依据。试验证明本方法准确度高，处理 时间短，完全可以满足系统的需要。 中国农业大学硕士学位论文第四章基于d s p 的苹果形状分级方法的研究 第四章基于d s p 的苹果形状分级方法的研究 4 1 概述 苹果品质检测的主要依据是果品的大小，形状色泽和表面缺陷等。其中形状分级是苹果分 级中很重要的一个方面。在国家标准中，对苹果形状的描述为应具有本类应具有的特征“”，并 无明确的规定。由于苹果在生长过程中自然条件和其他复杂因素的影响，呈现的外部形状千差万 别，而且形状不规则，成为苹果自动化分级过程中的一个技术难点。目前国内对苹果形状分级大 多停留在理论研究阶段，水果分级系统一般少有涉及，还没有用在d s p 系统的相关报道。 本章的研究任务是对预处理后的苹果图像进行处理，提取苹果的形状信息，并进行识别运算 判定苹果的形状等级。针对d s p 系统的特点，研究了一种参考形状的分级方法。 形状分级之前，首先要的到苹果的边界信息。因此，首先应进行边缘检测，提取出苹果的边 缘像素点。 4 2 苹果的边缘提取 边缘检测是一种获取图像边缘像素点的方法，在图片经过去除背景、噪音及二值化处理后， 各个苹果像素的值都相同背景像素值也相同，并且两种像素的值相差很大，很容易通过算法检 测出苹果的边缘像素点。 常用的空域微分算子有以下几种：r o b e r t 算子、l a p l a c i a n 算子、s o b e l 算子、p r e w i t l 算子、 k i r s c h 算子、n e v i t i a 算子、m a r r - h i l d r e t h 算子、l o g 算子、c a n n y 算子、综合正交算子、r o b i n s o n 算子等【1 7 】。 4 2 1 梯度算子 梯度算子是一阶导数算子。对1 个连续函数f 伍y ) ，它在位置( x ，y ) 的梯度可表示为1 个矢量 这个矢量的幅度和方向角分别为： v f ( 训) = 【g ，g y 】7 ：l 要 o x m a g ( v f ) ：k + 嘭】1 ，2 ( 4 1 ) ( 4 - 2 ) ( j ，y ) = a r c t a n 【g ，qj ( 4 - 3 纠别 中国农业大学硕士学位论文第四章基于d s p 的苹果形状分级方法的研究 以上3 式中的偏导数需对每个象素位置计算，在实际中常用小区域模板卷积来近似计算。对 水平方向和竖直方向和各用1 个模板，同时检测两个方向的边缘。2 个模板组合起来以构成1 个 梯度算子。算子运算时采取类似卷积的方式，将模板在图像上移动并在每个位置计算对应中心象 素的梯度值，对1 幅灰度图求梯度所得的结果是1 幅梯度图。在边缘灰度值过渡比较尖锐且图像 中噪声比较小时，梯度算子工作效果较好。 根据模板的大小，其中元素值的不同，人们已提出了许多种不同的算子。常用的梯度算子是 罗伯特( r o b e , s ) 算子、蒲瑞维特( p r e w i t t ) 和索贝尔( s o b e l ) 算子，具体见图4 1 。 压口匪辱匪匪 ( 1 ) 罗伯特算子 4 2 2k r i s c h 边缘算子 ( 2 ) 蒲瑞维特算子( 3 ) 索贝尔算子 图4 - 1 梯度算子 图4 - 2 所示的8 个卷积核组成了k d s c h 边缘检测算子。图像中的每个点都用8 个掩膜进行卷 积，每个掩膜都对某个特定边缘方向作出最大响应，所有8 个方向中的最大值作为边缘幅度图像 的输出。最大响应掩膜的序号构成了边缘方向的编码。 k r i s c h 边缘检测算子也是3 3 算子，而且每点都要取8 个方向的卷积，计算量比较大。考虑 生产效率，本系统不采用这种算子。 圜匿- 3 + 5 + 5 匪- 3 3 3 匿- 3 - 3 - 3 臣固匿匿 4 2 3 拉普拉斯算子 图4 - 2k r i s c h 算子八方向模板 拉普拉斯( l a p l a c i a n ) 算子是一种二阶导数算子，对一个连续函数f ( x ，y ) ，它在位置( x ，y ) 的 拉普拉斯值定义如下： v 2 ，= 軎+ 軎 ， 计算l a p l a c i a n 算子里对应中心象素的系数应是正的，而对应中心象素邻近象素的系数应是负 的，且它们的和应该是零。常用的2 种模板分别见下两图。 圈圜 圈4 - 3 实现拉普拉斯运算的模援 l a p l a e i a n 算子是一种二阶导数算子，它将在边缘处产生一个陡峭的零交叉，所以对图像中噪 声的影响相当敏感。另外它常产生双像素宽的边缘，且也不能提供边缘方向的信息。由于以上原 因，l a p l a c i a n 算子很少直接用于检测边缘，而主要用于已知边缘像素后确定该像素是在图像的暗 区还是明区。实际中需要将图象与如下高斯函数的拉普拉斯相卷积，才能较好的去除噪声。 其中a 是高斯分布的均方差。 蜘川：。x p f 一掣 l2 0 - 2 ( 4 4 ) 由于噪声点对边缘检测有一定的影响，而高斯平滑滤波器也较好地去除噪声，所以高斯平滑 滤波器和拉普拉斯算子结合是很好的平滑器，先平滑掉噪声，再进行边缘检测，所以效果更好。 在图4 - 4 中t 第一幅为初始图像，已经经过了去除背景、噪音及二值化处理；后面三幅图分 别是用罗伯特交叉算子、索贝尔算子、拉普拉斯算子进行边缘检测的结果。 oo 图4 - 4 边缘检测结果 中国农业大学硕士学位论文第四章基于d s p 的苹果形状分级方法的研究 一个好的边缘检测算子应具有的三个指标为： 得到的边界为单像素宽低失误概率，对每个边缘有唯一的响应； 高位置精度，检测出的边缘应在真正的边界上 既要少将真正的边缘丢失也要少将非边缘判为边缘 根据这三个指标从图中可以看出，图拉