基于机器人视觉的快递分拣系统设计与试验

本科毕业论文（设计）论文题目 ：本科毕业论文（设计）专用本科毕业论文（设计）专用摘 要性。本文主要研究内容主要集中于以下几个方面：研究采用宽度、高度和体积等信息，并通过九点标定算法和仿射变换得出快递箱的坐标信息，通过socket通信将坐标信息传输给ABB机器人，实现机器人的精确抓取和分类。(2)实现对快递盒的自动分类，编写一套控制机器人动作的程序，开发相应的软件程序来实现这一目标，程序将指引机器人对快递盒进行自动分类。这些程序需要与摄像头、传感器和其他设备协调，以确保分拣操作顺利进行。使用C#语言开发C#语言创建WinForm接口，用于控制整个快速分类过程。让快递自动分类更简单流程化。使用ABBIRB1410将视觉智能系统和机器人技术集成，以应对快递递送量不断增加的挑战。本文的研究成果可以代替人工进行快递分拣搬运，提高快递盒的自动分拣和分类效率和准确性，具有广阔的应用前景和市场价值。关键词：机器视觉；快递分拣；工业机器人；C#；工作站集成设计。AbstractAsthee-commerceindustrygrows,packagedeliveryvolumesareincreasing,puttingtraditionalsortationautomationrobotsunderpressureandlimitingtheirabilitytokeepupwithdemand.Inresponse,integratingvisualintelligencesystemswiththeserobotscouldimproveefficiencyandreducecosts.Inthisregard,thispaperproposesanautomaticsortingsystemforexpressboxesbasedonmachinevisionandrobottechnologytorealizeautomaticsortingandclassificationofexpressboxes,whichcansortexpressboxesofdifferentsizesandimprovesortingefficiencyandaccuracy.Themainresearchcontentofthispapermainlyfocusesonthefollowingaspects:ThestudyusestheHALCONvisionsoftwaretoobtainthedepthinformationoftheexpressbox,andthenextractsthelength,width,heightandvolumeoftheexpressbox,andobtainsthecoordinateinformationoftheexpressboxthroughthenine-pointcalibrationalgorithmandaffinetransformation.ThesocketcommunicationtransmitsthecoordinateinformationtotheABBrobottorealizetheprecisegraspingandclassificationoftherobot.Realizetheautomaticclassificationofexpressboxes,writeasetofprogramstocontrolthemovementoftherobot,anddevelopcorrespondingsoftwareprogramstoachievethisgoal.Theprogramwillguidetherobottoautomaticallyclassifytheexpressboxes.Theseproceduresneedtobecoordinatedwithcameras,sensorsandotherequipmenttoensurethatsortingoperationsrunsmoothly.UseC#languagetodeveloptheWinForminterfacetorealizethecontroloftheentireexpressclassificationprocess.CreateaWinForminterfaceusingC#languagetocontroltheentirequickclassificationprocess.Maketheautomaticclassificationofexpressdeliveryeasierandmorestreamlined.ArobotsortingsystemiscomposedofABBIRB1410industrialrobot,industrialcamera,lightsource,lightsourcecontroller,maincontrolcomputerandotherhardware,andaexpressboxautomaticsortingsystembasedonmachinevisionandrobottechnologyisproposed.Integratewithroboticstomeetthechallengeofincreasingexpressdeliveryvolume.Theresearchresultsofthispapercanreplacemanualexpresssortingandhandling,improvetheefficiencyandaccuracyofautomaticsortingandclassificationofexpressboxes,andhavebroadapplicationprospectsandmarketvalue.Keywords:machinevision;Expresssorting;industrialrobots;C#；Workstation-integrateddesign.本科毕业论文（设计）专用本科毕业论文（设计）专用目 录1引 论 11.1研究目的及意义 11.2国内外研究现状 21.3设计的主要内容 31.4章节安排 42机器人视觉的快递分拣系统设计 62.1视觉分拣系统方案设计 62.2系统软硬件集成设备选型 62.3光学方案设计 123Halcon视觉图像处理 153.1Halcon视觉软件工作总体流程 153.2相机的标定 203.3系统的通信方式 233.4快递的定位转换 254VS2019的WinForm窗体设计 304.1上位机开发功能要求 304.2以C#格式导出Halcon程序 304.3配置环境 304.4Winform界面设计 344.5窗体界面的显示逻辑 355ABB机器人路径算法设计 375.1ABB机器人工作总体流程 375.2ABB机器人Halcon通讯设置 375.3ABB机器人离线程序设定 396工作站联合调试试验 416.1程序调试 416.2软件打包发布 417结 语 46参考文献 47致 谢 48附 录 49附录一：Halcon机器视觉算法设计及说明 49附录二：ABB机器人详细离线程 54附件三：VS2019的WinForm算法设计及说明 59附 图 79附图一：UI界面图 79本科毕业论文（设计）专用本科毕业论文（设计）专用PAGEPAGE11 引 论1.1 研究目的及意义近年来快递量的持续增长，物流服务的质量和水平仍有待提高。要提高我国邮政业的发展水平和国际竞争力，必须在邮政业实行全面、精细化的管理。智能分拣系统由物流自动化设备、信息传输、仓储控制、管理系统组成，是快递物流系统的重要组成部分，也是保障整个物流系统高效运行的重要基础设施。其主要功能包括自动拣选、自动包装、自动分拣，可由计算机远程监控或管理。研究快递物流分拣环节自动化技术，可以为邮政行业的自动化生产提供新技术、新产品，提高企业的经济效益。视觉识别技术是机器人分拣系统的核心组成部分，涉及计算机采集图像信息、分析图像信息、提取有价值的信息等关键技术。通过分析与研究图像特征与分类之间的关系，进而获取目标区域特征信息进行识别和分类，下面是分拣机器人正在在进行分拣作业。（图1.1）图1.1产线上的视觉分拣机器人机器人视觉作为一种新兴技术，可以应用于自动化生产领域，用于物体识别、跟踪、分类和计数。机器人视觉的关键在于实现物体识别和定位、跟踪，并确定目标物体的位置和运纹理等各种信息;（2）对加工目标进行分类;（3）对检测到的目标对象进行计数和识别等基本操作。在分拣过程中，机器人视觉不仅可以对货物进行分拣，还可以对自动分拣系统中各种传感器检测到的各种产品的规格和尺寸进行准确判断和分类。实现不同产品之间或单个项目之间的信息相互传递，部门之间的指令和信息传递，也需要不同的技术手段。机器人视觉可以检测并自动分类不同的产品或相同的产品。它在分拣过程中起着至关重要的作用，不仅实现了自动化物流系统中货物的分拣功能，而且按照一定的程序和规则将货物分拣或运输到指定位置。本文设计一种可以应用于自动识别分拣小物件快递盒和快速分拣系统。在进行货物分类处理时，快递公司的工作人员将先前已经分好相同地区的商品再进行分配，快递公司的工作人员将产品放到传送带上，经过机器视觉识别器扫描后，将商品放到自动运输机器上，到了出货站台后自动运输机器会把托盘升起使机器上的商品落到出货口，集中配送。[7]本科毕业论文（设计）专用本科毕业论文（设计）专用通过对快递包装进行图像采集，采用了图像处理中常用的阈值分割方法、边缘检测、形态学操作、阈值分割、形态学操作以及特征提取方法来对包裹和包装箱进行分类识别。根据用户对快递单信息录入要求，设计了一种用于处理快递数据信息并且能对快递图像数据信息进行处理的系统模块；该智能分拣系统可以自动识别单快递盒和包装箱等不同类别和不同大小的物品进行分拣；1.2 国内外研究现状自20世纪以来，快递行业飞速发展，智能物流发展迅速，国家政策也在不断出台鼓励创新。国内也在不断学习技术并进行开发，以保证物流行业的高速发展。随着人工智能技术在各企业间的推广应用，机器人视觉技术的发展也逐步成熟。我国研究的自主式智能快递机器人系统由三部分组成：控制中心、末端执行器、服务机器人。机器人视觉技术在各行各业得到广泛应用，主要是为了提高生产效率和自动化程度，并且能有效避免人为失误；其次是降低人工成本、减轻劳动强度、实现机器换人等特点。随着人工智能和信息科技的不断发展，机器人系统被广泛运用于物流、仓储等领域中，目前已有很多优秀品牌采用了自主研发机器人来代替人工对货物进行分拣作业。国内快递行业正处于快速发展时期且各大快递公司均在不断投入大量资金完善设施设备。[2]目前国内已经有了许多分拣中心与自动化设备供各大快递公司使用，并且已经取得了良好成效。随着人工智能技术和信息科学技术的迅速发展，机器人系统可以有效代替人工工作并降低人力成本；同时也是对传统的机械化流水线进行升级改造的过程。近年来随着物流行业快速发展使得快递行业业务量激增而机器人系统无法满足日益增长的快件数量所造成的设备及人工成本增加是导致我国快递分拣中心智能化水平不断提高的重要原因之一；同时我国物流业快速发展、物流业相关服务体系不断完善也是对物流行业转型升级、提高物流行业自动化程度起到促进作用。目前我国已经有了许多专业从事物流设备研发与生产、运营管理等方面工作人员。其中就包括从事机器人系统研究、开发、制造及技术服务等工作人员；同时从事机械自动化工程设计人员；从事相关设备研究及应用开发人员以及从事物流企业相关从业技术与管理人员等；这些人通常拥有高学历和扎实的专业技能与技术经验。与国外的机器视觉和人工智能领域进行比较，我们可以对国外几种典型视觉识别系统进行分析和应用研究：美国：Eclipse公司的自动分拣系统（AutomaticSegmentationSystem,像的信息识别技术，实现自动分拣和货物定位。日本：丰田物流公司的仓储设备中，利用机器视觉识别系统技术来对分拣出来的货物进行分类。德国：Deeplearningen公司通过计算机视觉识别系统来实现对货物的分拣。法国：Eclipse公司使用工业相机和机器视觉技术来实现货物的识别。澳大利亚：Australian公司开发出一种可以将计算机视觉技术与RFID相结合使用并集成到机器人拣选中的机器人系统。科技都方便了人们日常生活和快递行业的发展。成本高、效率低，同时易出现人为失误，影响服务质量。所以提高快递分拣中心的速度，降低成本，提高服务质量，是快递行业需要解决的问题。这些公司不断引入新技术，提高其设备和机器人的智能化程度，提高快递分拣中心的自动化水平。在这些企业的带动下，中国快递业的自动化水平也在不断提高。总的来说，随着人工智能技术和信息科技的不断发展，机器人系统将在物流、仓储等领域中被广泛运用，快递行业也将会实现从人工分拣到机器人分拣的转变。我国快递行业还需要不断加强技术研发和人才培养，提高自主创新能力，以适应快速发展的市场需求，推动快递行业的转型升级和可持续发展。1.3 设计的主要内容包裹分拣系统的需求，为研究所需的实验工作场景选择合适的软硬件设备，建立工作操作平台，连接系统与集成系统形成整体。设计系统的关键部件，包括摄像头和视觉分拣一体化的空间布局，开发可靠高效的系统，可以准确分拣快递包裹。（2）快递分拣系统光学平台的设计与构建，确定需要分拣的快递员的尺寸范围，选择合适的硬件和软件来设计和构建光学平台，选择光学载物台的三个主要组成部分：光源、相机以便在后续章节中进一步处理。HALCON机器视觉的快速定位与抓取算法，描述Halcon软件的整体工作流程，利用处理图像的算法提取快递的深度信息，得到快递的长度、宽度和高度，以及快递的体积，使用九点标定算法获取快递的坐标点，就可以通过socket通信发送到机器人的交互端，实现快递盒分拣和快递盒的定位。（4）使用C#作为编程语言工具，编写基于Halocn程序的VS2019WinForm界面设计配置打包Halocn程序并配置语言环境，根据实验要求设计Winform界面，控制快递分拣全过程。（5）快速定位和抓取的机器人工作流程，详细介绍ABB机器人的工作流程，包括机器人坐标系的建立、机器人的轨迹规划、机器人的抓取和放置，针对快递箱的不同尺寸和重量与摄像头、传感器等设备协调，确保机器人的分拣作业能够顺利完成。1.4

图1.2技术路线流程图第一章，首先介绍研究的目的和意义，解释了该主题的研究方向，通过研究目的介绍了机器人视觉快递分类的研究进展，并总结了国内外快递分类技术的发展和实现方向。第二章本章主要探讨机器人视觉快递分拣系统的设计和测试方案。研究的目标是开发一个高效准确的系统,能够快速分拣各种大小和形状的快递包裹和递分拣系统光学平台的设计和构建。为了实现这个目标,我们针对研究所需的实验工作场景,具体选取了合适的软硬件设备。光学平台是系统的关键组件,因为它捕获快递的图像以进行进一步处理。为了确保准确高效的计和构建光学平台。光学平台由三个主要部件组成：光源、相机和镜头。光源为快递提供照明,其选择对于最大限度地减少快递表面的阴影和反射至关重要。根据快递的尺寸、分辨率和相应的视觉算法选择相机。选择镜头以优化图像质量,并确保在相机的视野中准确捕获快递。选择硬件后,我们校准相机以获得快递尺寸和位置的准确测量值。校准过程包括测量相机的固有和外在参数并获得失真系数。校准结果用于校正相机捕获的图像,使其更准确并适合进一步处理。根据快递的高度、分辨率和相应的视觉算法进行特殊设计。这确保摄像头能够捕捉清以确保系统的效率和准确性得到优化。这包括摄像头、照明和其他组件的摆放,以确保整个快递分拣过程顺畅无缝。机器人视觉快递分拣系统的设计和测试方案考虑了实验的具体需求和以清晰地成像和提取快递,以便在后续章节中进一步处理。HALCON机器视觉的快递定位抓取，本研究的主要目的是通过应用图像处理算法从快递包裹中提取深度信息。具体来说，这些算法旨在确定快递的长度、宽度和高度，以及其整体体积。有了这些深度信息，系统就可以利用九点校准算法和仿射变换来获得快车的精确坐标。这项工作是自动分类和分拣系统的关键组成部分，对系统的整体成功至关重要。第四章，基于Halocn程序进行VS2019的WinForm窗体设计。该设计主要以C#作为编程语言工具。概述了自动分类和排序系统中窗体设计开发的功能要求。它涵盖了窗体设计必须具备的关键特性和功能，以有效控制和监视系统的运行。介绍了以C#格式导出HALCON程序的过程。这是开发WinForm接口的关键步骤，因为它支持将HALCON程序与接口的C#代码集成。还有开发WinForm接口所需的环境配置。它涵盖了软件和硬件要求，以及必要的HalocnWimform界面，释界面的显示逻辑，该逻辑决定了各种组件在屏幕上的显示方式。本节涵盖了管理不同元素的显示并确保界面响应迅速且用户友好的代码。做好控制快递分拣整个流程。第五章，在本章中，将全面介绍ABB机器人的工作流程，包括坐标系建立、轨迹规划、以实现最佳分类效果。为实现机器人的自动分类功能，还将编写相应的程序，控制机器人的运动。在程序设计中，我们将充分考虑机器人的安全性、精确性和效率等因素。同时，我们还需要与相机和传感器等设备进行协调，以确保机器人的分类操作能够顺利完成。研究重点在于如何实现机器人的精准定位和分类功能，解决机器人在处理快递时可能遇到的尺寸差异和重量不同等问题，提高机器人的分类效率和准确性。第六章，本章分为两部分，重点介绍此过程涉及的关键步骤。重点是识别和修复系统软件组件中的错误所需的步骤。介绍如何使用调试工具和技术（如断点、变量检查和错误日志记录）来识别和解决软件中的问题。还有自动分类和排序系统的软件打包和发布过程。它涵盖了将软件组件打包为可分发格式（如安装程序或zip程，包括版本控制、文档和测试。强调了彻底测试和文档编制的必要性，以确保系统部署和运行成功。主要目的是描述系统的联调过程。第七章，论文的结语提供了研究工作的总结，从获得的结果中得出结论，提出了未来研究的可能方向，并强调了研究结果的实际意义。最后的发言表达了对那些为这项研究做出贡献的人的感谢，并以对该领域未来研究的希望声明结束。2 机器人视觉的快递分拣系统设计2.1 视觉分拣系统方案设计视觉分拣机器人设计由多个系统组成，包括快递传输、视觉采集、图像和信息处理、机摄像设备捕Halcon并将坐标信息传输给工业机器人。然后，机器人对工件进行相应的分类。控制器控制器CCD光源快递盒PC工业机器人图2.1基于视觉机器人分拣系统示意图快递的输送单元由输送机履带和步进电机组成。快递箱均为棕色，具有光泽，与工件传输跟踪箱托盘形成明显的颜色对比。这种色差有利于快递箱的识别和精确定位。视觉部门包括工业相机、光学镜头和照明设备。视觉光源作为平台的照明设备安装在传消除工件上的阴影至关重要。工业相机在传送带上连续捕获目标工件，获得的信息由Halcon软件处理，以便工业机器人进行后续分类，把Studio作为操作软件界面。该接口可轻松控制和监控整个系统，使包裹的分拣和交付更加高效和有效。2.2 系统软硬件集成设备选型本次视觉分拣机器人中的控制单元与视觉设备选型分为两种，一是硬件选型，二是软件选型。硬件选型为：工业机器人、控制柜、示教器、海康相机、条形光源、光源控制器、红与VS2019开发完成（图2.3）。图2.2HALCON12开始界面图2.3VS2019开启界面本课题选择了中国ABB机器人分公司的一款名为IRB-1410型号机械手臂（图机器人上管还提供了独有的18kg附加荷重。根据ABB官方网站提供的信息，该机器人末端加上吸盘可以吸取的最大重量为10公斤，该项目中使用的工业机器人是一个多功能且适应性可以进行调整以适应每个制造过程的独特要求。此外，这种坚固可靠的机器人以其低噪音排放、长使用寿命和最低维护要求而闻名。其广泛的工作范围、长范围和紧凑的设计使其成为该工业机器人非常适合满足该项目的需求。图2.4IRB-1410机器人IRB14102.4同时，示教器功能也非常强大，包括通信暂停、功能复位、触摸屏无效化和机器人系统重启等功能。机器人示教器是一种用于编程和控制工业机器人的工具，由一个手持式设备和一个用户界面组成，可以让用户直接控制机器人的运动和操作，而不需要编写复杂的程序代码。使用机器人示教器，操作人员可以将机器人的动作记录下来并保存为程序，然后这些程序可以在后续的操作中被重复使用。这使得机器人的编程和操作变得更加简单和高效，同时也提高了生产线的灵活性和适应性。（图2.4）图2.5示教器2.6可以将活塞销的外圆表面夹在夹持器端的内侧，并将卡展开以将连杆夹在外侧。此外，当完全关闭时，该工具的前端可以将活塞销推入到位。图2.6真空吸盘另一方面，吸盘工具用于夹紧活塞部分的上端面。吸盘的使用需要空气压缩机（如图2.9所示）、真空发生器（如图2.8所示）和电磁阀（如图2.7所示）。空气压缩机和真空发生器为真空吸盘产生吸力，而电磁阀控制气体通道的打开和关闭。该系统选择了常用的NMPC三位两位三通电磁阀。当机器人的吸盘用于抓取快递时，电磁阀打开，当工业机器人将快递放下时，电磁阀关闭。图2.7电磁阀 图2.8真空发生器 图2.9空气压缩机海康威视相机化、机器视觉、数字图像处理等领域。以下是对其详细介绍：分辨率和帧率：MV-CA050-12GC采用500万像素的CMOS图像传感器，最大输出分辨率为2448×204823.5fps@2448×2048据。接口和输出：该相机支持GigE接口，传输速率高达1Gbps，具有较高的数据传输稳定性和可靠性。并输出格式支持等多种格式。光学性能：该相机使用了高品质的镜头和滤光片，能够提供高质量的图像捕捉。此外，它还支持多种自动曝光、自动白平衡等功能，可以适应不同的光线环境，并能够实现自适应亮度和对比度调节，使得图像更加清晰和真实。硬件和软件支持：MV-CA050-12GC相机可以通过SDK和API进行编程和控制，此外，该相机还具备多种应用程序，如捕捉、触发、调试等，方便用户进行图像处理和数据分析。（图2.12）。PAGEPAGE10图2.10外形尺寸图2.11MV-CA013-20GC相机图2.1212mm镜头在本课题中，我们需要选用合适照明设备。这种照明设备是条形光源，它有两种形态：高均匀性线性光源和复合线性光源。前者是照亮大型方形物体的理想选择，而后者则提供了根据需要组合颜色的灵活性。条形光源的长度和照明角度可调，适用于各种成像场景，尤其是快递包裹等涉及大型物品的场景。由于其多功能性，条形光源是这些领域专业人士的宝贵工具。条形光源是任何需要高质量照明才能产生准确结果的机器视觉系统的关键组件。本次试验也是采用WDMM型号:DSL-144-22条形光源（图2.13）。图2.13DSL-144-22条形光源图2.13光源照度参考图条形光源具有高亮度LED，其照明水平可以根据照度参考图进行调整，同时可以灵活修改照明角度以满足特定要求。此外，增加的扩散板可确保更均匀、更柔和的光输出。本研究使用红外传感器（图2.14）来感应物体是否有无等其他参数。当红外传感器发出信号时，信号要么被周围物体吸收，要么被反射，传感器根据反射时间和强度计算物体的位置和距离。在本项目中，红外传感器用作硬触发器，在必要时通过向相机发送信号来捕获图像。图2.14红外线传感器源的亮度和开/关状态。它配备了英特尔E38451.91GHzDDR3L内存和高可靠性SSD存储。它还支持多个光耦合器隔离输入和输出，并可通过光源接口控制光源的开/关状态和亮度。内置触发器是一个数字输入模块，用于检测外部信号，例如按下按钮或光传感器检测物体，并向光源控制器发送信号以触发相应的操作。控制器的尺寸如下（图2.16）图2.15光源控制器2.3 光学方案设计

图2.16光源控制器尺寸检测快递盒以及标准，产品名称：快递盒（图2.17），产品尺寸：直径长宽<50cm,产品低于0.1cm。尺寸24.7X17.2X43cm图2.17尺寸24.7X17.2X43cm光学排布图的设计，使用海康威视相机和12mm镜头与海康威视光源控制器和条形灯一起（图是80*60cm，单次曝光，10ms，相机安装孔做成U型长孔可进行适当的距离调整，光源支架做C型孔可进行适当的角度调整，两个相机中心分别正对两侧快递盒表面中心且光学聚焦面为快递表面；光学排布图可能会根据现场机构实际状态做优化调整，左侧为正视图，右侧为侧视图。（图2.19）图2.18dome平台图2.19光学排布图视觉检测流程，首先快递盒移动到相机下，触发红外线传感器进行拍照，随后通过软件对图像进行处理，对产品进行定位等操作，发送给ABB机器人一个信号，随后机器人进行抓取分拣。流程图如下。图2.20视觉方案流程图3 Halcon视觉图像处理3.1 Halcon视觉软件工作总体流程在本设计中主要的图像处理流程如下：(1)首先读取图像:使用读取图像函数readimage，并将其存储在lmage1中。图像路径为C:/Users/32923/Desktop/毕业设计/1.jpg”。(2)将RGB图像转换为灰度图像:使用rgb1to_gray函数将lmage1转换为灰度图像，并将结2果存储在Graylmage中。腐蚀处理:使用grayerosionrect函数对Graylmage进行腐蚀处理，并将结果存储在26lmageMin中。膨胀处理:使用graydilationrect函数对ImageMin进行膨胀处理，并将结果存储在ImageMax中。(5)闽值处理:使用threshold函数对ImageMax进行闽值处理，并将结果存储在Regions中。(6)连通域处理:使用connection函数对Regions进行连通域处理，并将结果存储在ConnectedRegions中.选择形状:使用selectshape函数从ConnectedRegions中选择符合“面积在734291和1.47756e+006之间”的形状，并将结果存储在SelectedRegions中。填充区域:使用fillup函数对SelectedRegionsRegionFillUp中。(9)形状转换:使用shapetrans函数将RegionFillUp转换为凸包形状，并将结果存储在RegionTrans中。(10)10.矩形开放:使用openingrectangle1函数对RegionTrans进行矩形开放，并将结果存储在RegionOpening中边界处理:使用boundary函数提取RegionOpening的内部边界，并将结果存储在RegionBorder中(12)最小矩形处理:使用smallestrectangle2函数提取RegionBorder的最小矩形，并分别将结果存储在Row、Column、Phi、Length1、Length2中。在进行图像处理之前，第一步先要对快递进行标定（图3.1），我们采用的方法是九点标定，先要拍取实际标定板的图像，得到的图像通过预处理和blob分系得到九点的中心坐标，这里使用中心点(x,y)。用工业机器人移动机械臂旋转中心依次到第一个点，并且保存机器当存起来利用刚刚保存的九点坐标和机器坐标，再用算子vector_to_hom_mat2d素坐标转化成实际坐标，就可以确定相机镜头下的物体具体坐标，机械臂就可以实现精准抓取。图3.1标定方法第二步建立机器人与相机通讯（图3.2）。本次试验中使用socket通讯，机器人充当服务器，Halcon充当客户端。服务器使用Sockek对象创建侦听连接，并通过Bind方法将其绑定到一个EndPoint上。然后，使用Listen方法开始侦听连接请求。当客户端请求连接时，服务器将创建一个新的Socket对象，并使用Accept方法开始通信。通信结束后，需关闭连接。客户端需要先创建一个SocketIP地址和端口号创建一个EndPoint对象，以建立连接。接下来，使用Connect方法将连接请求发送到服务器，使用先前创建的EndPoint对象作为参数。图3.2建立通讯成功连接后，客户端使用socket对象方法向服务器发送信息（如图3.3户端使用socket对象的Receive旦ABB机器人收到Halcon发送的坐标，它就会继续抓取目标。在进行实验以确定目标是否已准确定位后，如有必要，对X或Y轴进行调整，直到到达中心点。图3.3信息接收第三步是确定快递盒的中心坐标。为此，首先对快递盒像进行预处理，然后使用中值滤波和高斯滤波、阈值分割、连接区域、区域选择和区域填充运算符等过滤技术，以获得快递的最小边界矩形，也就是快递件的矩形区域，随后用area_center算子就可以求出快递件中心affine_trans_point_2d(HomMat2D,物体Column,得到机器X,机器Y）。同时另外一个相机拍照得到高度Z,Z的实际值求出后，先计算机器人基坐标中Z坐标在快递平台的高度，根据上升多少多少坐标与实际上升高度成比列进行转换，具体要根据现场调试，经过比列计算转换成参数给到Halcon求出的实际高度，进行比列转换得到相应的高度坐标，之后统一把X、Y、Z通过字符发送机器人，便形成相应的空间坐标。（图3.4）图3.4中心坐标转换举例：快递实际高度为Q，快递平台的高度在机械手臂中基坐标Z1为200，平台高度加上快递高度在基坐标中为200+X，则计算快递在平台中机械手臂坐标高度X比快递实际高度根据X\Q，检测其他快递的高度转换成新机械臂坐标高度：z+Z1。（图3.5）图3.5高度计算流程图第四步是Halcon图像处理对快递件的大小进行确定，实现不同大小进行分仓处理，先通过Halcon对快递进行预处理，再通过求出的最小矩形得到快递盒的长宽大小，；另外一台相求体积的算法求出快递件的体积。为体积，根据像素数转换为实际长、宽、高进行求体积。具体程序如下：*求最小矩形smallest_rectangle2(RegionBorder,Column,Phi,Length1,Length2)*显示产生任意方位的矩形-Length1是矩形短边（宽度）-Length2是矩形的长边（长度）*根据像素数，实际长度与图像长宽计算出，实际长度为15cm：real_length1:=Length*resolutionresolution:=0.01941a:=Length1b:=Length2real_length1:=a*resolutionreal_length2:=b*resolution*快递盒实际表面积为area:=real_length1*real_length2*下一步计算体积*resolution为像素比resolution:=0.01941c:=Length2*实际的高度real_length3:=c*resolution*real_length3为实际高度，在基坐标中桌面高为Z1（根据现场设置），坐标高/快递实际高比等于实际高度比*设置平台高坐标Z=200,实际高度比Heightratio=1.2,高坐标Highcoordinates=平台坐标高Highplatformcoordinates+实际高度比Heightratio*实际的高度real_length3Heightratio:=1.2Highplatformcoordinates:=200Highcoordinates:=Highplatformcoordinates+Heightratio*real_length3*求体积的循环volumevolume:=area*real_length3随后按不同体积进行分拣，识别完之后Halcon会给ABB机器人发送不同信号，机器人通过不同信号进行编程，把快递件搬运至不同信号的指定位置。首先通过海康相机连续触发拍照得到快递件的图像，试验总共是三个快递件分为，长宽高各不相同。求体积的循环volume条件一：体积大于等于1500，高小于等于15执行0条件二：体积小于1500，高小于等于15执行1条件三：体积大于等于1500，高大于等于15执行2。具体程序如下：*条件一：体积大于等于1500，高小于等于15执行0if(volume>=1500andreal_length3<=15)Summ:='0'tuple_add(Highcoordinates+';',Summ,data)tuple_add(Sum1,data,out)send_data(Socket1,'z',out,[])endif*条件二：体积小于1500，高小于等于15执行1if(volume<1500andreal_length3<=15)Summ:='1'tuple_add(Highcoordinates+';',Summ,data)tuple_add(Sum1,data,out)send_data(Socket1,'z',out,[])*条件三：体积大于等于1500，高大于等于15执行2endifif(volume>=1500andreal_length3>15)Summ:='2'tuple_add(Highcoordinates+';',Summ,data)tuple_add(Sum1,data,out)send_data(Socket1,'z',out,[])endif之后通过tuple_add算子把需要输出的xyz坐标和相应的执行条件进行统一输出，后面会通过ABB机器人进行接收。（图3.6）图3.6坐标输出PAGEPAGE203.2 相机的标定在本文中，相机校准过程使用九点标定方法（图3.7），这是机器视觉中机器人技术的一个重要方面，因为它向机器人手臂提供有关操作对象的关键信息。物体识别与计算机视觉有一些相似之处，但其他两个方面是机器视觉独有的。相机校准是决定相机和机器人手臂之间的相对位置和方向，姿态估计涉及计算物体在相机坐标系中的位置和方向，使机器人手臂能够准确抓取它。此校准过程对于将物体的世界坐标系转换为机械臂坐标系至关重要，从而实现准确的产品识别、定位和抓取。摄像机摄像机标定板机械臂末端机器人基座图3.7相机标定九点标定的基本原理是将物体放置在工作区内的9个位置，并使用相机捕获图像以获得这9halcon运算符和计算仿射矩阵，前者获得变换矩阵关系，后者执行实际转换。为确保准确的2D机平面和物体平面尽可能平行且角度相同非常重要。手眼校准过程是一个成熟的领域，旨在确定相机、工具、机器人手臂和世界坐标系之间的变换矩阵。这是必要的，因为物体识别通常依赖于世界坐标系，而机械臂操作需要了解物体在机器人手臂坐标系中的真实位置。如果机械臂包含夹持器，则需要进行额外的变换才能将机械臂坐标系转换为工具坐标系。因此，手眼校准涉及在机器人手臂的工作空间内捕获不同位置和方向的物体图像，然后使用这些图像来确定与不同坐标系相关的仿射变换矩阵。确保相机平面和物体平面尽可能平行非常重要，以最大程度地减少二维校准过程中的误差。手眼标定分为两类（图3.8）：toHand：相机在机器人外部固定，不用随机械臂的运动而运动。inHand：相机在机械臂上，跟随机械臂运动。图3.8EyetoHand及EyeinHand标定本课题中使用EyetoHand，就是眼在手外。首先自己画九个点（图3.9），点的中心是为了用于机械臂旋转中心定位。图3.9九点标定板把刚刚放图打印出的标定纸进行拍照（图3.9）。使用点(X,Y)。（图3.10）图3.10九点坐标第二个点，保存坐标，以此类推，到最后一个点,坐标全部保存起来。（图3.11）图3.11九点中机器人坐标利用刚刚保存的九点坐标和机器坐标，求出矩阵vector_to_hom_mat2d(九点行,九点列,机器X,机器之后拿个物品，再用求出物体的坐标，拿着物品坐标求出机器坐标affine_trans_point_2d(HomMat2D,Column,X,Y)。（图3.12）具体程序如下：*实际的坐标点Qx:=[-1.08,70.46,142.05,0.22,71.11,142.77,0.22,71.53,142.77]Qy:=[64.82,65.72,66.91,0.42,1.33,2.34,-64.24,-63.29,-62.27]vector_to_hom_mat2d(Column,Qx,HomMat2D)affine_trans_point_2d(HomMat2D,1572,1770,Qx1,Qy1)*求快递区域面积和中心点位置area_center(Rectangle,Area,Row2,Column2)*坐标的转化affine_trans_point_2d(HomMat2D,Column2,Row2,Qx1,Qy1)tuple_string(Qx1,'-0.1f',String)tuple_string(Qy1,'-0.1f',String1)tuple_add(String+';',String1+';',Sum1)图3.12转换坐标X和Y机械臂移动到刚刚求出来的机器X，机器Y即可，如果有角度需求，直接补偿计算出来常规的工业相机畸变并不是很大，但是标定后会造成累积的边缘误差，导致边缘的器件误差增大，同时机械臂重复定位精度会导致在标定时，移动的点位坐标出现误差，从而也会累积为随机的系统误差，所以现场需要根据实际误差来进行最终调试。3.3 系统的通信方式本课题用PCsocket通信连接ABBABB机器人如何用socket与Halcon相连接，（图3.13）可以看到socket的基本用法，socket的声明、服务端与客户端的建立等等。Socket通讯的流程：(1)原始套接字的一种TCP/IP，需要选项616-1PCInterface(2)先创建服务器端监听，再创建客户端连接服务器端；(3)服务器端与客户端建立端口对端口连接以后，就可以互相收发数据；注意事项：(1)无字符串终止符，而不是回车换行符/r/n(2)消息的意外合并，注意发送数据留有间隙，或增加握手互传信号(3)不可打印字符，即ASCII码的特殊字符，如回车换行符为“\0D\0A”图3.13Socket通讯的流程送接收，这种方式有80个字符的限制，在本课题足够。在这里，我程序设置HALCON作为通讯的服务端，机械手臂示教器那边作为通讯的客户端。（图HALCON创建如下代码：Protocol:='TCP4'Timeout:=120open_socket_connect('',4660,'protocol','TCP4',Socket1)在机器人端创建如下代码：PROCmain1(robtargetptmp;stringsendstring;SocketClosesocket1;SocketCreatesocket1;SocketConnectsocket1,"",4660\Time:=WAITMAX;SocketSendsocket1\str:="HelloHalcon"+""+CTime();SocketReceivesocket1\Str;=receivedstringMAX:TPWrite"serverwrote-"+receivedstring;Socketsendsocket1\str:="End";SocketReceivesocket1Str;=receivedstringMAXTPWrite"serverwrote-"+receivedstring;receivedstring:="End"ERRORSocketclosesocket1;先运行HALCON的client程序,HALCON会先接受机器人发来的HelloHalcon，再将接受到的数据发送回机器人（图3.14）。图3.14Halcon通讯成功图3.15示教器通讯成功PAGEPAGE253.4 快递的定位转换首先是使用对图像进行预处理，求灰度图，再通过中值滤波与高值滤波。灰度转换通过相机获取到RGBRGB0~255的数值来表示像素的透明度，像素点在灰度值对应的值是是255，表示像素完全显示。[11]此算子rgb1_to_gray()转换的公式：（式3.1）式中：R、G、B-红色值、绿色值、蓝色值；Y-亮度大小用中值滤波与高值滤波，中值滤波对脉冲噪声有良好的滤除作用，特别是在滤除噪声的同时，能够保护信号的边缘，使之不被模糊，这些优良特性是线性滤波方法所不具有的，中值滤波的算法比较简单，也易于用硬件实现，中值滤波方法一经提出后，便在数字信号处理领得到重要的应用。[12]中值滤波方法：对一个数字信号序列xj(-∞<j<∞)进行滤波处理时，首先要定义一个长度为奇数的Lx(i)，…，x(i+N)，其中x(i)为位于窗口中心的信号样本值，对这L个信号样本值按从小到大的顺序排列后，其中值，在i处的样值，便定义为中值滤波的输出值，写为y(i)=Med[x(i-N),,x(i),,x(i+N)]，中值滤波是在“最小绝对误差”准则下的最优滤波，对此本课题中用到中值滤波滤除脉冲噪声，使它不被模糊之后用高斯滤波再处理一下，使之变得平滑，消除高斯噪声，可以简单地理解为，高斯滤波去噪就是对整幅图像像素值进行加权平均，针对每一个像素点的值，都由其本身值和邻域内的其他像素值经过加权平均后得到。[10]高斯滤波的具体操作是：用一个用户指定的模板（或称卷积、掩膜）去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。[10]一维高斯分布：（式3.2）二维高斯分布：（式3.3）阈值分割，经过动态修正的灰度图显示出图像的整体内容，为得到只含有快递盒信息的图像，需要将上一步处理好的图像进行二值化阈值分割，灰度图像中像素点阈值的不同是阈值分割的条件，将图像表示为特性的区域，区域由离散平面的像素子集组成[13]，定义为：（式3.4）在区域内含有某一特定的感兴趣区域，即条形码区域，定义为感兴趣区域是数据集的子集[13]：（式3.5） （式3.6）式中：XR-特征区域集合r-最小灰度值c-最大灰度值R-区域。的灰度值要满足：MinGary≤g≤MaxGary （式3.7）式中：MinGary-最小灰度值，MaxGary-最大的灰度值，g-区域的灰度值（图3.16）。[13]图3.16灰度值采集在Halcon中，灰度直方图中显示了图像中每一个像素的灰度值，最终汇总获得像素数。灰度直方图的横坐标取值范围在0~255（图3.17），纵坐标取值取决于图像灰度。图3.17灰度直方图在全图中灰度值为qi以上的像素数为A(qi)，灰度值为 以上的像素数为，灰度值qi的像素表示为[12]：（式3.8）其中全图灰度值为 以上的像素数为 ，灰度值为 以上的像素数为。对离散的图像，则表示为：如图所示为阈值的结果，使用的threshold()算子。（图3.18）

（式3.9）图3.18阈值图像再通过连通域操作，用connection算子分开图像。图（3.19）图3.19连通域图像筛选出快递件的面积，使用select_shape算子。图（3.20）图3.20select_shape筛选图像将快递件的区域进行填充，使用fill_up算子。图（3.21）图3.21填充区域算子。图（3.22）图3.22最小外接矩形再通过area_center求快递区域面积和中心点位置，前面九点标定已经处理好，直接使用affine_trans_point_2dvector_to_hom_mat2dxyz坐标发送给ABB机器人。具体转换矩阵程序如下：*求快递区域面积和中心点位置area_center(Rectangle,Area,Row2,Column2)*坐标的转化affine_trans_point_2d(HomMat2D,Column2,Row2,Qx1,Qy1)tuple_string(Qx1,'-0.1f',String)tuple_string(Qy1,'-0.1f',String1)tuple_add(String+';',String1+';',Sum1)*发送已转化快递实际坐标给机器人send_data(Socket1,'z',Sum1,[])PAGEPAGE304 VS2019的WinForm窗体设计4.1 上位机开发功能要求实现socket通讯，将所需要的数据传输给ABB机器人。可拍取快递件并且可以处理好图片知道其大小。实现不同大小快递矩形分拣的操作。软件打开时快递保存的数据保持上次关闭时的状态。保存日志在本地与后台。上位机界面简单，易于理解、操作。提取安装包。4.2 以C#格式导出Halcon程序我们用中的代码并不是我们熟悉的典型代码。要使用我们编写的程序，我们需要将其导出为我们熟悉的格式，例如C、C++或C#。要导出程序，我们可以单击文件控件中的导出图标。这将打开一个窗口，我们可以在其有两个导出选项：使用Halcon窗口或使用导出模板（图4.1）。如果我们选择前者，我们需4.2所示。图4.1选择格式“导出”4.3

图4.2导出的程序接下来我们需要把生成的Halcon程序导入到Windows窗体应用中，打开Studio,创建Windows窗体应用(.NETFramework)，框架选择.NETFramework4。（图4.4）图4.3创建新项目在解决方案资源管理器下面，你创建的项目中找到引用，右击添加引用。（图4.4）图4.4添加引用点击打开的窗口中的浏览按钮添加.dllHALCON的路径下的bindotnet20和dotnet35，可能还有等等，区别在于对应不同的框架，之前我建立的框架是.NETFrameworkdotnet35。然后把里面的halcondotnet.dll添加进来。里面还有halcondotnetxl.dll之类的应用程序扩展文档。我的理解是halcondotnet.dll可以识别普通分辨率的图像，而halcondotnetxl.dll则适用于大分辨率的图像，XL即大一号的意思。这里我使用halcondotnet.dll即可满足需求。（图4.5）图4.5选择添加位置图4.6添加引用窗口添加完成后，在你的引用里面就会多出一个halcondotnet。（图4.7）图4.7引用窗口在工具箱的常规下方右击，单击“选择项”，在窗口.NETFramrwork组件里面找到HWindowControl窗口,并且点击确定。转换工具箱里面就出现相应的控件。（图4.8）图4.8控件窗口把ndoConol控件添加到orm窗口中作为显示窗口并在搜索工具箱中搜索utton控件也添加到Form4.9）图4.9工具箱窗口4.4 Winform界面设计窗体的设计使用“textBox”、“comboBox”、“button”等。窗体界面由手动界面(图4.10)、自动界面(图4.11)组成。图4.10手动界面窗口4.5

图4.11自动界面窗口创建完成窗体后要建立起窗体显示的逻辑，具体逻辑可分为以下几点：(1)点击进入软件。(2)点击图像处理，Halcon则对图像进行处理分析，生成轮廓。(3)点击快递大小识别，便生成快递盒长宽高和体积。(4)点击下一页，切换界面。(5)自动分拣，即可进行自动连接信号，图片处理，发送数据，重复进行循环。(6)快递抓取与分拣，及处理图片，发送信息给机器人。(7)关闭程序，结束运行。显示逻辑根据Halcon算法来进行，主要设计的是界面显示，其中环境配置需要配置好，在相机的设置中需要进行更改，由于现场环境区别，使用相机实际触发拍照图片进行图片替代，可以完美匹配。在vs2019中设置Form1为主程序，窗体打开、关闭后其他窗体是否打开、关闭的逻辑都是在这里执行，在打开一个窗体前，首先要实例化一个窗体对象：Form1F2=newForm1();打开另一个窗口则关闭原先窗口：this.Hide();之后显示新窗口：F2.Show();（图4.12）图4.12显示窗口在C#中，图像的显示界面一般由“hWindowControl”控件完成，添加进控件后调整控件到合适的大小，在需要现实的图像程序下插入对应代码，前者为将处理后的图像完整填充到控件界面中，后者为图像的显示，内部填入需要显示的图像。（图4.12）具体完整代码解释可查看附录。图4.13hWindowControl控件本科毕业论文（设计）专用本科毕业论文（设计）专用5 ABB机器人路径算法设计5.1 ABB机器人工作总体流程机器人首先通过与电脑PC端的算法获取的定位信息，以进行抓取操作。机器人还可根据收到的信号来判断调用对应的分拣程序。开始开始走socket协议跟Halcon通讯等待Halcon信号sockett通讯volume=0Y调用子程序m=0volume=1Y调用子程序m=1volume=2Y调用子程序m=2结束图5.1判断流程图当机器人收到Halcon发送的虚拟信号地址0号地址为1的信号时，机器人会调用0号子程序；类似地，当机器人收到Halcon发送的虚拟信号地址1号地址为1的信号时，机器人会调用1号子程序；当机器人收到Halcon发送的虚拟信号地址2号地址为1的信号时，机器人则会调用2号子程序。5.2 ABB机器人Halcon通讯设置\hsocket通讯或者TCP通讯，并且通过设置交互即可发字符串，数组，这通常做client。IP设定：先点击主菜单“控制面板”再点击“配置”再选择主题Communication。（图5.2）PAGEPAGE38图5.2hWindowControl控件双击IPIPIP地址必须与在Halcon上设置的ABB机器人组态地址相同。图5.3IPSetting控件建立通讯：防止之前的连接为中断先插入Socketclose指令，socket1为新建的Socketdev型程序数据，然后用Socketcreate创建连接，Socketconnect指定服务器的IP地址和端口，如本科毕业论文（设计）专用本科毕业论文（设计）专用创建失败则一直等待，创建成功则向下执行，在下一行做人机交互提醒通讯连接成功。具体程序如下：SocketBindtemp_Socket02,"",6000;SocketListentemp_Socket02;SocketAccepttemp_Socket02,socket1;SocketReceivesocket1\Str:=received_string;TPWrite"Serverwrote-"+received_string;SocketSendsocket1\Str:="OK";DecodeData;r_pick;5.3 ABB机器人离线程序设定主程序如下:当收到Halcon信号时将接受字符串x、y、z、m的信号，运行后直接执行程序，将机械手臂移动到快递盒上方50mm处，吸取并移到合适的轨迹。PROCr_pick()!MoveAbsJjpos10\NoEOffs,v1000,z50,tool0;SingArea\Wrist;!ConfL\On;ppick.trans.x:=x;ppick.trans.Z:=Z;MoveJpickmodify,v1000,z50,tool1;MoveJOffs(ppick,0,0,50),v500,z50,tool1;MoveLOffs(ppick,0,0,0),v500,fine,tool1;Setdo1;0.5;MoveJOffs(ppick,0,0,50),v500,z50,tool1;MoveJpickmodify,v1000,z50,tool1;!Setdo_plc;1;!Resetdo_plc;SingArea\Off;!ConfL\Off;ENDPROC继续执行下一步，如果m置为0就调用0里面程序。同时收到1就调用1，2就调用2，为机器人判断代码语句。子程序0表示为机器人搬运体积大于等于15程序1表示为机器人搬运体积小于1500，高小于等于15的快递盒到指定位置。高小于等于15快递盒。子程序1表示为机器人搬运体积大于等于1500，高大于等于15的快递盒到指定位置。具体程序如下：IFm=0THENPAGEPAGE40MoveJOffs(pplace,0,0,50),v500,z50,tool1;MoveJplacemodify,v500,z50,tool1;MoveLOffs(pplace,0,0,0),v500,fine,tool1;Resetdo1;0.5;MoveJOffs(pplace,0,0,50),v500,z50,tool1;ELSEIFm=1THENMoveJOffs(pplace,300,0,50),v500,z50,tool1;!MoveJplacemodify,v500,z50,tool1;MoveLOffs(pplace,300,0,0),v500,fine,tool1;Resetdo1;0.5;MoveJOffs(pplace,300,0,50),v500,z50,tool1;ELSEIFm=2THENMoveJOffs(pplace,600,0,50),v500,z50,tool1;MoveJOffs(pplace,600,0,50),v500,z50,tool1;!MoveJplacemodify,v500,z50,tool1;MoveLOffs(pplace,600,0,0),v500,fine,tool1;Resetdo1;0.5;MoveJOffs(pplace,600,0,50),v500,z50,tool1;6 工作站联合调试试验6.1 程序调试手动快递分拣试验线及电源线等，也需要确保所有设备已成功上电，并出于正常工作状态。之后用户还需佩戴头盔、反光背心、劳保鞋等安全设备，确保使用过程中的人身安全。Studio2019（3）相机开始运作，通过硬触发拍取快递图片。（4）之后点击图像处理，Halcon则对图像进行处理分析，生成轮廓。（5）再点击快递大小识别，便在下方会生成快递盒长宽高和体积。ABB机器人程序切换为自动模式等待Halcon的信号，最后可以点击快递抓取与分拣，及机械手臂进行抓取分拣。自动快递分拣试验分拣（1）先将ABB机器人程序转化为自动模式等待通讯的连接信号。（2）启动Studio2019程序，登入软件，点击下一页。（3）点击自动分拣，即可进行自动分拣，重复进行循环发送。（4）收到信号机器人便开始分拣，成功之后可以重复进行3次试验，再点击结束。6.2 软件打包发布在主机上完成软件调试后，下一步是将其打包并发布到安装程序中，以便其他计算机可以像任何其他常规程序一样轻松安装和使用它，本章将介绍如何在Studio2022中使用MicrosoftStudioInstallerProject创建和打包Halcon程序的安装程序，包括将.NetFramework离线打包，以及解决生成安装程序时遇到的问题。首先安装StudioInstallerProject，在Studio2022中，可以通过选择菜单中的Studio来搜索和安装StudioInstallerProject。（图6.1）本科毕业论文（设计）专用本科毕业论文（设计）专用图6.1SetupProject扩展再新建SetupProject，在解决方案里面的资源管理器中，解决方案里面有（图6.2），选择“新增项目”，在“项目类型”中选择“其他项目类型”>“安装程序”>“SetupProject”并命名项目（图6.3）。图6.2SetupProject安装图6.3扩展确定之后将.NetFramework打包安装（离线），右键单击SetupProject，选择“属性”>“先决条件”，在“必备项”中选择需要的.NetFramework版本。（图6.4）对于需要离线打包的.NetFramework版本（图6.5），需要在本地计算机上下载对应的目标包和语言包，然后将它们放置对应的路径中的相应文件夹中。（图6.6）图6.4启动条件图6.5选择NetFramework版本本科毕业论文（设计）专用本科毕业论文（设计）专用图6.6属性版本选项如果项目中需要使用.NetFramework4.0，可以将对应的目标包下载放置到“C:\ProgramFiles(x86)\MicrosoftSDKs\ClickOnceBootstrapper\Packages”路径中，然后在“必备项”中选择它，就可以在项目必备中看到.NetFramework4.0。以上步骤是使用Studio创建和打包可以看到导出软件的界面。（图6.8）图6.7快递分拣系统设计图6.8快递分拣系统界面图6.9快递分拣系统界面本科毕业论文（设计）专用本科毕业论文（设计）专用7 结 语在本论文中，我们设计并实现了使用机器人视觉技术的快递分拣系统。该系统的研发，我们取得了以下成果：首先，我们为基于机器人视觉的快递分拣设计并构建了完整的硬件和软件系统，包括设备的选择和集成，算法的设计和优化，以及用户界面的开发。其次，我们提出并实现了一种基于HALCON快递包裹的深度信息，并为机器人抓取和分拣包裹提供精确的坐标。我们成功地将HALCON算法与ABB机器人控制系统集成，并进行了实验，验证了系统的准确性和可靠性。虽然这项研究取得了成功，但仍有其他问题需要解决。例如，目前的系统主要侧重于快递分拣，而不考虑包裹重量、连包快递、易碎性或特殊处理要求等其他因素。此外，该系统还不适合大规模应用，需要进一步优化和改进，以增强其可扩展性和鲁棒性。未来，我们计划在以下方向继续研究：首先，我们将探索将额外的传感器和模块集成到系统中，例如重量传感器、条形码阅读器和机械手，以实现更智能和自动化的快递分拣。最后，感谢导师教授在整个研究项目中的指导，鼓励和支持。还要感谢智能制造研究院为我提供了优质的研究环境和丰富的学术资源。我希望本文中提出的结果和见解能PAGEPAGE47参考文献[1]陈美玲,朱温涵,刘佳成,郑阳.基于机器视觉的垃圾分拣系统设计[J].现代信息科技,2023,7(04):18-21+28.[2]\h新型交叉带分拣系统的设计与研究[D].马继成.\h安徽理工大学,2020.[3]\h分拣机器人无线电能传输系统拓扑结构的研究[D].杨行.\h河北工业大学,2020.[4]韦志文.基于机器视觉的分拣机器人设计与研究[D].安徽理工大学,2022.[5]王成军,韦志文,严晨.基于机器视觉技术的分拣机器人研究综述[J].科学技术与工程,2022,22(03):893-902.[6]代瑞恒.基于视觉的电子元器件分拣机器人关键技术研究[D].山东理工大学,2021.[7]韦志文.基于机器视觉的分拣机器人设计与研究[D].安徽理工大学,2022.[8]陈艺海,黎莲花,谢昊璋,卢思琪,董晋瑜.基于机器视觉的垃圾分拣机器人[J].仪器仪表与分析监测,2022(01):30-35.[9]刘新颖,金守峰,严楠.面向分拣机器人的珍珠形状视觉检测方法[J].计算机测量与控制,2022,30(02):79-83.[10]王成军,韦志文,严晨.基于机器视觉技术的分拣机器人研究综述[J].科学技术与工程,2022,22(03):893-902.[11]魏哲,王盼.面向珍珠分拣机器人的形状视觉检测方法[J].机械与电子,2021,39(08):68-71+76.[12]刘星余.面向物流仓储分拣机器人的多目标视觉识别与定位方法研究[J].粘接,2021,47(07):109-112.[13]宋宇.基于深度学习的发动机缸盖分拣机器人视觉检测方法研究[D].湘潭大学,2021.[14]姚涛.基于机器视觉和并联机器人的纽扣电池分拣系统[D].广东工业大学,2021.[15]代瑞恒.基于视觉的电子元器件分拣机器人关键技术研究[D].山东理工大学,2021.[16]陈苗苗.面向金属废料的机器人视觉分拣技术研究[D].南京航空航天大学,2021.[17]李健凯.基于深度学习的视觉机器人垃圾分拣系统设计[D].天津工业大学,2021.[18]储琴.基于机器视觉的工业机器人分拣控制系统探究[J].电子制作,2021(04):41-43.[19]CongVisualservoingcontrolof4-DOFpalletizingroboticarmforvisionbasedsortingrobotsystem[J].InternationalJournalonInteractiveDesignandManufacturing(IJIDeM),2022,17(2).[20]GuoZiChen,WangKaiLong,LuFang.SortingrobotbasedonfuzzyPIDandmachinevision[P].ZhengzhouUniv.(China),2022.[21]HanSong,LiuXiaoping,WangGang.SortingMethodBasedonMulti-ModalInformationFusion[J].AppliedSciences,2022,12(6).本科毕业论文（设计）专用本科毕业论文（设计）专用致 谢衷心感谢我在武昌工学院智能制造学院的论文导师，感谢他在整个学术历程感谢他的耐心和奉献精神，帮助我克服挑战，并提供建设性的反馈，帮助我改进论文。运用我所获得的知识和技能在我的领域产生积极影响。附 录附录一：Halcon机器视觉算法设计及说明图像处理、相机标定、socket通讯、坐标转换的Halco