智能行为识别系统在生产制造环节的应用

随着工业智能化数字化进程的不断推进，制造业的智能化需求已经不仅仅是生产线的智能化，对生产过程中生产线人员行为的智能化管理，也是制造业智能化进程中重要的环节。虽然让数字化智能化设备赋能传统生产线，可以实现一定程度上的机器换人，但在很多关键生产环节，生产线人员是不能被机器所替代的。人的因素影响生产质量和产品良品率在制造业中占比较大，因此，生产线管理中，生产线一线工作人员操作行为管理是制造企业生产管理过程中重难点。而目前工业市场环境下关于监控人员操作步骤是否遗漏的技术仍处于发展阶段，其中监控的场景包括工作人员是否漏装部件、漏打螺钉、遗漏通电测试、遗漏性能检测、遗漏附件等。针对人员操作步骤的行为防错技术也依然存在技术困扰，如无法单纯通过视觉拍照实现精准检测、操作步骤监控困难、监控数据无溯源、企业管理困难等。以视觉检测技术为例，通过视觉检测采集数据的方式可分为图像处理和视频图像处理，图像处理技术发展成熟，但单帧图像的目标会因为形状大小奇异和部分遮挡等现象无法达到检测的准确度，而视频图像在时序上具有上下文一致性特征，可以根据临近的高质量图像判别目标类别和位置，提高检测质量，同时可以解决视频中连续帧之间的大量冗余的情况，提高检测速度。因此，将视频目标检测技术应用于复杂的制造领域是最佳的选择。海研科技自研的智能行为识别系统是基于AI视觉的视频目标检测技术，不仅能监测产线工作人员操作异常，还能监测产线异常、设备异常、物流输送异常。01方案功能海研科技智能行为识别系统通过检测人体关键部位骨骼点与关键动作目标点，采集人员、设备的运动轨迹并进行数据统计分析，识别员工拿取动作、运动轨迹、插装位置、动作顺序，实现漏放、漏拿、漏打的检测，达到防错目的。02方案设计1方案总布局以产品附件防漏行为识别为例，方案配置视觉检测相机、工控机、报警指示灯、报警器控制按钮。Part.1视觉检测相机在工位的顶部安装视觉检测摄像机，垂直照摄工位上所有物料料框。Part.2工控机用来运行业务管理系统，根据现场操作，来控制报警指示灯，接收报警器按钮信号。Part.3报警指示灯当配料周期的起始物料框识别到抓取事件后开始识别，直至结束位置的物料框抓取结束此配料周期结束，若检测到漏料事件发生则红灯预警。Part.4报警器控制按钮当状态指示红灯预警后，操作人员检测配料并确认无误后，可通过此按钮解除报警。2工艺流程03方案亮点1技术亮点1.

算法精准度高利用先沿的神经网络建模推理，类比脑神经系统及脑认知原理精准分析，将人体关键部位骨骼点与关键动作目标点相结合进行深度逻辑判定。2.

系统兼容性强在高计算能力的GPU上实时监测及采集员工所做动作是否合规。3.

支持边端云架构云边协同收集存储、分析数据便于产品追溯，端边协同算法训练，便于远程软件迭代。2方案优势1.

方案部署方案部署灵活，安装调试周期短，区域限制影响极小，可根据现场环境灵活选择合适的相机安装高度和角度，以获取操作员工连接动作区域的图像。2.

软件设计软件系统人机界面交互良好，操作流程简单易上手，降低工作人员学习成本。3.

行业地位制造行业首创针对产线工作人员的操作行为防错识别技术，广泛适用于各个复杂的制造行业场景。目前行为识别系统方案已成功应用于百余家家