《智能制造系统感知分析与决策 》 课件 第2章 制造系统感知技术

第2章制造系统感知技术CONTENTS制造系统及其感知技术概述传感器与机器视觉设备及物料感知环境感知人员感知目录01PARTONE制造系统及其感知方式概述制造系统及其感知方式概述制造模式与感知概述智能制造自20世纪80年代提出，已经演进为包括柔性制造、网络协同、全生命周期追溯和个性化定制等多样化制造模式。这些模式利用物联网技术实现数据互通，通过信息物理系统融合物理与信息层面，结合大数据分析和人工智能优化决策过程，构建了从数据采集到科学决策的完整闭环。机器感知系统，作为智能制造的核心，通过传感器和控制装置捕获生产信息，实现实时监控和自动调整生产参数，提升效率与品质。物联网技术的进步使得机器感知在智能制造中的作用日益凸显，不断推动生产向智能化和高效率转型。

制造系统及其感知方式概述制造过程及其感知对象0504020301在制造系统中，涉及的制造要素众多，其中需主动采集数据信息的机器感知对象主要包括以下几类：1.在制品感知：车间中的在制品状态随工序变化而变化，主动采集其数据信息有助于管理层掌握生产进度并为生产追溯提供依据，对提高生产效率和透明度至关重要。2.物料标识与管理：物料的自动感知通过标签技术实现，确保物料的正确使用和追溯，防止物料混淆，提高物料管理的准确性和效率。3.工具与工装定位：工具和工装的标识和定位减少工人寻找时间，提高生产准备效率，读写器感知标签信息，便于快速获取和归还，优化生产流程。4.人员身份与权限管理：通过工人佩戴的标签实现无纸化和自动化管理，记录工序负责人，实现工序的电子“签字”，并通过标签分配权限，监控工人分布，增强生产现场的管理能力。制造系统及其感知方式概述制造过程及其感知需求制造车间环境的复杂性带来管理上的挑战，传统管理方式存在实时性差、数据获取能力弱、人员主观性强等问题，这些问题降低了生产能力和经济效益，难以满足高效化和透明化的需求。制造过程的机器感知通过以下方面提升管理效率和决策质量：1.生产要素信息采集：利用标签技术实时采集生产要素的静态和动态信息，确保数据的实时性和准确性，完善生产数据管理。2.生产要素区域定位：通过读写器感知标签，生成包含编码和时间的感知记录，实现生产要素的区域定位，减少搜索时间和成本，提升效率。3.制造过程实时监控：部署设备采集关键数据，为管理人员提供实时生产情况，以便及时调整计划和资源分配。

制造系统及其感知方式概述制造过程及其感知需求5.数据处理与信息推送：对大量采集数据进行预处理，消除冗余和错误，提高数据价值。使用复杂事件处理技术从标签读取事件中推理出高语义层级事件，并将信息推送给管理人员，支持科学判断和决策。智能制造系统强调物理系统与虚拟系统间的数据交互和感知，通过机器视觉、设备、物料、环境和人员感知等技术，进一步提升生产效率和产品质量。4.制造过程追溯：利用感知记录快速查询产品加工信息，确定问题原因，提出改进策略，提升产品良品率，发现生产瓶颈，优化设备部署。02PARTTWO传感器与机器视觉传感器与机器视觉现代信息技术发展到今天，传感器的重要性越来越高，物联网、人工智能、数字孪生、智能制造以及元宇宙等，都离不开传感器。从智能手机到智能语音设备，从能源平台到工业设备，传感器自然而然地“化身”为人类连接机器、人类自身，以及自然环境的外延器官，它帮助人类将曾经不可知、难判断的信息变成易获取、更精准的数据。在传感器的下游往往需要机器视觉的相关技术进行支撑，目的在于提供信息以支持生产制造过程，虽然场景较为固定简单，但要求较高的精度与准确率。简而言之，机器视觉就是用机器代替人眼完成测量和判断任务。通过机器视觉产品将摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。传感器与机器视觉传感器传感器就是能感受规定的被测量并能按一定规律将这些信息转换成可用信号的器件或装置。一般由敏感元件和转换元件组成。感知的对象包括温度、湿度、电流、转速、转矩等诸多物理量，物联网底层不单单只有传感器，还有相应的执行器与控制单元。其中，IEEE1415传感器接口规范为智能传感器的接口做了进一步的规范，这样在很大程度上就可以避免当前工业总线不一致的问题，同时也增加量传感器的易用性与降低了集成开发的难度。传感器与机器视觉传感器的分类位移传感器，也称为线性传感器，主要用于测量实物尺寸和机械位移。它们分为模拟式和数字式，其中模拟式进一步分为物性型和结构型。模拟式结构型位移传感器，如电位器式、电感式、电容式、电涡流式和霍尔式，它们通过物理量变化转换为电阻或电压输出，反映位移量值和方向。数字式位移传感器便于与计算机系统直接连接，应用日益广泛。常见的传感器按被测量分类，传感器包括位移传感器、温度传感器、速度传感器、湿度传感器等。传感器与机器视觉传感器的分类温度传感器用于将温度变化转换为可用信号，分为接触式和非接触式。非接触式温度传感器在工业制造中较为常见，基于黑体辐射定律，通过辐射测温仪表进行温度测量，包括亮度法、辐射法和比色法，实现无需接触被测物体的温度监测。智能传感器作为高新技术的快速发展产物，其发展主要体现在微型化、智能化和高性能化三个方向。智能化不仅涉及基本的测量功能，还包括数据处理、自诊断、自补偿和双向通信等高级功能，这些功能显著提升了传感器的性能和可靠性。高性能化则指智能传感器能够自我分析和调整，抵抗外部电磁干扰，并通过数字滤波和人工神经网络技术提高信噪比和分辨力。智能传感器功能强大，能自动化校零、标定、校正，有效采集、存储、记忆和预处理数据。其具备自动化检测、故障定位、决策处理和逻辑判断功能，还有标准化数字输出和双向通信功能。智能传感器示例传感器与机器视觉机器视觉机器视觉利用非接触感应设备获取并解析图像信息，以控制机器或流程。其分为“视”和“觉”两部分。“视”通过硬件如光源、相机等将外界信息转化为数字信号；“觉”则是计算机处理这些信号的软件算法。机器视觉系统主要有照明电源、镜头、相机、图像采集/处理卡、图像处理系统、其他外部设备等组成，如图所示：机器视觉系统结构示意机器视觉技术在工业应用中包括检验、计量、测量等，例如：汽车焊装生产线，检查车门和前后盖涂胶是否连续、高度达标；啤酒罐装生产线，检查瓶盖密封和液位。机器视觉检验比人工更快更准确。传感器与机器视觉智能自动识别技术自动识别技术是一种计算机技术与自动化技术相互融合的产物，主要能实现以下几大功能：数据编码、数据采集与标识、数据管理与传输等，包含射频识别技术(RFID)、条码识别技术、语音识别技术、图像识别技术、磁识别技术以及光学字符识别(OCR)等技术。对于上述识别技术，每种技术既有自己的优势同时也存在自身局限，因此针对不同的应用场合及用途，往往需要将上述几种技术联合起来使用来满足应用需求，如RFID跟条码识别技术、图像处理技术与语音识别技术。传感器与机器视觉图像识别技术图像识别技术通过计算机分析摄像机采集的图像，识别不同目标与对象。过程涉及预处理、特征点提取和匹配。图像预处理将原始图像转化为数字图像，包括采集、增强、复原、编解码和分割。特征点提取采用阈值分割等算法，匹配则可用模板匹配模型。该技术广泛应用于货物检测、视觉导引、卫星遥感、交通管理等领域，常见技术有人脸识别、指纹识别和文字识别，持续突破与发展中。传感器与机器视觉二维码识别技术二维码识别技术在自动识别技术领域里面属于当前应用较为重要而广泛的技术。它是利用图像识别技术对二维码实现灰度化、二值化、校正并最终解码的技术。它具有低成本、高密度存储、超高速读取、较强纠错能力等特点，识别完成后，通过接口电路向计算机发出中断信号并进入中断服务程序，最终将二维码数据信息显示在计算机，从而完成二维码的识别过程。传感器与机器视觉射频识别(RFID)技术智能物料输送系统主要依赖RFID和条形码技术采集生产数据。RFID技术通过读卡器与电子标签电磁耦合实现信息采集，近年发展迅速。-美国：在消费与自动化生产领域广泛应用RFID，技术领先。-欧洲：厂商如Philips、STMicroelectronics推广RFID，应用于交通、仓储、金融等领域。-日本：2004年全面推行RFID，应用于音乐、书籍、消费电子等多个领域。国内RFID技术现状-初步应用，中低频技术有优势，高频技术待突破。-主要应用于物流、公共交通、身份识别等领域。-技术发展不平衡，市场前景广阔，需突破关键技术以达到国际水准。传感器与机器视觉计算机视觉相关算法计算机视觉任务涉及：1.图像分类：区分不同类别目标的图像处理方法。2.物体检测：检测图像中的物体及其位置，用矩形框标识。3.语义分割：在语义上理解图像像素，判断哪些像素属于哪个目标。4.目标跟踪：利用视频或图像序列信息，对目标外观和运动建模，预测并标定目标位置。图像预处理指在最低抽象层次的图像上操作，输入输出为亮度图像，以亮度值矩阵表示。旨在改善图像数据，抑制变形，增强重要特征。相关算法包括像素亮度变换、空间几何变换、图像平滑、边缘检测等。传感器与机器视觉像素亮度变换像素亮度变换可以修改像素的亮度。其方法主要可以分为两类：（1）亮度矫正。修改像素的亮度时，需要考虑改像素原来的亮度及其在图中的位置。（2）灰度级变换。无需考虑像素在图中的位置。亮度变换示例2传感器与机器视觉像素亮度变换亮度矫正，理想假设下，图像获取和数字化设备的灵敏度不应该与图像位置有关，但在很多实际情况下是不成立的。例如，传感器光敏元件不具有均衡一致的灵敏度、不均匀的物体照明等原因可能使得亮度与位置有关。退化的图像可以表示为𝑓(𝑖,𝑗)=𝑒(𝑖,𝑗)𝑔(𝑖,𝑗)，其中𝑒(𝑖,𝑗)代表错误系数，𝑔(𝑖,𝑗)代表没有退化的图像。则矫正方法为下式𝑔(𝑖,𝑗)=𝑓(𝑖,𝑗)𝑒(𝑖,𝑗)(2-1)灰度级变换不依赖于像素在图像中的位置。一个变换𝑠=𝑓(𝑟)可以将原来在范围[𝑟0,𝑟𝑘]内的亮度r转换为范围[𝑠0,𝑠𝑘]的亮度s。可以分为线性变换、对数变换、幂律变换、直方图均衡化四种方法。传感器与机器视觉像素亮度变换线性变换假设r是变换前的灰度，s是变换后的灰度，则线性变换函数为𝑠=𝑎∗𝑟+𝑏，当a与b取值不同时的效果如下：a>1，增加图像对比度；0<a<1，减小图像对比度；a=1且b≠0，图像整体变亮或变暗；a<0且b=0，图像亮区域变暗，暗区域变亮；a=-1且b=255，图像反转，获得负片。负片可以较好增强图像暗区域的白色或灰色细节。反片示例传感器与机器视觉像素亮度变换对数变换的通用公式为𝑠=c∗𝑙𝑜𝑔(1+𝑟)，其中c是一个常数，假设r≥0，原图像中范围较窄的低灰度值映射到范围较宽的灰度区间；灰度较宽的高灰度值区间映射为较窄的灰度区间。对数变换扩展了暗像素值并压缩了高灰度值，能增强图像中的低灰度细节。对数变换示例传感器与机器视觉几何变换几何变换是一个矢量函数T，将一个图像f(x0，y0)经过几何变换产生目标图像g(x1，y1)，则该空间变换（映射）关系为几何变换可以消除图像获取时出现的几何变形，它不改变像素值大小，值是在图像平面上进行像素的重新安排。一个几何变换需要两部分运算：空间变换（如平移、旋转、镜像），以及亮度插值算法。最近邻插值是最简单且最快的插值方法，即赋予点(x，y)以在离散光栅中离它最近的点g的亮度数值。双三次插值是二维空间中最常用的插值方法，插值点(x，y)的像素灰度值通过矩形网格中最近的16个采样点的加权平均得到，传感器与机器视觉几何变换各采样点的权重由该点到待求插值点的距离确定。最近邻插值的优点在于计算量很小，算法简单，运算速度较快；而缺点则是灰度值有明显的不连续性，图像质量损失较大，会产生明显的马赛克和锯齿现象。双线性插值的优点在于图像质量较高，基本克服了最近邻插值灰度不连续的特点；缺点在于计算量稍大，程序运行时间稍长，缩放后图像的高频分量受到损失，图像边缘在一定程度上变得较为模糊。双三次插值的优点在于能产生比双线性插值更为平滑的边缘，计算精度很高，处理后的图像像质损失最少，效果最佳；缺点则是计算量最大，算法最复杂。传感器与机器视觉图像平滑局部预处理是指，图片的像素由其附近一小片区域的像素值来获得的。根据处理的目的，可以将局部预处理方法分为两组：平滑，目的是抑制噪声或其他小的波动，等同于在傅里叶变换中抑制高频部分；梯度算子，基于图像的局部导数。导数在图像函数快速变化的位置处较大，梯度算子的目的是在图像中显现这些位置。可能会提升噪声水平。传感器与机器视觉在图像上，对待处理的像素给定一个模板，该模板包括了其周围的邻近像素。将模板中的全体像素的均值来替代原来的像素值的方法。滤波器所选取的窗口宽度越宽，图片越模糊。均值滤波器的缺点是会使图像变模糊，原因是它对所有的点都是同等对待，在分摊噪声时，将边界点也分摊了。为了改善效果，可采用加权平均的方式来构造滤波器。均值滤波器示例图像平滑传感器与机器视觉中值滤波器某些噪声（如椒盐噪声）的像素点比周围的像素亮（暗）许多。如果在某个模板中，对像素进行由小到大的排列，最亮或者最暗的点（噪声）会被排在两侧。取模板中排在中间位置上的像素的灰度值替代待处理像素的值，就可以达到滤除噪声的目的。K近邻平滑滤波器在图像上的景物之所以可以辨认清楚是因为目标物之间存在边界，边界点与噪声点有一个共同的特点是，都具有灰度的跃变特性。经过平滑滤波处理之后，图像就会变得模糊。因此在进行平滑处理时，首先判别当前像素是否为边界上的点；如果是，则不进行平滑处理；如果不是，则进行平滑处理。图像平滑传感器与机器视觉边缘检测边缘是指图像中灰度发生急剧变化的区域。图像灰度的变化可以用图像的梯度反映。边缘检测则是求连续图像f(x，y)梯度的局部最大值和方向。最简单的梯度计算方法可近似为：𝑓(𝑥)=𝑓(𝑖,𝑗)−𝑓(𝑖+1,𝑗)

𝑓(𝑦)=𝑓(𝑖,𝑗)−𝑓(𝑖,𝑗+1)

另一种方法则是用梯度算子来检测边缘传感器与机器视觉边缘检测给定图像f(m，n)在两个正交方向H1和H2上的梯度φ1(m,n)和φ2(m,n)如下：

那么边缘强度和方向则是：传感器与机器视觉卷积神经网络目前，卷积神经网络（CNN）在语音分析和图像识别领域备受关注，它成功训练多层神经网络，对多维信号输入具有优势。CNN已广泛应用于语音识别、图像识别等大规模机器学习问题。CNN是专为处理二维数据设计的多层神经网络，每层由多个二维平面组成，平面内神经元独立，相邻层神经元连接。CNN采用权值共享结构，类似生物神经网络，可调整网络深度和广度，对自然图像有强假设。与全连接网络相比，CNN具有更少的连接数和权值参数，更易于训练。传感器与机器视觉卷积神经网络基于卷积神经网络的图像识别一个简单CNN模型由两个卷积层（C1，C2）和两个子采样层（S1，S2）组成。原始图像通过卷积运算在C1层产生特征映射图，S1层进行加权平均和激活得到新特征映射图。随后，这些映射图与C2层滤波器卷积，并通过S2层输出。最终，S2层输出向量化后输入到传统神经网络训练。传感器与机器视觉卷积神经网络卷积神经网络模型结构示例卷积神经网络的基本结构大致包括：卷积层、激活函数、池化层、全连接层、输出层等。传感器与机器视觉卷积神经网络图像分类问题将图像划归为若干个类别中的某一种，主要强调对图像整体的语义进行判定。AlexNet首次将深度学习应用于大规模图像分类，它是一个８层的卷积神经网络，前５层是卷积层，后３层为全连接层，其中最后一层采用softmax进行分类。该模型采用Rectifiedlinearunits（ReLU）来取代传统的Sigmoid和tanh函数作为神经元的非线性激活函数，并提出了Dropout方法来减轻过拟合问题。Alexnet网络结构传感器与机器视觉卷积神经网络1）输入层：AlexNet首先使用大小为224×224×3图像作为输入（后改为227×227×3）。2）第一层（卷积层）：包含96个大小为11×11的卷积核，卷积步长为4，因此第一层输出大小为55×55×96；然后构建一个核大小为3×3、步长为2的最大池化层进行数据降采样，进而输出大小为27×27×96。3）第二层（卷积层）：包含256个大小为5×5卷积核，卷积步长为1，同时利用padding保证输出尺寸不变，因此该层输出大小为27×27×256；然后再次通过核大小为3×3、步长为2的最大池化层进行数据降采样，进而输出大小为13×13×256。传感器与机器视觉卷积神经网络4）第三层与第四层（卷积层）：均为卷积核大小为3×3、步长为1的same卷积，共包含384个卷积核，因此两层的输出大小为13×13×384。5）第五层（卷积层）：同样为卷积核大小为3×3、步长为1的same卷积，但包含256个卷积核，进而输出大小为13×13×256;在数据进入全连接层之前再次通过一个核大小为3×3、步长为2的最大池化层进行数据降采样，数据大小降为6×6×256，并将数据扁平化处理展开为9216个单元。6）第六层、第七层和第八层（全连接层）：全连接加上Softmax分类器输出1000类的分类结果，有将近6千万个参数。传感器与机器视觉卷积神经网络卷积神经网络与残差学习随着卷积神经网络层数的增加，训练难度提高，导致准确率饱和或下降。团队发现，当网络最优时，某些层输入输出一致。因此，提出深层残差网络ResNet，运用残差表示，采用Shortcutconnection确保准确率随层数增加而提高。物体检测与深度学习模型物体检测比图像分类更复杂，涉及多物体定位和识别。RossGirshick等将CNN用于物体检测，提出R-CNN模型。R-CNN使用Selectivesearch提出候选区域，输入CNN提取特征，然后分类。R-CNN还训练线性回归模型修正坐标。FastR-CNN改进最后一个池化层，提出RoIpooling层，允许整张图像和候选区域坐标一起输入CNN，减少计算量。此外，FastR-CNN修改CNN的softmax层为两个并列全连接层，用于分类和坐标修正，设计多任务损失函数训练。传感器与机器视觉03PARTTHREE设备及物料感知设备及物料感知制造资源感知制造资源主要指工装夹具、加工设备等。对这些制造资源实时进行信息采集、数据传输、数据分析等，可以使管理人员实时掌握制造资源状态，当有异常情况发生时，可以对生产及时调整。也可以通过对生产设备数据的分析，达到最优化配置。具体而言，在整个制造过程中涉及的制造资源按其作用及主被动关系分为以下四种：1.工件（或物料），主要包括原材料、零部件、半成品和成品等，它是制造过程中的被加工对象。2.加工设备，主要包括各种机床、加工中心等。3.搬运设备，主要包括各种托盘搬运车、叉车及自动引导车、机械手臂等，用于对物料、产品、零件等的运输。4.存储设备，通常用于原材料及产品的存放，也可表示为制造过程中的暂存区或缓冲区等。设备及物料感知制造资源感知四类制造资源在一定加工工艺和制造环境的作用下进行加工、搬运以及存储等活动。加工设备：加工设备是制造系统的核心，包括机床、加工中心等，需上下料机器人等辅助装置。为避免搬运设备等待，配置输入、输出缓冲区。加工设备在工作时可能发生故障，需停机维修。搬运设备：搬运设备在制造系统中负责工件的移动，如托盘搬运车、叉车等。其活动包括工件搬运到缓冲区、工位间搬运、不合格品处理、成品搬运及复位等。存储设备：存储设备是制造系统中暂存工件或成品的容器或空间，分为可用和已用两种状态。主要活动包括工件放入和取出。制造资源感知和过程控制系统：该系统位于计划管理层和车间控制层之间，实现信息双向交互。接收生产计划，细化后下达生产指令。通过物联网感知资源信息，指导设备操作，并实时更新相关信息至数据库，反馈至计划管理层。设备及物料感知制造资源感知在制造资源感知和过程控制系统中，感知和控制的内容主要包括生产计划执行状态、可视化的资源感知和制造过程控制等。1.生产计划执行状态：实时的感知并更新作业计划的执行状态，包括批次信息、计划生产数量、已完成数量等，当市场环境发生变化时，可对正在执行的作业计划进行实时变更，以实现对作业计划状态的控制。2.可视化的资源感知和制造过程控制：实时感知获取设备运行状态和工件批次、编号、质量信息等，并解析出工件的模型，实时显示工件的状态，同时通过解析出的工件ID、工艺编号、质量等相关信息指导设备对工件进行对应的操作。设备及物料感知制造资源感知接入实例制造资源感知接入概述制造资源感知接入涉及多种工业现场异构物理设备，如机械、电气、表面工程装备、机器人等。其过程包括现场数据获取、初步处理，与云平台协同实现价值挖掘，应用于监控、故障诊断、工艺优化等，旨在提高效率、降低损耗。制造资源感知接入基本框架设备及物料感知制造资源感知接入实例特点与难点主要特点与难点在于互联互通、互操作和高可靠安全。通过设计边缘智能网关支持多种通信协议，构建资源接入信息模型，实现互操作。从硬件与软件层面考虑可靠性与安全性。设备资源接入模型设计结合应用场景，设计设备资源接入模型，提供全面数据和有效语义，支持后续数据分析与应用。模型包括对象、变量、方法和视图，复杂度由设备决定。通信协议与安全防护为支持各类工业智能应用，需多种通信协议支持和安全防护技术。包括现场总线、硬件端口、无线通信、网络通信协议支持，以及防火墙、身份认证等安全防护措施。设备及物料感知物料状态信息感知在生产过程中，物料是制造的基础。对车间内物料信息进行感知分析，实现物料来源、去向、库存等的透明化，可以有效避免因材料不足引起的生产延误。在制造过程中，物料大多由专门的系统进行管理，称为物料输送管理系统。近年来，先进的物料输送系统在我国得到了广泛的应用。但无论是技术水平还是应用程度，与国外的先进技术相比，我国物料输送系统的发展，还不能满足现阶段物流的要求，不足之处主要体现在以下几个方面：1）我国处于物料输送系统发展的初级阶段，缺少行业标准，导致各种物料输送设备标准不统一，导致设备之间无法顺畅的感知互联；2）企业缺乏对底层设备的关键数据信息采集与监控，进而缺乏对整个物料输送系统性能和效率达到最优的综合考虑；3）多数企业选择物料输送设备时，将价格作为首要因素，忽视对输送设备的智能化改造；4）多数企业没有搭建起多种异构网络的互联体系，使得整个物料输送系统的综合调度管理不够数字化、智能化。设备及物料感知物料状态信息感知在现今的智能物料输送系统中，要实现各类设备能够互联互通互操作，必须在一个完整的物联网架构中完成，主要包含三个层次：底层是用来感知信息、获取数据的感知层；第二层是进行数据传输的网络层，通过无线局域网、3G技术、4G技术等移动通信网将获取得到的信息传递给应用层，同时将应用层的指令信息传达给感知层；最上层则是完成控制决策、数据可视化的应用层，通过与企业的具体应用场合的深度融合，结合企业资源管理系统以及制造执行系统、云计算等技术，来完成设备间的智能感知互联。设备及物料感知物料状态信息感知1.智能终端的大量使用，使得工作人员以及相关设备状态能够及时获取，这也是企业实现MES以及ERP系统重要的一环；2.底层设备智能化，不仅仅包含自动化的生产，同时包含设备运行状态相关数据的采集与处理，具备丰富的感知，并且能够实现初步的自适应生产与诊断能力；3.具备大量的智能感知单元，如智能电机运行参数如温度、转矩、转速、电流等重要参数的获取；4.拥有广泛的无线传感网络（WSN），传感网络中的各传感节点具备自组网功能，能够将各个生产环节的大量相关数据进行大数据分析与处理，从而达到对整个智能物料输送系统物料输送系统作为自动化生产线必不可少的一个环节，主要包含输送线、自动化生产设备、移载机构、物流小车(AGV)、机器人、作业人员等部分组成。整个生产任务的完成都必须建立在高效、稳定且可靠的物料输送系统的基础上，针对传统物料输送系统的无法满足当今工厂多产量、多品种的产品生产需要，因此，研制一套智能物料输送系统迫在眉睫，其智能性主要体现在：设备及物料感知物料状态信息感知面向智能物料输送系统的诸多信息中，基于物联网的现场实时数据采集实现智能化生产的重要组成部分，不仅仅利用底层的传感器感知单元来采集生产现场数据，同时通过CAD、CAM、CAPP等生产制造信息系统来获取一线的生产制造数据，并将两者数据通过一系列的互联技术达到上层对底层设备、人员、物料等相关信息的监控。目前，针对国内外的总体数据采集技术而言，在采集系统实时工况信息以及设备运行信息的方式上主要可分为三种类别：传感器检测与采集技术、自动识别技术以及自动化设备标准化接口采集技术。设备及物料感知传感器检测与采集技术在实际的物料输送系统中，传感器的应用无处不在，无论是对于工位点工件有无的检测，还是距离工件远近的检测等，都发挥着重要作用。一般而言，作为评价传感器性能好坏的指标主要包含两方面：采样精度与采样速度，其中表示采样精度的有传感器的线性度、灵敏度、分辨力三个层面，线性度表征了传感器实际测量效果与理论效果的误差表现；灵敏度是指输出量与输入量的量纲之比；分辨力是指感受到外部测量量最小变化的能力。一般而言，由于物料输送系统线路较长、设备布局较为分散，因此采用集散型多传感器数据采集系统，不仅结构简单、成本低、而且对环境要求不高，易组成系统。设备及物料感知传感器检测与采集技术传感器数据采集系统结构设备及物料感知自动识别技术自动识别技术是利用一定的识别装置，通过识别装置与物品之间的接近活动，进而自动获取相关信息，并将这些信息提供给后台计算机处理的一项技术。一般而言，自动识别技术主要包括条码识别技术、射频识别技术、光学字符识别技术、磁卡及智能卡识别技术、生物识别技术、语音识别与视觉识别技术等，如下图所示。这些技术都是通过嵌入式智能终端通过各种光电感应、磁感应以及人工智能技术来完成相应的自动识别功能。面对智能物料输送系统，利用自动识别技术确实能够较好的将员工信息、物料信息、加工信息、装配信息等采集起来，获取当前生产状态下的实时数据，进一步提高整个系统的感知能力。设备及物料感知自动识别技术自动识别技术分类面对智能物料输送系统，利用自动识别技术确实能够较好的将员工信息、物料信息、加工信息、装配信息等采集起来，获取当前生产状态下的实时数据，进一步提高整个系统的感知能力。设备及物料感知自动化设备标准化接口采集技术在整个物料输送系统中，工业自动化设备提供标准接口，如RS232、RS485、CAN、Ethernet、OPC、IO信号，用户可直接采集数据。OPC作为国际通用通讯规范，解决了设备间互联互通问题，采用C/S模式，方便系统集成与二次开发。多数设备留有此接口，连接后可实现数据采集。大型系统中，触摸屏等显示设备通过人工输入完成数据交互，这部分数据也可采集。设备及物料感知智能物料输送感知系统的实例设计多AGV系统实现RFID信息感知和多源信息综合调度，通过Zigbee网络感知AGV状态，支持视觉和磁导引巡航，提高系统运作效率。智能摩擦输送线由16个独立电机驱动单元组成，通过无线组网上传状态信息，OPC和CAN总线控制多条悬挂线作业，阅读器读取电子标签信息，控制中心实现智能化管控和故障预判。EMS输送线能自主充电，移动灵活，适用于空间快速转移。视觉移载平台通过视觉定位和传感器感知托盘位置、物料信息，实现AGV与空中输送线的中间传递。工件检测/装配设备通过智能传感器和RFID检测产品质量，选择合适的质量检测标准。网络视频监控系统实时整体化监控物料输送过程，结合现场数据，提高智能物料输送系统的感知管控能力。以实验室设施为基础，整合多AGV输送系统、智能摩擦输送线、EMS输送线、视觉移载平台、工件检测/装配设备、网络视频监控系统，构建智能化物料输送感知系统。04PARTFOUR环境感知环境感知人类社会的生产生活离不开对周围环境参数信息的获取和利用。环境中存在着大量人类感兴趣的信息，比如温度、湿度、气体组分浓度、加速度、振动、磁场、光照强度等典型参数，而对这些环境量的感知是信息获取和利用的重要方式与前提。在制造系统中同样如此。因此，环境感知系统应运而生，它利用各类感知传感器将环境中的目标参数转化为仪器设备可以识别测量的电信号，从而对环境信息进行有效利用。环境感知环境感知智能微系统环境感知系统常用于资源受限环境，要求微型化、低功耗、低成本和智能化。MEMS传感器阵列作为关键单元，其准确性和稳定性至关重要。但环境因素如化学反应、外部干扰等易影响敏感特性，导致基线漂移或故障，影响系统性能。由于MEMS传感器阵列的小型化和集成化特点，以及恶劣环境下使用故障概率较高。因此，采用包含故障检测、隔离、恢复和漂移补偿功能的自检测自校正技术，实时在线监测MEMS传感器阵列工作状态，并进行故障或漂移校正是必要的。环境感知环境感知系统自检测环境感知智能微系统利用MEMS气体传感器阵列来检测气体组分和浓度，为气体识别和浓度预测提供数据。但MEMS气体传感器阵列可能因环境干扰或人为因素出现故障，影响检测准确性。为此，建立故障检测模型是关键，该模型通过分析正常工作状态下的传感器数据来训练，以便快速识别异常。在数据采集过程中，电压波动和人为干扰可能导致数据集中出现异常和噪声。因此，实施数据预处理至关重要，它能够提高数据质量，确保模型训练使用的数据显示真实应用情况，从而提升故障检测模型的性能和可靠性。环境感知环境感知系统自检测

环境感知环境感知系统自检测在传感器故障检测中，机器学习方法如SVM、PCA、KNN和ANN各有优势和局限。SVM能准确检测异常但不适合自检测自校正。KNN在搜索邻居节点时存储需求大，且难以实现实时检测。ANN计算复杂度高，需要多个模型。相比之下，PCA通过简化统计量进行故障检测，计算简单、速度快，且易于集成到自校正流程中。PCA本身是一种降维技术，能将多维变量转换为低维不相关变量，同时保留原始数据的主要信息。05PARTFIVE人员感知人员感知人员行为感知概述人类行为涵盖身体、心理和社会活动能力，涉及生命全阶段的发展。在人机交互中，人员行为识别通过技术手段识别和理解人类与机器或系统交互时的行为和意图。这涉及分析用户与机器人或界面的互动，以提高系统响应性和适应性，增强用户友好性和交互效率。目前，研究人员采用传感器和数据分析技术，如机器视觉、3D传感器、边缘计算和多模态数据融合，以有效识别和理解人员行为。人员感知机器视觉机器视觉技术结合摄像头和图像处理算法分析人类行为。通过深度学习算法，实时识别人员行为，如姿态、手势、面部表情。应用场景包括监控系统异常检测、自动驾驶行人和车辆识别。3D传感器如Kinect和LiDAR，捕捉三维空间中的人类行为。通过光信号构建环境和人物的三维模型，在VR和AR中有重要应用，如VR游戏中捕捉玩家全身动作。边缘计算边缘计算在数据源附近处理数据，减少传输延迟，提高实时处理效率。在行为感知中，边缘计算快速分析传感器数据并实时响应，如智能家居系统监测家庭成员行为并自动调整家电。多模态数据融合多模态数据融合整合不同类型传感器数据，提高行为识别准确性和鲁棒性。例如，结合视觉、音频、压力传感器数据，系统更全面地理解和识别人的行为和意图。人员行为感知概述协作机器人与人机协作装配近年来，制造业中协作机器人出货量大幅增长。2020年全球出货量仅2,000余台，预计2026年将超47,000台。增长归因于其高度精确性和通过机器学习提升性能的能力。协作机器人支持工人执行体力、认知和危险操作，如减轻工作量、减轻精神压力、处理危险材料。其功能和设计日益依赖对人类行为的精确感知，这一发展推动销量增长。具备感知能力的协作机器人可在无安全栅栏环境中与工人直接合作，改变操作模式。集成先进视觉系统和传感器，实时监测工人动作和位置，提高操作灵活性和生产效率，同时增强工作环境安全性，使机器人更有效地支持人类。人员感知人机工程学的发展人员感知人机环境交互科学旨在实现人与机器、环境的和谐结合，使设计适应人的生理和心理特点，提高生产效率、安全、健康和舒适度。此技术不仅增强工作环境的安全性，也符合人体工程学原则。人员行为感知技术通过感知人员状态调整协作机器人的协作方式。研究采用Kinect摄像头捕捉工人关节角度，评估整体人体工程学状态（REBA）。检测到不良姿势后，通过算法实时调整机器人位置，为人类提供最佳姿势。该方法优化了工人姿态，降低了肌肉骨骼疾病风险。基于人员行为感知和人体工程学的协作机器人末端位置优化人员行为感知与安全监控在高风险制造环境中，采用先进的图像识别和传感技术对工人的行为和位置进行持续监控至关重要。这样的监控能够实时识别并预防潜在的安全隐患，从而提高工作场所的整体安全性。这些技术结合了深度学习方法，如MaskR-CNN（用于对象检测和分割）和MediaPipeHolistic（用于姿态估计和手势识别），使系统能够精确识别人机交互中的异常行为。人员感知基于视觉的行为感知方法基于视觉的行为感知方法，是指利用计算机视觉技术，通过分析图像或视频数据，识别人类的行为和动作。这种方法利用摄像头等视觉传感器捕捉到的图像信息，结合图像处理和机器学习算法，来解读人类的行为模式。视觉感知能够提供丰富的空间和时间信息，使得系统可以对人类的动作和情境进行详细的分析，所以在行为识别领域中具有重要作用。基于视觉的行为感知主要分为基于骨架的方法和基于RGB图像的方法。人员感知基于骨架的方法基于骨架的方法常用深度学习技术，如CNN和LSTM。CNN提取图像特征，LSTM捕捉时间序列数据。结合这些算法，系统分析关节点位置和运动轨迹，识别不同行为和动作。使用时，系统先通过图像处理分析视频帧，识别关节点如头部、肩膀等。然后构建人体骨架模型，通过分析关节点位置和轨迹识别行为和动作。人员感知基于骨架的人员行为识别方法基于RGB的方法基于RGB图像的行为分析：核心方法：使用图像或视频帧的像素值，结合深度学习模型（如CNN），自动提取和分类特征。RGB图像因其丰