《机械臂智能控制》 课件 项目4　机械臂进阶

任务4-1机器臂搬运分拣《智能机械臂控制》任务解析搬运分拣第一台机械臂Dobot1用于搬运物块，第二台机械臂Dobot2用于分拣物块。1.1硬件安装搬运分拣第一台机械臂Dobot1用于搬运物块，第二台机械臂Dobot2用于分拣物块。（1）机械臂底座接口知识链接1：机械臂接口底座接口序号说明1复位按键，复位MCU程序此时底座指示灯变为黄色。约5秒后，复位成功，底座指示灯变为绿色2功能按键。

短按一下：执行脱机程序

长按2s以上：启动回零操作3UART接口/通信接口，可连接蓝牙、WIFI模块。采用Dobot协议4USB接口，连接PC进行通信5电源，连接电源适配器6外设接口，可连接气泵、挤出机、传感器等外部设备。详见：Dobot-Magician-User-Guide-V1.7.0.pdf知识链接1：机械臂接口底座接口（1）机械臂底座接口——外设接口PeripheralInterface接口说明SW1气泵盒电源接口/自定义12V可控电源输出SW2自定义12V可控电源输出Stepper1自定义步进电机接口:3D打印挤出机接口（3D打印模式）传送带电机接口滑轨电机接口Stepper2自定义步进电机接口GP1气泵盒控制信号接口/光电传感器接口/颜色传感器接口/自定义通用接口GP2自定义通用接口/颜色传感器接口/滑轨回零开关接口知识链接1：机械臂接口底座接口（1）机械臂底座接口——外设接口：引脚定义详见：Dobot-Magician-User-Guide-V1.7.0.pdf步进电机1步进电机2复用IO复用IO接口类型说明IO电平输入、电平输出PWM脉冲宽度调制接口，即：改变平均电压大小REV正反转控制ADC模拟信号转数字信号接口知识链接1：机械臂接口底座接口（1）机械臂底座接口——通信接口CommunicationInterface接口说明电源接口5V、GND；12V、GND串口UARTRX，TX复位nRSTEIO18电平输出（3.3V）EIO19电平输入（3.3V）EIO20StopKey；电平输入（3.3V）（2）小臂外设接口知识链接1：机械臂接口小臂接口序号标识说明1GP3R轴舵机接口/自定义通用接口2GP4自动调平接口/光电传感器接口/颜色传感器接口/自定义通用接口3GP5激光雕刻信号接口/光电传感器接口/颜色传感器接口/自定义通用接口4SW33D打印加热端子接口（3D打印模式）/自定义12V可控电源输出5SW43D打印加热风扇（3D打印模式）/激光雕刻电源接口/自定义12V可控电源输出6ANALOG3D打印热敏电阻接口（3D打印模式）（2）小臂外设接口：引脚定义知识链接1：机械臂接口小臂接口接口类型说明电源接口12V、5V、GNDPWM脉冲宽度调制接口，即：改变平均电压大小ADC模拟信号转数字信号接口（3）机械臂底座——指示灯知识链接1：机械臂接口指示灯状态说明绿色常亮正常黄色常亮启动状态蓝色常亮脱机状态蓝色闪烁正在执行回零操作、正在进行自动调平红色常亮处于限位状态、报警未清除、3D打印套件连接错误微型传送带42步进电机步距角=1.8度联动轴直径=36mm知识链接2：传送带传送带传送带参数运行负载500g有效运载长度600mm最大速度120mm/s最大加速度1200mm/s2尺寸700mmx215mmx60mm重量4.2kg传送带传送带与机械臂的连接方式知识链接2：传送带Stepper1针脚定义传送带传送带与机械臂的连接方式知识链接2：传送带传送带测试【传送带测试】选择电机编号：STEPPER1理论速度:<=120mm/s实测：速度<=75mm/s知识链接2：传送带传感器【功能】:检测开关前方一定距离是否有物体。如检测到物体，红色指示灯亮，读取结果为1，否则灯灭，读取结果为0知识链接3：光电开关连接方式：传感器测试【光电传感器测试】知识链接3：光电开关传感器【功能】：识别3种基本的颜色：蓝色、绿色、红色。

当检测到相应的颜色时，对应的变量值为1,其他变量值为0。举例：如检测红色木块，得到的结果为：R=1，G=0，B=0知识链接4：颜色识别传感器颜色识别传感器供电电源3-5V可检测不发光物体颜色白色LED：亮、灭可控连接方式传感器测试【颜色传感器测试】知识链接4：颜色识别传感器任务实施：积木搬运分拣Step01:硬件安装搬运分拣【注意事项】：关机->断电->安装请在机械臂完全断电的情况下，断开或者连接外部设备，关闭机械臂时，待指示灯熄灭后，机械臂才完全断电。搬运分拣Step01:硬件安装安装工具Step01:硬件安装搬运分拣参照下图：1.摆放机械臂、传送带、定位板。

2.安装传送带、光电开关和颜色传感器。机械臂1机械臂2传送带定位板定位板搬运分拣

将传送带电机线连接到第一台机械臂（右侧的）的底座接口Stepper1上。

Step01:硬件安装——传送带搬运分拣将颜色传感器导线接到第二台机械臂（左侧的）底座接口GP2Step01:硬件安装——颜色传感器搬运分拣将红外光电传感器导线接到第二台机械臂（左侧的）小臂接口GP4Step01:硬件安装——光电开关搬运分拣设置两台机械臂的回零点。

机械臂回零点可以设置高一点，防止回零过程中碰撞导致丢步。如果丢步需要重新回零机械臂

（1）打开DobotStudio，连接机械臂并单击“示教在线”。Step02:回零点设置搬运分拣（2）按住“解锁”按钮，调整机械臂到需要设置的零点位置，松手则位置坐标自动保存

双击数字可以对位置值做微调。Step02:回零点设置搬运分拣（3）在该点位位置单击鼠标右键，选择“设置为回零位置”。Step02:回零点设置搬运分拣（4）设置成功后，会弹出“确认”窗口。单击“归零”操作，确定是否成功，如没有，请按机械臂底座后面的reset键复位后重复上述操作。

Step02:回零点设置搬运分拣第一台机械臂Dobot1用于搬运物块，第二台机械臂Dobot2用于分拣物块。运行两个DobotStudio客户端，分别打开Blockly，编写“搬运”和“分拣”程序。Step03:软件设计图形化编程第一台机械臂:搬运程序pickplace【获取“调试点”位置】按住搬运机械臂的“解锁”键将机械臂移动到第一块积木的位置。让吸盘处于积木上方正中间位置。根据获取值修改XYZStep03:软件设计——搬运程序图形化编程第一台机械臂:搬运程序pickplace【获取“放置点”位置】勾选“吸盘”，让吸盘吸住积木，按住小臂“解锁”键，将积木移动到传送带上搬运的起始位置根据获取值修改XYZStep03:软件设计——搬运程序图形化编程OyxjkO机械臂坐标运动方向坐标Step03:软件设计——搬运程序吸盘下压根据积木位置，修正X、Y坐标X、Y坐标的微调量计算吸盘上升【积木搬运程序】321654987图形化编程【传送带“停止”位置】设置传送带的运行速度和时间来控制传送带运行距离，从而使积木到达光电开关位置，准确地停留在分拣机械臂抓取范围内。考虑：通过光电开关控制传送带启停？Step03:软件设计——搬运程序设置传送带电机速度设置运行时间停止运行【控制传送带延时停止】图形化编程第二台机械臂:分拣程序sorting【获取“抓取点”位置】按住搬运机械臂的“解锁”键将机械臂移动到积木停放的位置。让吸盘处于积木上方正中间位置。根据获取值修改XYZStep03:软件设计——分拣程序图形化编程第二台机械臂:分拣程序sorting【获取“颜色识别”位置】勾选吸盘，让吸盘吸住积木，按住小臂“解锁”键，将积木移动到颜色传感器上方（距离颜色传感器不要太远，5mm~10mm即可）根据获取值修改XYZStep03:软件设计——分拣程序图形化编程第二台机械臂:分拣程序sorting【获取“放置”位置】按住小臂“解锁”键，用机械臂将积木移动到想要的放置位置（位置需可达）根据获取值修改XYZStep03:软件设计——分拣程序图形化编程第二台机械臂:分拣程序sorting【识别颜色、分类摆放】Step03:软件设计——分拣程序图形化编程第二台机械臂:分拣程序sorting【抓取、颜色识别、分类摆放积木】读取光电传感器数值，控制机械臂吸取积木，进行颜色识别，按照颜色，分别摆放积木准备抓取时，Z轴方向要高于积木Step03:软件设计——分拣程序搬运分拣Step04:系统运行调试第一台机械臂Dobot1用于搬运物块，第二台机械臂Dobot2用于分拣物块。搬运分拣任务4-1基础：传送带-光电-颜色传感器测试通过DobotStudio进行Blockly图形化编程，实现：（1）传送带启停测试（2）光电传感器测试，输出测试结果（3）颜色传感器测试，输出测试结果【作业提交】：代码截图，提交职教云任务实施搬运分拣任务4-1进阶：积木搬运分拣（图形化编程）通过DobotStudio进行Blockly图形化编程，实现积木搬运分拣。（1）学号尾号为奇数：实现3x3x2个积木搬运分拣。（2）学号尾号为偶数：实现2x2x2个积木搬运分拣。【注意】：考虑Z轴高度的变化【作业提交】：代码截图，机械臂搬运分拣拍照任务实施Thankyou机器人，有“控”玩。传感器测试【颜色传感器测试】知识链接4：颜色识别传感器任务4-2有“感情”的传送带《智能机械臂控制》python

“有感情”的传送带（python）根据人脸表情，调整传送带速度（0-120mm/s）（基于任务3-4

人脸识别工程）任务解析人脸检测detectMultiScale()OpenCVHaar特征分类器人脸图像处理人脸表情识别预测CNN分类模型表情标签（0-6）传送带速度控制python任务解析摄像头图像66*20120mm/s知识链接1：OpenCV人脸检测人脸检测（1）Haar特征和级联分类器

Haar特征和级联分类器是一种经典的“目标检测算法”，适用于检测物体在图像中的位置、大小和姿态等。在OpenCV中，提供了训练好的Haar特征和级联分类器XML文件，该文件中会描述人体各个部位的Haar特征值。包括：人脸、眼睛、嘴唇等等。Haar特征和级联分类器存放目录：OpenCV安装目录中\data\haarcascades目录下。知识链接1：OpenCV人脸检测人脸检测（1）Haar特征和级联分类器OpenCV-pythonhaarcascade各种分类器文件位置打开分别输入命令：condaactivatepp_py37pipshowopencv-python为方便程序调用、移植，本任务中，将分类器放到当前工程文件夹face/haarcascades目录下知识链接1：OpenCV人脸检测人脸检测（2）多尺度测函数detectMultiScale()OpenCV中的detectMultiScale函数可基于物体的特征定位（如Haar特征）检测图像中是否包含指定的物体。

检测器以移动窗口形式搜索图像，并在每一个窗口运行特征定位，判断是否存在特定的物体。如果特征定位返回积极的结果，则说明该窗口存在目标物体，算法会保留该窗口位置以及物体在图像中的精确轮廓。知识链接1：OpenCV人脸检测人脸检测（3）使用detectMultiScale()进行人脸检测【参数说明】image——待检测图片，一般为灰度图像，加快检测速度；scaleFactor——搜索窗口的比例系数，每次图像尺寸减小的比例，默认为1.1，即每次缩小10%minNeighbors——默认3，每一个目标至少要被检测到3次才算是真的目标flags——使用默认值，新版未使用minSize——检测到的人脸最小尺寸maxSize——检测到的人脸最大尺寸【返回值】：目标对象的矩形框向量组知识链接2：传送带控制传送带（1）电机速度设置函数dType.SetEMotor(api,index,isEnabled,speed,isQueued=0)api:Dobot库的对象.index：电机编号：0：Stepper1；1：

Stepper2isEnabled：开关状态：0：关，1：开speed：运转速度，脉冲数/秒isQueued：队列模式使用开关状态：1∶使用队列模式，0：不使用队列模式返回：队列模式：队列命令索引；立即模式：0知识链接2：传送带控制传送带（2）已知：42步进电机，步距角=1.8度；联动轴直径=36mm求解：速度V(mm/s)对应的脉冲数/秒①每周脉冲数已知：步距角=1.8度可得：每周脉冲数Pulses=360.0/1.8=200②1mm对应的脉冲数已知：联动轴直径=36mm可得：联动轴周长C=3.14*36.0≈113.04mm200脉冲/113.04mm=1.769脉冲/mm;每走1mm，需要发送1.769个脉冲

③传送带最大速度120mm/s;

速度脉冲最大值

=120*1.769≈212脉冲/秒知识链接2：传送带控制传送带（2）已知：42步进电机，步距角=1.8度；联动轴直径=36mm求解：速度V(mm/s)对应的脉冲数/秒

④步进电机进行了10*16的细分，则：任意速度V(mm/s),对应的每秒脉冲数为：P=V*1.769*10.0*16.0

步进电机速度范围：0~212脉冲/秒任务实施：人脸表情驱动传送带python注意：确保机械臂已经关机、断电；传送带断电！！！Step01:环境准备传送带与机械臂底座stepper1连接pycharm工程