《自动化生产线安装与调试》课件-01-梅卡曼德相机概述

01.梅卡曼德相机概述双目结构。近端视场：360×250@0.5m。远端视场：740×480@1.0m。01梅卡曼德相机硬件系统介绍02梅卡曼德相机软件系统介绍03梅卡曼德相机软件——Mech-Center04梅卡曼德相机软件——Mech-EyeViewer05梅卡曼德相机软件——Mech-Viz06梅卡曼德相机软件——Mech-Vision02.梅卡曼德相机参数设置目

录contents目录三控制中心软件参数设置目录二相机查看器软件参数设置目录一梅卡曼德相机连接参数设置010203目录一梅卡曼德相机连接参数设置0101梅卡曼德相机参数设置连接

1.相机初始时，3D相机的IP地址是未知默认IP，需要对相机IP地址进行设定，使3D相机IP和设备处在同一网段。通过使用GigEIPConfigurator软件对相机IP地址进行设定。01梅卡曼德相机参数设置连接

2.点击刷新设备，在左侧对应的网卡选项中选择对应的相机。3.在右侧手动配置中勾选静态IP，将IP地址更改为192.168.0.80。子网掩码改为255.255.255.0，完成IP地址的更改并保存设置，完成相机IP地址的设定。IP地址设定完成后即可通过Mech-eye软件连接相机并更改相机相关参数。01连接梅卡曼德相机参数设置

在传感器相机中使用Mech_Eye相机软件时首先需要将对应相机的内部参数文件放置于相机查看器Mech-EyeViewer软件安装目录下。操作步骤如下：1、查看相机包装盒或相机侧面标签ID。（以相机侧面标签为准）01连接梅卡曼德相机参数设置

2、在内参文件库中查找将对应相机的内参文件。3、打开内参文件夹，将内参文件复制。4、将内参文件粘“C:\mmind\MechEyeViewer\resource_runtime\camera”目录下。完成相机内参文件放置。目录二相机查看器参数设置0202梅卡曼德相机查看器参数设置

1.Mech-eye启动的原始路径为C:\mmind\Mech-EyeViewer\Mech-EyeViewer.exe，也可使用桌面快捷方式启动。2.打开软件，点击“重新扫描相机列表”在“检测到的相机”目录下，选择要连接的相机在此示例中为T0110），点击连接相机。02梅卡曼德相机查看器参数设置

3.正确连接后，在Mech_Eye软件下方信息栏会显示各项信息。此时单击“单次采集”按钮能够显示相机当前拍摄图像，单击“连续采集”按钮能够实时显示相机图像。此时可以通过显示窗口下方的“2D图、深度图、点云”选择框，查看不同模式下的显示图像。02梅卡曼德相机查看器参数设置

4.单击“单次采集”获得图像，右侧属性栏参数可更改。根据图像的质量，修改参数，以获得合适的点云图像。图像可使用深度图，以目视能够清晰分辨目标零件为准。由于各个场景光源环境不同，需要多次调试找到合适值，且更改使用场景需要重新测试并设置。02梅卡曼德相机查看器参数设置

5.每次修改参数，需要在“参数”菜单内点击“保存参数”进行保存。目录三控制中心软件参数设置0203控制中心软件参数设置

1.打开控制中心Mech-Center后，显示控制中心Mech-Center控制界面03控制中心软件参数设置

1、点击“控制中心ech-Center”软件下部署设置按钮，设置参数。2、设置偏好设置。包含打开Center时是否自动打开VIZ和Vision最小化或退出软件、以及软件背景色主题和语言。03控制中心软件参数设置

3、勾选启用Mech-VIZ设置VIZ软件程序路径。程序路径是软件安装路径在C:\mmind\Mech-Viz路径下。4、在Mech-viz中勾选“自动加载当前工程”选项。系统自动将勾选的VIZ工程设置为Center中自动运行的工程路径。03控制中心软件参数设置

5、勾选启用Mech-VISION设置VISION软件程序路径。程序路径是软件安装路径在C:\mmind\Mech-ViSION路径下6、在Mech-vison中右键vison程序勾选“自动加载当前工程”选项。系统自动将勾选的vision工程设置为Center中自动运行的工程路径。03控制中心软件参数设置

7、设置EYE软件程序路径。程序路径是软件安装路径。在C:\mmind\Mech-EYEViewer路径下。8、勾选启用RobotServer。RobotServer路径为“C:/mmind/Mech-Center/Mech_RobServ/src/main.py”。机器人类型在VIZ中设置为实际机器人类型“EFORT_ER3B_C10”设置机器人IP地址“192.168.0.103”03控制中心软件参数设置

9、勾选“启用Mech-Interface”。设置接口类型为Adapter适配器工程文件夹路径为“C:/mmind/Mech-Center/src/adapter/T2005PA347”设置主机地址为“0.0.0.0”端口号为“2102”10、点击右下角“保存”按钮完成部署设置03.Mech-Vision软件介绍Vision软件界面介绍01Vision图像处理流程02获取图像点云处理深度学习点云匹配位姿处理输出结果Vision工件文件结构03算法流程文件（图中vision_project.vis）：用于存储算法处理流程。工程配置文件（图中depth_background.png，depth_roi.json，roiBoundary.json等）：描述工作环境的先验条件，用于添加对工程的限制。相机参数文件（图中Calibration）：用于保存相机内外参以及标定数据。基本操作——新建/打开工程04基本操作——显示所有指令（步骤）05基本操作——指令介绍06基本操作——显示所有指令参数07基本操作——通用属性与控制流08步骤名称为step命名，当工程中有多个相同指令时，可以为每个指令命名，便于区分可视化输出置为True时：勾选界面快捷工具栏【调试】的情况下会输出当前指令的图像文本输出置为True时：勾选界面快捷工具栏的【调试】的情况下会将输出以json格式显示复用输入基于原输入重新运行当前功能指令无输出时继续执行置为True时：当指令输出结果为空时，当前指令仍会输出触发后续的指令重新加载所需文件置为True时：下次调用时重新加载该Step的依赖文件无输出时触发控制流置为True时：当Step输出结果为空时，会输出控制流有输出时触发控制流置为True时：当Step有正常的输出结果时，会输出控制流无输出时通知工程运行状态并退出置为True时：当指令无输出时通知工程运行状态并停止运行基本操作——添加指令并连线09基本操作——运行并调试工程10基本操作——自动加载工程1104.梅卡曼德相机标定01梅卡曼德相机标定原理EyeInHand自动标定02梅卡曼德相机标定准备（1）确认Mech-Center已经连接好机器人。（日志中显示Robotserver连接机器人成功）03梅卡曼德相机标定准备2）将标定板（型号为BDB-5）安装到标定位置，并将机器人移动到相机视野区域合适位置，然后转到自动模式，速度设为5%-15%，并运行项目“Test_3D”中的“main”程序。04梅卡曼德相机标定准备3）打开Mech-EYE软件(可通过Center软件打开)能够清晰显示2D图、深度图及点云。05梅卡曼德相机标定步骤1、打开vision软件（可通过Center快捷打开）2、择“相机助手”菜单栏下“相机标定”工具3、选择需要外参标定文件的工程路径。点击“确定”按钮进入标定预配置界面06梅卡曼德相机标定步骤4、选择外参标定文件放置目录。开始一场新的标定，点击“下一步”按钮进入外部参数标定步骤。5、选择标定安装方式为EyeinHand（视觉在机器人手上）。07梅卡曼德相机标定步骤6、确认Center是否连接机器人。并选择标定方式为多个随机标定板位姿。点击“结束”按钮完成标定预设置。进入标定步骤。7、第一步连接相机，选择目录中的对应编号的相机。IP地址为转控制连接的虚拟地址）。08梅卡曼德相机标定步骤8、单次采集图片查看对应编号相机的2D图和深度图是否正常、清晰。（通过EYE调整对应参数）正常显示后点击“下一步”按钮进入“安装标定板”环节。9、选择标定板类型为“BDB-5”，在标定板上可以查看对应标定板类型。点击“确认”按钮完成标定板类型选择和安装09梅卡曼德相机标定步骤10、查看2D图，移动标定板至红色矩形范围内。点击确认按钮完成“安装标定板”步骤进入检查“相机内容步骤”。11、展开“编辑检测参数”栏，单击“开始画辅助园”按钮对2D图中辅助圆轮廓进行大致绘制。10梅卡曼德相机标定步骤12、在2D图中寻找合适的圆图案，首先鼠标左键单击圆心位置。13、移动鼠标至圆的外轮廓，再次鼠标左键单击完成辅助圆绘制步骤。11梅卡曼德相机标定步骤14、编辑检测参数，勾选“允许缺少部分点”参数。（当机器人运动幅度过大拍摄不到辅助圆时自动计算其他辅助圆数据）。15、单击检查相机内参，检查相机内部参数误差是否在标准范围内，点击“OK”确认内参。点击下一步进行“设置移动轨迹”步骤。12梅卡曼德相机标定步骤16、展开“详细设置”。相机深度方向标定范围和高度参数一致。为机器人标定运动时所抬升的高度。（参数不能过高，易与机器人躯干发生碰撞）。层数为机器人在高度方向标定时分层的次数。17、底层长度为机器人在当前标定开始层X方向和Y方向所移动的距离。顶层长度为机器人在提升高度后所在层X方向和Y方向所移动的距离。每层移动网格为机器人在每层所移动的次数13梅卡曼德相机标定步骤18、步数为机器人旋转一定角度所拍摄运行的次数。标定板高度为相机到标定板之间的距离。半径为机器人旋转角度的半径距离。如图所示为标定板高度、半径距离以及对应步数之间的关系。点击“下一步”进行“添加标定图像和位姿”步骤。19、勾选“同步真实机器人”，机器人名称为“EFORT_ER3B_C10”。点击“沿设定轨迹移动机器人并拍照”按钮。14梅卡曼德相机标定步骤20、检查是否与周边设备发生碰撞。点击“OK”按钮机器人自动运行所设置的位姿点。21、机器人运行拍照完成后，系统自动显示采集完成并生成对应标定点列表。点击“下一步”按钮进入“计算相机参数并检查结果”步骤。15梅卡曼德相机标定步骤22、在计算相机参数并检查结果界面内点击“计算相机参数”按钮。系统自动计算点云参数。23、计算完成后系统显示旋转轴、旋转角以及平移数据。点击ok后自动显示当前点云误差。16梅卡曼德相机标定步骤24、检查点云误差，误差在2MM内90%内精度较为准确。25、点击左上角“文件”菜单栏选择保存工具。将外参文件保存至加载目录下。05.Vision常用指令(步骤)01Vision常用指令序号指令名称说明1从相机获取图像获取彩色图、深度图、点云。2点云处理计算法向，删除稀疏点和凹凸点。3提取3DROI内的点云提取目标范围内的点云，忽略其它点云和背景点云。4点云聚类根据指定规则进行点云聚类。5合并点云合并多个点云。6发送点云到外部服务将点云发送给Mech-Viz。7实例分割使用深度学习方法对一张彩色图进行目标检测与识别，并生成基于检测物体的掩膜列表。8提取掩膜中对应的点云在点云上应用掩膜。掩膜覆盖的点云将被保留，掩膜以外的点云将被去除。93D粗匹配将点云模板与原始点云粗略匹配，输出目标物体的粗略候选位姿。103D精匹配将点云模板与原始点云精确匹配，输出目标物体更准确的位姿。11输出将当前工程的结果发送给服务。功能描述：从真实相机或者虚拟相机获取彩色图、深度图和点云。使用场景：一般作为视觉工程的起始输入，通过Mech-Eye工业级3D相机或第三方相机采集数据，或者使用来自虚拟相机的仿真数据。指令——从相机获取图像02功能描述：计算点云法向，删除离群点。使用场景：为原始点云增加法向并去除离群点，通常在步骤“从相机获取图像”、“将深度图转换为点云”之后使用。指令——点云处理03功能描述：在3D空间内设置感兴趣区域（ROI），区域内的点云将被保留，区域外的点云将被去除。使用场景：使用该指令可以聚焦目标物体的点云区域，并忽略背景点云和干扰点云。指令——提取3DROI内的点云04功能描述：根据指定规则进行点云聚类，常用于目标物体分割。使用场景：一般用于点云预处理，排除干扰点云。聚类方法：欧式聚类和区域生长分割。指令——点云聚类05功能描述：将多个点云合并为一个点云。使用场景：一般在“点云聚类”、“提取掩膜中对应的点云”等步骤之后使用，将点云列表中的多个点云合并为一个点云，便于后续将点云作为一个整体来处理。指令——合并点云06功能描述：将点云发送给Mech-Viz。使用场景：将点云发送到Mech-Viz中，用于调试或查看实际效果。指令——发送点云到外部服务07功能描述：通过深度学习算法，识别出图像中的目标物体，并对其进行像素级别的定位。使用场景：可使用此步骤推理Mech-DLKit和Mech-DLK的模型文件。推理的表现与训练模型的数据紧密相关。指令——实例分割08功能描述：在点云上应用掩膜。掩膜覆盖的点云将被保留，掩膜以外的点云将被去除。使用场景：一般在实例分割后使用，提取掩膜对应的3D点云。指令——提取掩膜中对应的点云09功能描述：将点云模板与原始点云粗略匹配，输出目标物体的粗略候选位姿。使用场景：通常用于在场景点云中寻找目标物体，并获得其粗略候选位姿。该步骤通常与步骤“3D精匹配”组合使用。指令——3D粗匹配10功能描述：将点云模板与原始点云精确匹配，输出目标物体更准确的位姿。使用场景：此步骤在“3D粗匹配”输出的初始候选位姿基础上，进行更精确的匹配，输出目标物体更准确的位姿（可作为抓取点）。指令——3D精匹配11功能描述：将当前工程的结果发给后台服务。使用场景：将各类视觉工程结果通过服务发送至Mech-Viz或Mech-Center。指令——输出1206.Vision常用指令(步骤)

（二）01Vision常用指令序号指令名称说明1验证点云是否符合要求使用设定的规则判断点云是否符合要求。2去除被压叠的物体根据用户指定的规则，去除被压叠物体的位姿。3位姿变换将位姿从一个坐标系变换到其他坐标系，或依据参考位姿在自身坐标系内变换。43D位姿排序根据指定的规则对3D位姿进行排序。5调整位姿使指定轴与参考方向夹角最小围绕位姿的某一个方向轴，将另一个轴旋转到与参考方向夹角最小的方向。6沿指定方向移动位姿平移输入的位姿。7限制输出的个数保留数据列表中的前N项并输出。第N项之后的项将被丢弃。8过滤通用的列表过滤器。将输入的列表元素与True/False布尔值列表元素一一对应，输出True对应的列表数据。9判断是否为所需的标签将每个原始标签与参考标签列表作对比，对比的结果以布尔值列表形式输出。如果一个原始标签在参考标签列表中出现，那么其对应输出为True。10缩放2DROI内的图像将图像的感兴趣区域缩放至指定尺寸。11还原缩放后ROI内的图像使用此步骤可以把输入图像的大小按照缩放参数还原，并放入指定尺寸的黑色背景图中。功能描述：使用设定的规则判断点云是否符合要求。使用场景：通常根据点云点数量判断点云是否为所需点云（对应将参数“过滤器类型”设置为“CloudCapacityFilter”）。验证结束后可使用步骤“过滤”，根据验证结果滤除不符要求的点云。指令——验证点云是否符合要求02功能描述：根据用户指定的规则，去除被压叠物体的位姿。使用场景：通常用于步骤“3D精匹配”之后，根据不同的需求过滤匹配出的位姿，达到去除压叠物体位姿的目的。指令——去除被压叠的物体03功能描述：将位姿从一个坐标系变换到其他坐标系，或依据参考位姿在自身坐标系内变换。使用场景：通常用于位姿在相机坐标系与机器人坐标系中的相互变换。指令——位姿变换04功能描述：根据指定的规则对3D位姿进行排序。使用场景：将其他步骤中输出的位姿按照需要的规则进行排序，用于后续的位姿处理或抓取策略。指令——3D位姿排序05功能描述：围绕位姿的某一个方向轴，将另一个轴旋转到与参考方向夹角最小的方向。使用场景：通常用于各类需旋转位姿的场景。指令——调整位姿使指定轴与参考方向夹角最小06功能描述：平移输入的位姿。使用场景：根据用户指定的方向和距离平移位姿。指令——沿指定方向移动位姿07功能描述：保留数据列表中的前N项并输出。第N项之后的项将被丢弃。使用场景：提取列表前N项，N值可根据需求在参数中设置。指令——限制输出的个数08功能描述：通用的列表过滤器。将输入的列表元素与True/False布尔值列表元素一一对应，输出True对应的列表数据。使用场景：该步骤一般与“判断是否为所需的标签”、“根据与参考方向的夹角判断位姿是否有效”、“验证点云是否符合要求”等输出布尔值的步骤一起使用。指令——过滤09功能描述：将每个原始标签与参考标签列表作对比，对比的结果以布尔值列表形式输出。如果一个原始标签在参考标签列表中出现，那么其对应输出为True。使用场景：一般与“过滤”步骤连用，此步骤输出的布尔值列表将作为过滤的依据。指令——判断是否为所需的标签10功能描述：将图像的感兴趣区域缩放至指定尺寸。使用场景：用于深度学习相关步骤的图像预处理阶段，通常会与深度学习相关步骤、“还原缩放后ROI内的图像”连用。指令——缩放2DROI内的图像11功能描述：使用此步骤可以把输入图像的大小按照缩放参数还原，并放入指定尺寸的黑色背景图中。使用场景：一般与步骤“缩放2DROI内的图像”和深度学习相关步骤连用。指令——还原缩放后ROI内的图像1207.梅卡曼德相机深度学习01深度学习技术

深度学习需要大量的标签化数据。例如，无人驾驶汽车开发需要数百万张图片和数千小时的视频。深度学习需要巨大的计算能力。具有并行架构的高性能GPU对于深度学习很有效。与集群或云计算相结合时，开发团队能够将深度学习网络的训练时间从数周缩短至数小时或更少。02深度学习技术应用

1、无人驾驶汽车2、图片识别及分类3、机器翻译4、目标识