《机器人基础与数字孪生系统》 课件第7章 人机共融的数字孪生系统

第7章人机共融的数字孪生系统【7.1结构化环境建模】【7.1.1人-机孪生系统架构】

基于数字孪生五维模型实现协作机器人状态监测系统的构建。可以实现物理实体到虚拟实体的双向通讯，将实时的人机最小安全距离对应不同安全等级，给机器人实体发送控制信号从而实现不同的控制策略，以虚拟实体控制真实的物理实体。(1)数据层：机械臂的多源监测数据均通过MySQL数据库存储至云端。引入Redis缓存数据库，提高处理效率，为安全性保障提供数据基础。(2)虚拟模型层：保持机械臂的物理实体与机械臂数字孪生模型的高度一致性。(3)连接层：在数据通讯技术方面，主要采用串口通讯和TCP/IP协议簇通讯。(4)功能服务层：主要实现数据可视化、安全状态评估和虚拟模型的运动跟随。【7.1结构化环境建模】【7.1.2机械臂虚拟模型制作与简化】

定义模型父子关系：为了让数字模型满足机器人运动学，实时呈现机器人实体的位姿，按照物理实体各自由度定义模型父子关系，按自由度划分模型，通过对机器人各关节变量的输入，对每一个自由度单独控制。【7.1结构化环境建模】【7.1.2机械臂虚拟模型制作与简化】

模型简化优化算法：按照一定的手段对模型中的边折叠代价进行衡量，折叠代价越小的边简化后的模型越接近原模型。采用优化的基于二次误差矩阵的边折叠算法对数字孪生模型进行简化，算法步骤如右图所示。【7.1结构化环境建模】【7.1.2机械臂虚拟模型制作与简化】

模型简化优化算法：对兔子模型和机器人模型进行简化，对比原算法和优化算法：【7.1结构化环境建模】【7.1.

3机械臂虚实模型的快速映射】

模型简化优化算法：

DH坐标系可视作机械臂的骨骼模型，在已知各连杆几何尺寸的前提下，只需要实时测量机械臂实体6个关节角的位置和速度，即可实现机械臂虚实模型的快速映射。以右图机械臂作为建模实例。建立如右图所示的DH坐标系。利用机械臂各关节内置的码盘，能实时测量各关节的位置和速度，由此更新机械臂数字孪生模型的空间位置和速度。【7.1结构化环境建模】【7.1.4模型与数据融合的虚实运动跟随】

模型与数据融合：控制模型运动有两种实现方式，一种是使用菜单栏工具通过鼠标控制模型运动，一般在调试时使用，可扩展性低；另一种是使用脚本，通过运行脚本控制模型，这种方式相对鼠标控制较为复杂，需要手动编写脚本，但是优点在于可扩展性强，能够实现更复杂的运行控制。【7.2非结构化环境的视觉重建】【7.2.1人体骨骼模型的处理】

人体骨骼模型识别：使用Azure-Kinect深度相机，获取关键点信息。将已有的SDK移植到Unity的C#脚本中，并进行相应的模型构建，以三维形式来显示获得的骨骼模型数据。【7.2非结构化环境的视觉重建】【7.2.1人体骨骼模型的处理】

骨骼关键点数据处理：采用了霍尔特双参数指数平滑算法消除关键点抖动，且以骨骼长度为约束条件筛选人体骨骼关键点坐标，极大提高了AzureKinect相机获取关键点空间位置的准确率，进而提升了人机协作过程中的安全感知精度。平滑效果如图所示。【7.2非结构化环境的视觉重建】【7.2.1人体骨骼模型的处理】

实现动作跟踪效果【7.2非结构化环境的视觉重建】【7.2.2虚拟现实交互系统】

VR场景：选用的虚拟现实设备是HTC厂家的HTCVIVECosmos系列，设备由一个头戴式设备和两个操作手柄组成。

瞬移功能是通过获取瞬移点的坐标，然后将角色的坐标转换为瞬移点的坐标来实现的。未接触到按钮时按钮呈现白色，当接触之后呈现黄色，按下的瞬间按钮会呈现红色。【7.3人-机安全交互关键技术】【7.3.1安全感知算法】

最小安全距离感知：针对数字孪生环境中的机器人孪生体和操作者孪生体，采用基于三维偏移量的最小安全距离实时感知算法，能实时快速地计算人机协作中的最小安全距离。机械臂关节段的定义关系人体骨骼关节的定义关系人机最小距离函数上式满足条件其中和是当前计算距离的两段关节上满足式(4)的条件参数式(4)式(5)【7.3人-机安全交互关键技术】【7.3.2人-机数字孪生系统的协同构建】

信息物理集成子系统：连接着真实场景和虚拟场景且实现该两者的数据交互，是实现以实促虚、以虚促实的基础。通过RGB-D视觉相机采集人体骨骼信息，通过机械臂内置传感器采集关节角度信息，然后将采集的数据传入服务器，由此实现人机协作数字孪生模型的重构。【7.3人-机安全交互关键技术】【7.3.2人-机数字孪生系统的协同构建】

数字孪生子系统：数字孪生子系统是将真实物理场景下的对象实体通过信息物理集成子系统的数据进行渲染，并在仿真环境中展示。对机械臂和操作者的虚实映射数字孪生子系统架构正常情况与发生碰撞【7.3人-机安全交互关键技术】【7.3.2人-机数字孪生系统的协同构建】

虚拟现实子系统：操作者通过佩戴VR眼镜，能对真实场景下不存在的机器人进行模拟预览。通过在虚拟环境中放置虚拟机器人，能对工作场景进行预览，并监测人机协作的最小安全距离。虚拟现实子系统虚拟机械臂与人体协同作业模拟【7.3人-机安全交互关键技术】【7.3.2人-机数字孪生系统的协同构建】