协作机器人-感知、交互、操作与控制技术 课件 6-人-机器人交互；7-机器人-环境交互；8-操作控制

人-机器人交互技术人-机器人交互概述可以将人机交互简单地理解为“人如何与机器或某个复杂系统的沟通和互动过程”。Schmidtler等人认为人-机器人交互是人类和机器人之间所有交互形式的总称。人机交互实现的过程中存在三个不可忽略的关键主题：意图检测、角色分配和信息反馈。面向接触式人机交互，研究者提出人与机器人共享控制的框架，包括三个关键思想：意图检测、意图识别与行为响应。协作机器人是下一代机器人的重要发展方向，其柔顺控制技术对于实现安全稳定的协作交互至关重要。人-机器人交互接口可以将人机交互简单地理解为“人如何与机器或某个复杂系统的沟通和互动过程”。Schmidtler等人认为人-机器人交互是人类和机器人之间所有交互形式的总称。人机交互实现的过程中存在三个不可忽略的关键主题：意图检测、角色分配和信息反馈。面向接触式人机交互，研究者提出人与机器人共享控制的框架，包括三个关键思想：意图检测、意图识别与行为响应。常用人机交互设备和方式相机深度相机比普通相机多出深度维度，提供更多信息。应用：微软Kinect（人体骨骼追踪）、英特尔RealSense、LeapMotion（手势识别）。VR眼镜HTCVivePro系列：六自由度交互、高刷新率与高分辨率。应用：游戏与娱乐领域，减少眩晕感，增强沉浸感。语音交互代表技术：Siri。肌电信号通过表面肌电信号反映肌肉运动状态，通过对手臂上的表面肌电信号进行放大滤波、提取特征值和模式识别等处理后，可用于判断手部的动作意图。常用人机交互设备和方式脑电信号脑电信号解读人体运动意图。脑机接口可以帮助用户与机器人之间实现更好更自然的交互。手控器交互通过位姿指令控制机器人，分为三自由度和六自由度手控器，机械结构上有串联和并联手控器。应用：医疗手术、空间遥操作等。缺点：交互不自然，易引起疲劳。脑电信号灵活、高效，适合精细操控机器人。主要设备：穿戴式数据手套、外骨骼等。脑电接口图数据手套ForceDimension手控器人机交互方式分类根据人机交互过程中人体动作控制信息的获取方式，可分为：1.外设附着方式：即附着在人肢体上的感应设备对人体动作信息进行采集。优点：响应速度快、识别精度高。缺点：需要额外设备，增加成本，交互不够自然，不易普及，主要应用于快速响应和精确控制的工业领域。2.计算机视觉方式：通过视频捕捉设备采集人体动作信息，分析RGB图像、红外图像等数据，提取动作信息。优点：无需佩戴设备，设备要求低，轻便且易于普及。缺点：对环境和光照要求较高，处理速度可能受到限制。人机交互方式分类按自然交互的方式分类，可分为：1.体态语言交互：通过肢体语言和姿势来与机器进行互动。手势识别：通过具有符号功能的手势来进行信息交流和控制机器人。肢体动作识别：多关节协同动作，通过全身动作与机器人交互。姿态行为理解：识别整体身体姿态及行为，理解用户意图。2.语音交互：通过语音指令与机器进行交流，实现控制与反馈。应用：如智能助手（Siri、Alexa）、智能家居控制等。优点：交互自然，不需要物理接触，适合远程操作。3.其他交互方式：如眼球、意念、表情、唇读等，针对不同的应用和人群，在特殊情况下更为有效。应用：面部识别、情感识别、增强现实（AR）互动等。人-机器人协作控制被动协作控制：机器人没有自己的运动意图或期望运动轨迹，只是强调对外部交互力的响应，以顺应其伙伴，如人类伙伴的运动意图。应用：人-机器人拖动示教。例子：Ficuciello等采用被动阻抗调制策略，在KUKALWR4机器人上进行试验，机器人顺应接触力，但仍表现出负载特性。共享协作控制：机器人和人类伙伴都有各自的运动意图或目标轨迹。机器人在外部干预下平衡自身运动意图与环境顺应之间的关系。例子：Li等使用博弈论实现自然交互，Kucukyilmaz研究动态角色交换机制，Wang等提出参考轨迹自适应方法。主动协作控制：机器人主动估计、预测或学习合作伙伴的运动意图、任务分配、协作角色、动力学参数和成本函数，增强协作的灵活性和自然性。人-机器人协作控制人类意图理解行为识别：指检测和分类给定输入信息中的人类活动，从而理解人的行为。在人机协作中，行为识别帮助判断人的意图，并影响机器人的反应。早期研究：主要聚焦于简单行为（如跑步、行走）在固定背景下的识别，重点在设计运动特征和描述符。当前挑战：人机协作的特殊需求：在协作中，不同行为之间差异小且无明显时间间隔，需要识别相似度高的行为。实时处理问题：现有算法仍主要处理整段数据，无法实时处理片段数据，限制了其在人机交互中的应用。未来方向：需要开发适应动态场景的实时行为检测与识别算法。人-机器人协作控制人类意图理解基于运动预测的意图理解：通过识别人类当前的动作意图，预测未来运动，帮助机器人动态理解人的意图，完成互适应的协作任务。在动态、不确定的情境下，机器人通过预测人的运动，实现更准确的协作。知识网络与意图理解：建立层次化的知识网络，机器人利用结构化知识“读取”人的意图。手臂轨迹分析：通过神经网络建模动态运动信息，分析手臂轨迹，推理目标位置。使用Kinect数据，在3D空间建模目标位置，并通过近似EM算法进行在线学习。建立意图导向动态模型：利用贝叶斯理论推断运动生成过程，并结合意图理解，支持机器人的学习与协作。人-机器人协作控制人机交互安全性随着老龄化社会和人力资源短缺，机器人从工厂扩展到家庭和办公室等有人环境。安全性和可靠性是机器人成功融入有人环境的关键。机器人应减少人类疲劳、提高力量、速度和精度，同时提供经验和理解力。然而，机器人在非结构化环境中的自主行为可能带来安全风险，特别是物理人机交互（pHRI）中的潜在伤害。目前，机器人安全标准尚不明确，尤其在实际应用中仍需解决安全性问题。人-机器人协作控制1.安全框架拟人感知：人们期望机器人具备类似人类的品质和能力，尤其在物理交互中，机器人设计类似人类机械臂更易理解。认知与任务执行：机器人服务员侧重任务执行，而机器人同伴更注重认知交互。交互方式因人而异，机器人反应也有所不同。交互界面设计：有效的沟通依赖共同理解领域，界面设计确保机器人始终处于控制之下。pHRI安全性：关注机器人与用户的碰撞风险，评估机器人传递的能量和功率对用户的潜在伤害。人-机器人协作控制2.安全pHRI中的力学和控制问题被动安全性限制：简单添加被动顺应性覆盖物不足以解决高冲击载荷问题。大惯性机械臂难以根本解决此问题。控制策略：适当控制律和复杂的软件架构能改善安全性，尽管无法完全弥补机械设计缺陷。力/阻抗控制：可以使用外部感知设备，用于监控任务执行，降低意外风险，但依然存在系统故障和不可预测行为的威胁。运动控制的局限：当前工业机器人多为位置控制，单一运动控制无法应对非结构化环境中的交互任务。力/阻抗控制的优势：提供柔顺性，减少意外接触力，实现更自然的物理交互。机器人动态行为控制阻抗控制：广泛应用于机器人与环境的物理交互，阻抗参数描述交互力与运动之间的关系。能够调节交互点的动态行为，但仅为动态行为控制的一种方法。多点交互控制：在多点交互中，接触点的行为与其他点的状态相关，传统的阻抗模型无法完全描述，需要用更为一般的动态行为模型来描述。主动人-机器人协作人机协作在个性化制造中具有重要应用，结合人的灵活性与机器人的精度优势。为了实现更好的协作，机器人需要实时感知、分析工作场景，并主动做出决策。当前的人机协作研究主要集中在人类认知上，但缺乏对工作场景中其他元素的全面考虑，尤其是当向主动协作发展时。随着深度学习和计算机视觉技术的发展，人机协作系统正向多模态通信和上下文感知发展，从反应式机器人辅助向更智能的协同任务执行转变。主动式人机协作的目标是实现人类操作员和机器人之间的自组织、双向协作，以应对复杂的工业任务。主动人-机器人协作主动场景理解：实现人机主动协作，全面理解人机协作场景，提取环境信息并转化为决策与规划知识。三个层次的视觉理解：对象层次：识别任务相关物体。人类层次：识别人类动作、意图。环境层次：分析环境的影响因素。环境智能感知：获取场景中物体属性（如位置、状态），并筛选与任务相关的信息（例如水杯的位置，排除无关数据如背景墙壁）。视觉注意力选择性机制：模仿人类选择性注意力，聚焦与任务相关的视觉信息，滤除干扰，提升场景理解效率。通过选择性注意机制与语义分割技术，精准提取关键物体，增强任务执行成功率。主动人-机器人协作主动对象感知对象识别1）简单地将物体分类为不同的类别，如扳手、螺钉、齿轮等；使用激光扫描、KNN、SVM等方法进行物体分类。2）根据利用率或属性（如抓握位置、工具功能等）精心识别物体的功能可用性。以表示物体的交互特性，例如抓握点在哪里以及可以对物体执行什么动作。对象定位1）检测，它用对象周围的边界框表示对象位置；2）分割，基于对象的几何信息定位对象并输出像素级分割结果；3）其他，其主要依赖于先验知识或几何信息来定位对象。主动人-机器人协作主动对象感知目标姿态估计物体姿态估计是自主机器人操作的一块缺失的拼图，因为它可以以3D物体模型和感官观察之间映射的形式提供精确的物体姿态，根据主要输入或特征源将其进一步分为两类。1）2D特征：仅使用2D图像作为输入源来解决6自由度姿态估计。2）点云：尽管只使用2DRGB相机有好处，但深度信息在精确的6D姿态估计过程中仍然很重要。利用深度信息的常用方法是将深度或RGB-D图像转换为点云。主动人-机器人协作主动人员识别1.人员定位：为了实现有效的人-机器人协作，应首先定位人类在人机协作场景中的位置，以便机器人能够在不与人体碰撞的情况下主动规划其协作动作。1）人体检测：安全性是人机协作系统设计中的关键，防撞方法通过图像处理技术（如边缘检测、形状滤波）在RGB-D图像中分割并检测人体，从而计算危险指数，但此方法在非受控环境中存在局限性。2）人脸检测：人机协作利用人脸检测来检索人体位置信息，并获得识别操作员的机会。2.人类活动1）识别：机器人应该通过摄像机或其他传感器了解一个人过去和现在的状态，从而了解人类从事的活动。2）预测：一些研究人员倾向于预测人类操作员的预期行为。主动人-机器人协作主动人员识别3.人体姿势1）身体姿势：人体姿势通常被表述为从传感器数据推断出的骨骼或关节图，以支持人机协作中的细粒度机器人规划。Kinect相机和CNN模型广泛用于静态姿势估计，如PoseNet和OpenPose用于关节位置估计和人体工程学分析。过融合传感器数据和分类器（如CNN、KNN、SVM），可以识别工人的站立姿势。2）手势识别：早期方法依赖手工特征（如HOG、Hu矩）和分类器（如随机森林、SVM）进行手势分类，用于机器人控制和遥操作。近年来，基于深度学习的手势识别逐渐取代传统方法，提升了鲁棒性。此外，还使用肌电图（EMG）和脑电图（EEG）等非视觉手段用于手势识别和机器人控制。主动人-机器人协作主动环境分析为了处理更复杂的任务，例如导航到看不见的地方以获取人机协作组装过程中所需的特定工具，机器人应具备更全面地感知和建模整个工作环境的技能。1.场景图：将环境的感知结果转换为拓扑图结构。2.2D地图：为了能够表示场景元素的详细几何关系，2D地图是遵循人类实践经验的自然选择，通常采用俯视图的形式。3.3D表示：精细的3D信息（如点云和体素图）被用来表示环境，支持更复杂的操作并避免碰撞。主动人-机器人协作主动视觉推理对物体、人和环境的感知可以提供对人机协作工作场景的整体理解。为了弥合场景理解和主动决策之间的差距，机器人在与人类操作员协作时需要一种推理机制。视觉推理是指通过对人机协作场景的视觉观察，对视觉线索的潜在含义或未来机器人动作的指示进行推理。1.视觉提示基于视觉线索的推理是协作机器人更高层次认知智能的基本要求。早期工作包括使用贝叶斯决策方法推理装配零件检测的传感模式和利用卷积变分自编码（ConvVAE）与LSTM模型进行目标图像推理，帮助机器人自动选择零件。2.视觉和语言提示结合视觉和语言线索进行推理能提供更准确的信息。早期工作通过数学模型和知识库模型结合视觉和语言信息，增强推理能力，例如集成对象定位、人类活动识别与语音识别进行推理。挑战和未来方向1.基于功能可用性的智能物体认知机器人应具备智能的认知能力，不仅识别物体类别，还能理解与后续动作相关的物体固有价值。在复杂的人机协作任务中，机器人可能面对未知对象，但依然需要根据已识别对象的功能进行拆卸规划。2.协同操作对象的精确建模尽管计算机视觉在物体检测和分类中广泛应用，人机协作中的精确物体建模仍存在挑战。尤其在装配任务中，实时的6-DoF目标姿态估计技术对精确建模至关重要，但受到依赖CAD模型、遮挡问题和计算效率等限制，影响了其实际应用。3.更精细的人体感知计算机视觉中的密集人体姿势和手势建模趋势，为更精细的人体感知提供了新的可能，尤其适用于主动式人机协作场景。挑战和未来方向4.分层和混合工作空间建模传统的工作空间建模方法（如场景图、2D地图、3D表示）无法满足未来人机协作系统的需求，特别是在灵活制造车间中。为支持精细协作和中长导航任务，分层和混合环境表示成为优选方案，具备动态交替和交互机制，适应不同粒度的应用。5.视觉语言推理视觉和语言推理是实现人机协作中人机无缝协作的关键。尽管已有大量研究利用视觉和语言线索进行推理，但大多数工作忽视了知识库的整合，并主要关注固定机械臂推理，而非移动机器人在更长时间和物理距离上的推理需求。6.基于视觉场景理解的延迟问题视觉传感器在人机协作场景中的应用受限于延迟问题，主要由低采样率、大数据流和计算复杂性引起。随着5G和Wi-Fi等技术的发展，数据流问题有所缓解，但如何减少算法级别的计算延迟仍是挑战。利用神经架构搜索技术来搜索特定任务和硬件平台的有效模型结构，希望自动获得轻量级和低延迟模型。谢谢机器人-环境交互技术机器人-环境交互分类依据机器人与其环境之间交互的性质，可分为两类：非接触任务和接触任务。第一种即自由空间中的无约束运动，如机器人携带摄像头进行巡检等，机器人对环境没有任何的影响。在非接触任务中，机器人自身的动力学对其性能有着至关重要的影响。与这些任务相反，许多复杂的高级机器人应用属于接触任务，如装配和加工，需要机械臂与其他物体进行力耦合。机器人-环境交互建模刚性机械臂与环境交互的动力学模型由以下形式的向量微分方程描述：使用机器人雅可比矩阵，我们可以将机器人动力学模型从关节坐标系转换为末端执行器坐标系:由于力相互作用过程通常非常复杂，很难用精确的数学方法进行描述，因此不得不引入某些简化，从而部分地将问题理想化。在实践中，交互力

通常建模为机器人动力学的函数，即末端执行器的运动（位置、速度和加速度）和控制输入的函数：(1)(2)(3)机器人-环境交互控制对柔顺运动控制中遇到的问题进行了广泛的研究，提出并阐述了几种控制策略和方案。这些方法可以根据柔顺的种类进行初步的系统化。根据该标准，可以区分柔顺运动的两组基本控制概念，如下所示：被动柔顺，由于机械手结构、伺服或特殊柔顺装置中固有的柔顺性，末端执行器位置由接触力本身调节；主动柔顺，其中柔顺性通过构建力反馈闭环来实现，以便通过控制交互力或通过在机器人末端生成特定于任务的顺应性来实现可编程机器人反应。主动柔顺控制方法可分为力控制和阻抗控制。主动柔顺控制方法力控制，即通常的位置/力控制，其中所需的交互力和机器人位置都受到控制。在力控制中，给定期望的力轨迹，并测量力以实现反馈控制。力控制方法可以分为力位混合控制、统一力/位置控制、并联位置/力控制等。阻抗控制，它使用作用力和末端执行器位置之间的不同关系来调整末端执行器对外力的机械阻抗。阻抗控制问题可以定义为设计控制器的要求，以便交互力根据目标阻抗定律控制末端执行器的标称位置和实际位置之间的差异。阻抗控制可以分为基于力控制的阻抗控制和基于位置控制的阻抗控制。机器人-环境交互控制发展趋势通过分析国内外研究现状，不难发现机器人-环境交互控制技术还不能满足要求。在机器人-环境交互控制领域还有许多问题亟待解决：首先，对于机器人-环境交互问题，目前很多研究只考虑机器人的阻抗控制参数，并未考虑环境模型参数。这使得系统模型并不完整。当机器人与环境相互作用时，将机器人与环境作为一个整体来考虑是很自然的。其次，对于机器人-环境交互问题，目前许多研究假设环境参数是已知的，这在实际应用中通常无法实现。第三，对于机器人-环境交互问题，目前许多研究都假设交互只发生在单个接触点上，而机器人-环境多点交互问题非常常见，但目前关于这方面的研究很少。第四，对于机器人-环境交互问题，通常采用阻抗控制方法。但是阻抗控制只是动态行为控制的一种特殊情况，其在很多复杂场合的应用受到限制。为此，需要进一步研究更为一般的动态行为控制模型和框架来解决这类问题。展望

对于环境动力学模型和位置参数未知的机器人-环境交互问题，如何获得优化的交互性能是一个非常重要和复杂的问题。对于这类问题，强化学习方法提供了非常合适的工具。在强化学习方法中，系统与环境之间相互作用产生的强化信号是对当前行为的评价，然后根据强化信号更新控制策略以适应环境。在机器人-环境交互中，交互作用力是对当前机器人-环境交互行为的一个评价标准，基于这一指标可以对阻抗行为进行更新以获得优化的交互性能。这两种情况非常类似，因此可以使用强化学习方法解决机器人-未知环境交互控制问题。谢谢协作机器人操作控制目录CONtants操作任务分类010203操作任务建模操作技能学习操作任务分类从是否需要进行力控制可以分为力控制操作任务和不需要力控制的操作任务；从被操作环境的动力学特性可以分为刚性接触、柔性接触、塑性接触、摩擦接触等；

从机器人-环境耦合特性可以分为瞬时耦合、松耦合和紧耦合三种，瞬时耦合包括拾取并放置任务，松耦合包括按压按钮、轴孔装配或插入任务，紧耦合包括开关门、转动阀门等；从机器人-环境接触状态是否可变分为定接触状态任务和变接触状态任务；从任务阶段可分为单阶段任务和多阶段任务；从环境是否可变可分为定常操作任务和变化操作任务；从环境结构性特点可分为结构性操作任务和非结构性操作任务。操作任务建模机器人-环境接触动力学模型如下所示：技能学习意义随着机器人技术的发展，人们期望机器人具备更强的自主操作能力，在更多领域代替人类完成更加复杂的操作任务；在人工分析机器人行为特性和工作任务要求的基础上,采用传统复杂编程、遥操作或示教编程等常规方法可使机器人具备一定的操作技能，较好地胜任诸多结构化工作环境和单一固定任务的工作场景，完成快速、准确、可重复位置和力控制的任务；

采用传统常规方法设计的机器人操作技能不能动态地适应非结构化工作环境或场景多变的工作场合，且机器人操作技能开发过程中存在着周期长、效率低、工作量大及不能满足需求的多样性等诸多难题；采用机器学习方法设计具备一定自主决策和学习能力的机器人操作技能学习系统，使机器人在复杂、动态的环境中学习并获取操作技能，能弥补传统编程等常规方法的缺陷，极大提高机器人对环境的适应能力。研究现状近年来,机器人操作技能学习研究正逐渐成为机器人研究领域的前沿和热点,新的学习方法被逐渐应用于机器人的操作技能学习中，诸多著名研究机构和公司,如DeepMind、加州大学伯克利分校、OpenAI、GoogleBrain、清华大学、等在此领域取得了一定的成果，但仍面临着巨大挑战。可用多种机器学习算法实现机器人操作技能学习，机器人训练数据的产生方式决定了机器人学习所要采用的具体方法。机器人操作技能学习所需数据大致可由机器人与环境交互产生或由专家提供。因此，机器人操作技能学习方法分为基于强化学习的方法，基于示教学习的方法和基于小样本数据学习的方法。基于强化学习的方法马尔科夫过程MDP（S,A,R,P,r）优化目标值函数基于值函数的方法分为基于模型学习的值函数方法和无模型的值函数方法。总体而言,基于无模型的值函数方法不需对系统建模，计算量小，但价值函数的获取需要通过机器人与环境的不断交互采样估计得到。基于学习模型的值函数方法首先需要依据机器人与环境的交互数据学习得到系统模型，并基于该模型采用仿真形式得到最优策略，故其在真实环境中所需的样本少，但计算量大。基于强化学习的方法使用参数化策略

时，强化学习的优化目标为：策略梯度的计算公式如下：策略参数更新公式如下：在机器人操作技能学习领域,策略搜索比基于价值函数的强化学习更具优势，主要体现在:1)采用策略搜索方法可以较为方便的融入专家知识,可依据获取的专家策略对神经网络参数进行初始化，以加速策略优化的收敛过程;2)策略函数比价值函数具有更少的学习参数，基于策略搜索的强化学习算法更加高效。基于强化学习的方法基于参数化策略的方法基于强化学习的方法基于深度神经网络的深度学习作为机器学习领域的新分支，其通过组合低层特征形成更加抽象的高层表示，以得到数据的分布式特征。近年来，诸多学者将深度学习和强化学习相结合得到的深度强化学习算法成功应用于视频游戏、围棋等领域。与常规强化学习方法相比，深度强化学习算法将具有强表征能力的深度神经网络用于强化学习中价值函数和策略函数的表达，避免了人为手工设计特征，同时也易融入环境中的图像感知信息，较适合于机器人操作技能学习。DQN网络结构示意图基于深度强化学习的方法基于人机交互强化学习的方法使用人机交互式强