示教学习的总结

机器人的三代：（1）可编程机器人：一般根据操作人员所编程序,完成一些简单的重复性操作。（2）感知机器人：又叫做自适应机器人，它在第一代机器人的基础上发展起来,能够具有不同程度的“感知”周围环境的能力。（3）智能机器人：将具有识别、推理、规划和学习等智能机制,它可以把感知和行动智能化结合起来,因此能在非特定的环境下作业智能机器人与工业机器人的根本区别在于,智能机器人具有感知功能与识别、判断及规划功能。而感知本身,就是人类和动物所具有的低级智能。因此机器的智能分为两个层次:①具有感觉、识别、理解和判断功能;②具有总结经验和学习的功能。所以,人们通常所说的第二代机器人可以看作是第一代智能机器人。2.智能机器人的感官系统：(1)触觉传感器：阵列触觉传感方器。(2)视觉传感：①隔开物体的二维视觉:双态成像;②隔开物体的二维视觉:灰度标成像;③触觉或叠加物体的二维视觉;④二维观察;⑤二维线跟踪;⑥使用透视、立体、结构图示或范围找寻技术从隔开物体中提取三维信息。(3)听觉传感：目前用的最多的是麦克风与机器人的自然语言理解系统。(4)运动性能：机器人通常是要在周围移动物体的,例如:机器人臂到轮子或脚的运载器已有许多结构在使用,此外还有许多其他型号在研究之中。为在空间任意点以任意方式操作一个物体,机器人臂需要有6个自由度:左/右、前/后、上/下、投、卷和左右摆转。在工业中使用的坐标已有6个：圆柱形、球形、笛卡尔坐标、旋转坐标、Scaratype和并行坐标。3示教：所谓示教是指操作者在实际作业环境中，或用手工引导机器人末端执行器，或用手工引导一个机械模拟装置，或用示教盒对机器人进行编程，来操作机器人完成规定作业的所需位姿，并记录下示教点的位姿数据，其间一组连续的示教点就构成了机器人完成相关动作的工作点位，依此构建的程序能够保证机器人在此后的运行中圆满再现人们示教给机器人的作业动作。其实质是机器人将整个作业内容一步一步地记录下来，每一步操作都表示为指令。示教结束后机器人按指令顺序完成示教内容的动作（即再现。）若任务或环境有了改变，要重新进行示教。4示教学习分类：示教学习的主要目标是通过学习示教者的行为，达到由自主体自动学习最优策略的目的。直接示教学习：直接学习从状态到动作的映射函数。直接示教学习的缺点：直接示教学习的学习目标是状态到动作的映射，而不关注世界环境的建模。因此，学习结果难于解释，也难于调整；第二、如果环境改变，算法需要重新对所有训练样本进行训练，这将导致大量的重复工作；第三、在一些应用中，示教者与学习者拥有不同的传感器与能动器。因此，示教者的动作无法直接应用于学习者上。间接示教学习：先通过观察示教者行为来学习环境参数，再由最优化控制器根据环境参数得到最优策略的过程。间接示教学习被分为两个阶段：第一个阶段中自主体先学习环境参数（估计环境参数）；第二个阶段中自主体再推导当前环境中的最优策略（求解最优控制器）。其中在第一个阶段的若干种环境参数表达方法中，回报函数以良好的泛化能力和对任务的描述能力被广泛采用。直接示教学习5示教学习的国内外研究现状随着机器人技术的发展，现代机器人在工业生产、军事发展、科学探索和社会生活等方面得到了广泛应用。机器人学的主要研究目标之一是让机器人可以按照人类预设的策略(状态到动作的映射)去执行动作。在这样的背景下，示教学习(Imitationglearning，Demonstrationlearning，Learningfromdemonstration，LearningbyobservationorApprenticeshiplearning)应运而生。其主要目标是通过学习示教者的行为，达到由自主体自动学习最优策略的目的。早在上个世纪80年代，国外研究者就开始对示教学习进行初步地探讨。示教学习可以分为两类：直接示教学习和间接示教学习。前者直接示教学习从状态到动作的映射函数，后者分为两个阶段：第一个阶段中自主体先学习环境参数；第二个阶段中自主体再推导当前环境中的最优策略。直接示教学习曾在机器人学的发展过程中起到巨大的推动作用，其比较成功的例子诸如ALVINN系统。ALVINN的开发者通过训练神经网络来得到基于前方影像图片对应车辆转向角的预测值。这类方案虽然理论上可行，但在实际应用中往往效果不佳。原因是直接示教学习系统往往倾向于“短视”性规划，即假设最优动作根据当前的单个状态就能够得到。但是，在当前的大多数机器人系统中，这种假设并不成立。事实上，要达到好的学习结果，往往需要考虑几步甚至无穷步后的结果对自主体的影响。与直接示教学习不同，间接示教学习是指先通过观察示教者行为来学习环境参数，再由最优化控制器根据环境参数得到最优策略的过程。这样的学习问题也被称为逆向优化控制(Inverseoptimalcontro1)问题。这种示教学习方法因其对规划系统要求较低并能考虑长期回报而受到广泛关注和应用。逆向优化控制的概念最早由Kalman提出。国内示教学习技术发展与国外还有一定的差距，到八十年代中期863计划实施之前，全国还没有一台示教再现式关节型机器人产品问世，更谈不上生产应用。但是经过“七五”攻关和“八五”、“九五”、国家“八六三”计划支持的应用工程开发，我国机器人设计、制造和应用技术已经趋于成熟，机器人的开发基本上是按照用户要求结合工程应用进行的。机器人的示教学习技术也取得令人瞩目的快速发展，国内的少数研究所与大学，如中科院沈阳自动化所、哈尔滨工业大学、上海交通大学、北京机械工业自动化所、大连组合机床所等，开展了基于示教再现或遥控操作的工业机器人实验样机的研制。在路径规划技术方面，现在大部分机器人采用示教的方式。现在国外很多企业在满足现有生产应用的同时，不断开发新技术来提高机器人的应用水平，比如开发出离线编程系统、虚拟示教系统，对多机器人协调技术等进行研究，这些技术无疑是推广机器人应用的有效手段，将机器人与其他生产资源相结合，进一步提高了生产效率，而国内企业多采用示教方式，还未见到采用离线编程的产品。整体来看，我国机器人行业快速地发展，但是与外国还有一定的差距，我们需要学习外国的先进技术，同时也需要注重自己的研究与开发，为中国机器人事业做进一步的努力。6示教学习的存在问题示教学习研究进展迅速，但同时也带来新的问题。通常来说，在示教学习里的工作，为机器人的控制策略，我们需要假设一个固定的形式并学习适当的参数。到目前为止，在一般普通用法中，有几种不同形式的策略，但没有明确的正确的技术。此外，一个系统可以被提供多个可能的控制器，如何选择哪个是最合适，其相关标准无法确定。强化学习和模仿学习的结合已经被证明可以有效地解决技能的获得，但是这些技能需要机器人动力学的精细调整。同样，通过转换人类引导和机器人发起二者之间的学习，互动学习技术在允许学习策略的协作改进方面是很成功的。但是，决定各种学习模式之间进行切换的最佳时间的协议还没有被权威部门规定下来。到目前为止的工作，教学通常是由一个教师所执行的，或者教师团队所提出的教学任务的一个明确概念。为了解决在教师所采用不同的风格下的示范活动与其冲突的相关性问题，更多的工作需要进一步探讨与研究。示教学习的实验大多集中在单个任务(或一组密切相关的任务)，并且每个实验开始于一个白板。随着复杂任务的学习进展，这就意味着我们需要设计大规模存储和重用的先验知识的方式。这同时需要有形式体系来允许机器人选择信息，减少冗余信息，选择功能，并有效存储新数据。7回报函数回报函数的估计，又称为逆向增强学习(Inversereinforcementlearning，IRL)，是指给定智能体行为、状态和环境动态模型，在马尔可夫决策过程模型中求解回报函数的问题。逆向增强学习和增强学习(Reinforcementlearning，RL)互为逆过程，并且基于一致的理论模型一旦通过逆向增强学习获得了回报函数，系统便可以通过增强学习求解最优控制器。因此，逆向增强学习解决了间接示教学习中的参数估计问题，为间接示教学习的第二阶段中的增强学习提供了环境参数。8机器人示教系统分类（按照示教方式分类）：机器人在线示教（在线或再现编程）：机器人在线示教编程简单方便，适用于大批量生产，完成简单任务的场合。在线示教再现系统特点：利用了机器人具有较高的重复定位精度优点，降低了系统误差对机器人运动绝对精度的影响，这也是目前机器人普遍采用这种示教方式的主要原因。在线示教缺点：编程质量取决于编程员的经验，且编程员处于机器人工作空间的危险环境中；示教过程繁琐、费时,需要根据作业任务反复调整机器人的动作轨迹姿态与位置，时效性较差，而且很难规划复杂的运动轨迹以及准确的直线运动。（2）机器人离线示教（离线编程）：机器人离线示教是指操作者不对实际作业的机器人直接进行示教,而是脱离实际作业环境生成示教数据,间接地对机器人进行示教。机器人离线编程是机器人编程语言的拓广，它利用计算机图形学，建立机器人及其工作环境的几何模型，然后对机器人所完成的任务进行离线规划和编程，并对编程的结果进行动态图形仿真，最后将满足要求的编程结果传给机器人控制柜，使机器人完成指定的任务。离线编程方式特点：可以离线进行复杂的运动轨迹规划，能够进行碰撞和干涩检验，改善了编程环境，使示教轨迹的修改变得更容易；由于使用图形用户界面和数据库，编程员必须将以前只保存在纸上或操作员脑中的任务知识和技巧结合到系统中，因此编程员需要分析和建模任务并基于分析结果构建系统，需要机器人系统和工作环境的图形模型；由于进行的规划和计算是建立在系统理想模型基础上的，实际应用时，带来的困难是无法有效地校正实际的世界与理想模型间的偏差；编程不影响机器人的工作，可通过仿真试验程序，可实现复杂运动轨迹的编程。离线编程方式的优缺点：离线编程需要建立机器人工作的环境空间模型，技术员通过建立工件的空间模型，由离线编程系统生成可执行代码，这种方式有利于提高劳动生产率，避免了直接示教占用生产时间和需要现场参与的缺点。但是它与示教再现编程相比较，不仅开发周期长，同时离线编程系统对操作人员要求较高，需具备专门的机器人知识和程序设计的能力，使用也不太方便，尤其是在对机器人作业任务的描述上不能简单直接。由于机器人系统的误差模型无法预先确定，因而根据机器人运动学与动力学模型和作业环境所规划出的作业轨迹和位姿往往与实际运动轨迹和位姿不一致（误差的大小取决于机器人系统的机电性能），这在很大程度上限制了离线编程方式的实际应用。在实际操作过程中，这是因为模型和实际之间存在着差距，通过离线编程系统做出的程序在应用之前还需要进行误差校正，因此离线编程系统比较适合于流水线生产，生产线上除了工业机器人外，还需要其他自动化设备（如变位机，工装夹具等）辅助生产，才能构成一套完备高效的生产线。该种方式需要针对具体客户设计特定的流水线，项目开发和实施周期都比较长。而针对我国中下型企业比较多的情况，采用离线编程的方式并不是一条可取的技术路线。图1所示为机器人离线编程系统的结构图，由图可见，开发离线编程系统本身也是一件系统性、工程性很强的工作。图1机器人离线编程系统的结构图（3）虚拟示教：它是在离线编程基础上发展起来的，吸取了离线编程和直接示教的优点。它是借助于虚拟现实系统中的人机交互装置（例如：数据手套、游戏操纵杆、力觉笔杆等）操作计算机屏幕上的虚拟机器人操作，然后利用应用程序界面记录示教点位置、动作指令并生成作业文件，最后下载到机器人控制器后，完成机器人的示教。实质就是虚拟现实作为高端的人机接口，允许用户通过声、像、力以及图形等多种交互设备实时地于虚拟环境交互，根据用户的指挥或动作提示示教或监控机器人进行复杂的作业。利用虚拟现实技术进行机器人示教是机器人学中新兴的研究方向。目前，部分公司已经有比较成熟的离线编程和虚拟示教系统，如瑞典ABB公司，日本Panasonic公司。9在线示教的分类：从我国的现实情况考虑，采用在线示教的方式是一条快速而适用的路线，可以为分为以下几种方式：人工牵引示教、人工模拟牵引示教、手把手示教，操纵杆示教、遥控示教、示教盒示教。（1）人工牵引示教出现在早期的示教再现系统中，一般是操作员直接牵引机器人沿作业路径运动一遍，对于难以直接牵引的大、中型功率液压机器人，这种方式并不适合。于是又有人工模拟牵引示教，在牵引的过程中，由计算机对机器人各关节运动数据采样记录，得到作业路径数据。由于这些数据时各关节的数据，因此这种方法又称为关节坐标示教法。这种示教方法的优点是控制简单，缺点是劳动强度大，操作技巧性高，精度不易保证。如果示教失误，修正路径的唯一方法就是重新示教。（2）手把手示教：操作员通过操纵安装在机器人末端的可控制手柄对机器人进行作业柜机演示，控制手柄上的力或力矩传感器产生相应的输出数据用于机器人控制器驱动机器人向期望的方向运动。其缺点是无法确定机器人的最优作业姿态与路径，而且必须加入检测和刹车作为人身保护措施。（2）操纵杆示教：利用开关感知操纵杆所在的位置，并记忆存储相应的位置信息，在示教重现时调用这些位置信息。这种示教方式具有操作灵活、实现方便、直观的优点，但是也具很多明显的缺点比如：精度有限，重复精度不高，无法满足高质量焊接要求，与目标位置的误差依赖操作者经验（目测），需要操作者现场直接参与，而且可控制的外不量有限，对于焊机电流等参数无法直接控制。因此，该示教方式适合于仓储运输、物料搬运等自动操作领域，不适用焊接机器人的示教。（3）示教盒示教：是各个机器人公司普遍采用的一种示教方式。该方式是在示教盒上预留一定功能按键用来输入机器人语言程序。一般来说，这些语言都是比较简单，容易理解。相对于其他在线示教方式来说，具有程序特征，具备流程控制功能。而且示教盒具有丰富的人机界面功能，示教盒通常具备液晶显示屏和操作键盘有丰富的状态提示，能够切换不同的坐标系统，同时能够与主控制器镜像通讯，具有丰富的扩展功能。图2和3是我国新松机器人公司的示教盒系统及屏幕显示信息。图2新松机器人公司的示教盒外观图3新松机器人示教程序示例这些形势不同的机器人示教再现系统具有如下一些共同特点：（1）利用了机器人具有较高的重复定位精度优点，降低了系统误差对机器人运动绝对精度的影响这也是目前机器人普遍采用这种示教方式的主要愿意；（2）要求操作员具有相当的专业知识和熟练的操作技能，并需要现场近距离视角操作，因而具有一定的危险性，安全性较差；（3）：示教过程繁琐、费时，需要根据作业任务反复调整机器人的动作轨迹姿态与位置，时效性较差。10目前机器人示教的三种方式：（1）手把手示教又称为全程示教，即由操作者握住机器人的机械手臂末端，带动机器人按实际任务操作一遍。在此过程中，机器人控制器的计算机逐点记下各关节的位置和姿态值，而不作坐标转换，再现时，再逐点取出，这种示教方式需要很大的计算机内存、而且由于机构的阻力，示教精度不可能很高。而且只用在喷漆、喷涂机器人上。（2）示教盒示教由操作者通过示教盒操纵机器人进行在线示教，这是最常用的机器人示教方式。该方法的实质是手工点动示教，操作者通过示教盒在直角坐标系和极坐中标系移动机器人各关节，使机器人末端执行器沿欲示教轨迹运动，在轨迹路径上记录示教的位置、姿态、运动参数和工艺参数，并生成一个连续执行全部操作的示教程序。该示教方法比较直观，易于实现且智能程度较高；但它的缺点亦是显而易见的，由于末端执行器的位置与姿态都是由操作者凭肉眼获得，导致示教精度低，且费时费力。目前实际生产中运用的焊接机器人都采用这种方式，它需要生产人员现场参与，占用了生产时间，降低了劳动生产率，而且焊接精度依赖于操作工人的经验，但是相对来说比较简单直接。（3）离线编程示教离线编程是利用计算机图形学的成果，建立起机器人机器工作环境的模型，利用一些规划算法，通过对图形的控制和操作在脱离生产线的情况下对机器人的轨迹进行轨迹规划。实质就是无需人操作机器人进行现场示教而是根据图样，通过对工件现有CAD数据进行提取，建立起加工路径或现场的数学模型，然后自动编程生成加工代码，再对编程的结果进行加工仿真，以检验编程的正确性，最后生成数控代码控制机器人运动，完成给定任务。大致有两种离线示教编程的方法：a.在生产线另安装一台所谓主导机器人，用它模仿机器人作业的动作，然后将制成的示教程序传给生产上的机器人；b.借助计算机图形学技术，在计算机上按工件与机器人的装配关系对作业动作进行仿真，然后将示教程序传给生产线上的机器人。但后一种方法还遗留若干问题有待解决，如工件和周边设备图形输入的简化，机器人、末端执行器与工件干涉检查的简化等等。一个完整的机器人离线编程系统一般由三维几何造型、运动学计算、轨迹规划、图形仿真、用户接口、语言转换以及误差校正等几个部分组成。由此可见，离线编程是一种相对高级的编程方式，包括了建模、算法、仿真等相关专业知识，开发难度大、周期长，需要考虑到工作过程的方方面面，对操作人员的要求也较高，但是可以远程操作，示教过程不占用生产时间，实现复杂运动轨迹的编程，使用规划技术可以实现最佳路径规划。离线示教编程使操作者远离危险、恶劣的作业环境有着积极的意义，采用这样的方案具有自动化程度高、更为安全、便于优化、编程可与加工并行进行等优点，无形之中增加了机器人加工作业时间而降低成本。但在作业路径（轨迹）无法精确知道的情况下，离线示教编程是不实际的。另外，其加工精度较难评价，并且需要高级的CAD系统和计算机硬件系统提供支撑，因而成本高。机器人示教再现技术就是储存实现交给机器人的示教信息，进一步仿效记忆内容，再现机器人的动作，也就是机器人的动作按照示教——记忆——再现的顺序来进行。按照方式分，示教操作有俩种类型：直