《机器人感知与交互》教学大纲

《机器人感知与交互》教学大纲适用范围：202X版本科人才培养方案课程代码：22150031课程性质：专业选修课学分：2学分学时：32学时（理论24学时，实验8学时）先修课程：机器人检测技术与传感器、机器人工程学、机器人驱动与运动控制等后续课程：毕业设计适用专业：机器人工程专业开课单位：智能工程学院一、课程说明《机器人感知与交互》是机器人工程专业的一门专业选修课。本课程主要讲授机器人感知与交互的设计和应用，它与人工智能、传感器、视觉技术以及认知科学等都有紧密的关系。本课程注重实际应用性，能开阔学生思维，使学生对本专业的发展前沿有全方位的认知，并对机器人感知与交互的实际开发有深入了解，能掌握一定的科学研究方法与技能，为培养创新研究复合型的学生奠定良好基础。二、课程目标通过本课程的学习，使学生达到如下目标：课程目标1：了解机器人交互的概念、不同时期的用户界面特点，理解用户界面设计的基本原则和方法，根据机器人控制软件技术的发展趋势，结合当前机器人与人的图形交互仿真，让学生熟练掌握机器人软件系统用户界面设计的主要过程和可用性评价方法，使学生了解机器人交互界面是人与机器人传递和交换信息的媒介。课程目标2：通过学习掌握人机交互设备原理、语音识别、手势控制等交互手段，充分发挥人类的高级规划智能和机器人执行智能，实现人机优势互补，掌握典型数据手套、运动映射力反馈映射原理和实现。有机结合社会主义核心价值观的条件下，提升学生的个人素养和职业道德，将学生培养成具有高尚职业道德的现代化人才。课程目标3：通过实验操作，提升了学生解决机器人感知领域实际问题的能力，增加了学生对机器人感知与交互技术的全面了解，进一步培养学生积极思考、团队合作、严谨创新的优良作风。三、课程目标与毕业要求《机器人感知与交互》课程教学目标对机器人工程专业毕业要求的支撑见表1。表1课程教学目标与毕业要求关系毕业要求指标点课程目标支撑强度1.工程知识：具有从事机器人工程领域所需的数学、自然科学、工程基础和专业知识，并能够综合应用这些知识解决机器人工程领域复杂工程问题。1.2掌握机器人工程领域所需的电路分析、电子技术、计算机、机械等原理和思想，能将其知识方法用于复杂机器人工程问题的分析和表述；课程目标1：了解机器人交互的概念、不同时期的用户界面特点，理解用户界面设计的基本原则和方法，根据机器人控制软件技术的发展趋势，结合当前机器人与人的图形交互仿真，让学生熟练掌握机器人软件系统用户界面设计的主要过程和可用性评价方法，使学生了解机器人交互界面是人与机器人传递和交换信息的媒介。M3.设计/开发解决方案：能够针对机器人工程领域复杂工程问题设计解决方案，设计满足特定需求的硬件部件、智能算法、系统集成应用，并能够在设计环节中体现创新意识，并考虑社会、环境、健康、安全、法律、文化等因素。3.3能够通过单元集成和优化，进行机械电子结构、智能算法、系统集成等部件的应用与设计；课程目标2：通过学习掌握人机交互设备原理、语音识别、手势控制等交互手段，充分发挥人类的高级规划智能和机器人执行智能，实现人机优势互补，掌握典型数据手套、运动映射力反馈映射原理和实现，为进一步学习和运用机器人感知与交互相关方法解决实际问题奠定初步基础。M注：表中“H（高）、M（中）”表示课程与相关毕业要求的关联度。四、教学内容、基本要求与学时分配1.理论部分理论部分的教学内容、基本要求与学时分配见表2。表2教学内容、基本要求与学时分配教学内容教学要求，教学重点难点理论学时实验学时对应的课程目标1.绪论1.1机器人交互概念1.2机器人交互研究的内容1.3机器人交互发展历史1.4机器人交互应用教学要求：使学生了解人机交互的概念、研究内容和发展历史，掌握人机交互的分类以及部分应用实例。重点：人机交互的概念、研究内容和发展历史。难点：人机交互的主要研究领域。21、22.感知与认知基础2.1人的感知2.2知觉的特性2.3认知过程与交互设计原则2.4概念模型的认知2.5分布式认知教学要求：使学生了解人的感知模型，掌握人的认知过程与交互设计原则，掌握认知概念模型的几种表示方法，掌握分布式认知模型等基本的感知和认知基础知识。重点：人的认知过程与交互设计原则难点：交互设计原则、认知概念模型的几种表示方法。21、23.人与机器人交互框架3.1交互模式3.2以用户为中心的HRI3.3多模式HRI教学要求：使学生了解HRI与HCI的区别与联系，掌握HRI交互框架的两个主要模型，了解用户为中心的HRI的主要元素及设计方法。重点：Norman模型的7个阶段，HRI交互框架。难点：Norman模型的7个阶段，HRI交互框架。222、34.机器人图形交互4.1虚拟图形建模4.2虚拟模型装配4.3虚拟模型仿真4.4碰撞检测4.5机器人图形交互实例教学要求：使学生掌握OpenInventor机器人图形交互软件使用，掌握碰撞检测方法和机器人图形交互实例。重点：OpenInventor机器人图形交互软件、虚拟装配、OBB碰撞检测。难点：OpenInventor机器人图形交互软件、虚拟装配、OBB碰撞检测。222、35.基于键盘/鼠标/手柄的机器人交互5.1基于鼠标键盘的机器人交互5.2基于空间鼠标5.3基于力反馈手柄的机器人交互教学要求：使学生掌握基于鼠标/键盘的机器人交互，掌握空间鼠标的原理及程序实现方法、交互示例，了解基于Omega7力反馈手柄的机器人交互应用，对比HAPTION力反馈手柄的交互应用方式。重点：基于鼠标/键盘/空间鼠标的机器人交互。难点：Omega7力反馈手柄与HAPTION力反馈手柄的对比应用。42、36.基于数据手套的机器人灵巧手交互6.1数据手套概述6.2灵巧手介绍6.3数据手套交互控制灵巧手方法教学要求：使学生了解常见数据手套的基本原理，掌握利用数据手套交互控制机器人灵巧手的基本流程。重点：数据手套程序开发基本流程，数据手套交互控制机器人灵巧手方法。难点：数据手套程序开发基本流程，数据手套交互控制机器人灵巧手方法。41、2、37.人机物理交互安全技术7.1人机物理交互概述7.2人机物理交互伤害概述7.3安全评价指标7.4物理人机交互安全实现方法教学要求：使学生了解物理性人机交互接触伤害分类特点，了解头部、颈部、胸部伤害指数特点，掌握实现物理性人机安全交互的方法。重点：头部、颈部、胸部伤害指数特点，实现物理性人机安全交互的方法。难点：头部、颈部、胸部伤害安全评价指标，实现物理性人机安全交互的方法。21、2、38.基于手势视觉识别的机器人交互8.1手势感知8.2手势表述8.3手势数据集8.4手势图像特征8.5基于手势的机器人交互实例教学要求：使学生掌握手势的定义、分类及表述形式，RGB与HSV变换条件，了解支持向量机SVM的相关原理。重点：动态与静态手势识别特征，RGB与HSV变换条件。难点：动态与静态手势识别特征，RGB与HSV变换条件。221、2、39.基于肢体动作识别的机器人交互9.1动作表述9.2人体图像运动特征9.3动作数据集9.4人体肢体动作识别9.5肢体动作识别实例教学要求：使学生掌握动作表示方法分类，掌握人体图像运动特征，了解动作公共数据库对于动作识别的两个重要作用，掌握人体肢体动作识别方法。重点：人体动作表示分类，动作数据集、肢体动作识别分析。难点：人体动作表示分类，动作数据集、肢体动作识别分析。21、2、310.基于人脸表情识别的机器人交互10.1面部表情特征10.2表情数据集10.3人脸表情特征检测10.4人脸表情识别教学要求：使学生掌握表情识别算法常用表情数据库，了解人脸区域检测提取方法，了解基于ASM和SVM的表情识别，掌握基于面部表情的识别程序。重点：基于ASM和SVM的表情识别，基于面部表情的识别程序。难点：基于ASM和SVM的表情识别，基于面部表情的识别程序。221、2、3合计2482.实验部分实验部分的教学内容、基本要求与学时分配见表3。表3实验项目、实验内容与学时实验项目实验内容和要求实验学时对应的课程目标1.基于肢体动作识别的人机交互实验内容：熟悉基于肢体动作识别的人机交互，可以是手势识别、三维输入、语音识别、手写识别等。实验要求：使学生掌握基于肢体动作识别的人机交互的方法。41、22.基于人脸识别的机器人交互实验内容：熟悉基于人脸识别的机器人交互，可以是眼动跟踪、三维输入、语音识别、表情识别等。实验要求：使学生掌握基于人脸识别的机器人交互的方法。41、2、3合计8五、教学方法及手段本课程以课堂讲授为主，结合讨论、案例、视频资源共享、实验等教学手段完成课程教学任务和相关能力的培养。教师讲解知识点、演示程序代码，使学生对知识点形成直观印象，并通过课堂教学双方互相提问，与学生互动，鼓励学生在课堂上发表自己的见解，加深对知识点的理解，注重理论指导的作用，积极探究达到最佳视觉效果的典型做法。同时贯彻理论和实践相结合的原则，给学生处一定量的思考，并要求完成一定量的作业，以提高学生的理论水平，培养学生的动手能力和创新精神。在实验教学环节中，着重讲授如何用科学的手段来完成理论的验证；如何组织实验、处理数据和分析实验现象；介绍常用设备和仪器的原理、构造和使用维护方法以及综合实验内容的思路和方案设计等。通过任务式教学、讨论式教学培养学生在软件体系架构下的软件设计的能力。培养学生自主学习能力、激发学生的创新思维。在实验前学生应复习和掌握与本实验有关的教学内容、认真阅读实验指导书；在实验中要严格遵守实验纪律，按操作规程使用仪器；实验结束后，按规定对仪器进行维护保养；每完成一项实验，要认真完成一份实验报告。六、课程资源1.推荐教材：（1）蒋再男.机器人交互技术[M].北京：清华大学出版社.2020.3.2.参考书：（1）周明,孙树栋.遗传算法原理及应用[M].北京：国防工业出版社.1999.6.（2）杜广龙,张平.机器人自然交互理论与方法[M].广州：华南理工大学出版社.2017.3.（3）PeterFlach段菲（译）.机器学习[M].北京：人民邮电出版社.2016.1（4）DavidL.PoolAlanK.Mackworth董红斌(译).人工智能计算Agent基础[M].北京：机械工业出版社.2018年.（5）埃塞姆·阿培丁范明(译).机器学习导论[M].北京：机械工业出版社.2018年.（6）陈世福,陈兆乾.人工智能与知识工程[M].南京：南大出版社.1997年.（7）阿米尔·侯赛因(AmirHusain).智能:感知机器与人工智能的未来[M].北京：中信出版社.2018.06.（8）周苏,王文.人机交互技术[M].北京：清华大学出版社.2016.6.（9）陆汝钤.人工智能(上下册)[M].北京：科学出版社.1989年.3.期刊：（1）ShiZZ.Foundationsofintelligencescience[J].InternationalJournalofIntelligenceScience,2011,1(1).（2）ShortliffeEH.Thefutureofbiomedicalinformatics:Aperspectivefromacademia[J].StudHealthTechnolInform,2012,180.（3）JaeminJung,HaeyeopSong,YoungjuKim,etal.Intrusionofsoftwarerobotsintojournalism:Thepublic'sandjournalists'perceptionsofnewswrittenbyalgorithmsandhumanjournalists[J].ComputersinHumanBehavior,2017.（4）徐国政，宋爱国，高翔，等.基于情绪感知的机器人辅助主动康复训练任务控制方法[J].机器人，2018.（5）李晓宇.基于手势交互的移动机器人三维环境探索及感知技术研究[D].哈尔滨：哈尔滨工业大学,2017.4.网络资源：（1）中国大学MOOC（慕课）国家精品课程在线学习平台：/.（2）智慧树在线教育平台：/.（3）学堂在线国家精品课堂在线学习平台：/七、课程考核对课程目标的支撑课程成绩由过程性考核成绩和期末大作业成绩两部分构成，具体考核/评价细则及对课程目标的支撑关系见表4。表4课程考核对课程目标的支撑考核环节占比考核/评价细则课程目标123过程性考核课堂表现10（1）根据课堂出勤情况和课堂回答问题情况进行考核，满分100分；（2）以平时考核成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√442实验20（1）根据每个实验的实验操作完成情况和实验报告质量单独评分，满分100分；（2）每次实验单独评分，取各次实验成绩的平均值作为此环节的最终成绩；（3）以实验成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√555作业10（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分；（2）每次作业单独评分，取各次成绩的平均值作为此环节的最终成绩；（3）以作业成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√663大作业60（1）大作业总成绩100分，以大作业成绩乘以其在总评成绩中所占的比例计入课程总评成绩；（2）主要考查交互设计原则、认知概念模型的几种表示方法，Norman模型的7个阶段，HRI交互框架，OpenInventor机器人图形交互软件、虚拟装配、OBB碰撞检测，基于鼠标/键盘/空间鼠标的机器人交互，数据手套程序开发基本流程，数据手套交互控制机器人灵巧手方法，头部、颈部、胸部伤害安全评价指标，实现物理性人机安全交互的方法等内容。√√√252510合计：100分404020八、考核与成绩评定1.考核方式及成绩评定考核方式：本课程主要以课堂表现、实验、作业、大作业等方式对学生进行考核评价。考核基本要求：考核总成绩由期末大作业和过程性评价成绩组成。其中：大作业成绩为100分（权重60%）；过程性评价成绩为100分（权重40%），其中，课堂表现成