《智能机器人与传感器》教案 下-课程单元设计（张春晓）动作相关 舵机伺服器（机器人关节）-机器人避障及自动路径规划

PAGEPAGE2《传感器技术与应用》一、教案头本次课标题：动作相关--舵机伺服器（机器人关节）授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、能使用舵机，能正确连接至驱动板上2、学会使用产生PWM脉冲3、学会改变PWM脉冲的占空比，进而改变舵机的旋转角度4、学会测试旋转的精度1、熟练掌握舵机伺服器工作原理；2、熟练掌握使用PWM脉宽控制舵机位置的原理3、熟练掌握使用程序产生PWM的方法4、掌握转动精度的测量方法5、了解多个舵机转动以及机器人运动能力训练任务及案例任务1：连接舵机至驱动板任务2：编程产生50HzPWM脉冲任务3：编程产生可调占空比：从1ms到2ms任务4：观察结果，是否从0度转到180度可变任务5：测试转动的精度参考资料【1】郭彤颖，张辉，《机器人传感器及其信息融合技术》，化学工业出版社，ISBN：9787122283658，2017年1月【2】贾海瀛,《传感器技术与应用》，ISBN:9787040422658，高等教育出版社，2015年9月【3】TeroKarvinen,etc.,《Make:Sensors》,ISBN:9781449368104，O'Reilly，2016【4】KimmoKarvinenandTeroKarvinen,《GettingStartedwithSensors》,ISBN：9781449367084，MakerMedia,Inc.,2014【5】树莓派官网：/【6】SPI库下载地址:/doceme/py-spidev【7】树莓派实验室：/2017/08/07/hexapod-walker-raspberry-pi.htmlPAGEPAGE1二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、熟练掌握舵机伺服器工作原理；2、熟练掌握使用PWM脉宽控制舵机位置的原理3、熟练掌握使用程序产生PWM的方法4、掌握转动精度的测量方法5、了解多个舵机转动以及机器人运动教师主讲多媒体听讲解5分钟引入（任务项目）舵机是可以通过编程的方法改变角度的电动机。机器人的关节大多数用的都是此类舵机。关键的技术就是利用电位器、通过ADC产生电位器对应位置的数值的方法得到转动角度的。教师主讲多媒体听讲解5钟操练（掌握初步或基本能力）1、讲解舵机伺服器工作原理；2、讲解使用PWM脉宽控制舵机位置的原理3、讲解使用程序产生PWM的方法4、讲解转动精度的测量方法5、讲解多个舵机转动以及机器人运动师生互动讨论小组讨论20分钟深化（加深对基本能力的体会）1、编程产生可变占空比、50Hz的PWM脉冲2、测试1ms到2ms这1ms内转动180度角的精度。教师主讲上机指导实际操作演示指导+实操25分钟归纳(知识和能力)作为第二个模拟量转数字量的应用的例子，伺服器将电位器的转动与电动机的转动关联上，利用电位器的电阻变化来对应精确的电动机转动大小的模拟量。师生互动小组讨论讨论小组讨论2分钟训练巩固拓展检验演示机器人多个关节的运动是如何结合起来产生机器人整体的姿势师生互动实际操作演示指导+实操15分钟总结通过学习单个舵机的工作原理及控制方法，进而学习由多个舵机构成的机器臂。以及如何通过控制多个舵机，让机器人动起来。教师主讲课件演示听课3分钟作业课程调研：观看视频—通过编辑各个舵机的转角，产生固定机器人姿势。说明作业要求课件演示学生记录5分钟后记《传感器技术与应用》一、教案头本次课标题：嗅觉相关：烟雾传感器MQ-2授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、能使MQ-2模块2、学会使用MCP3002对MQ-2模拟量的采样3、学会ADC与树莓派的连接方法4、学会编写获得MQ-2气体浓度的数据1、熟练掌握烟雾传感器工作原理；2、熟练掌握传感器与ADC、树莓派的连接方法3、熟练掌握MQ-2传感器的预处理4、熟练掌握编写传感器代码5、掌握使用打火机测试代码的正确性能力训练任务及案例任务1：连接MQ-2模块至MCP3002模块任务2：连接MCP3002模块至树莓派相应的GPIO口任务3：编写检查气体浓度的程序任务4：使用打火机检测程序的正确性参考资料【1】郭彤颖，张辉，《机器人传感器及其信息融合技术》，化学工业出版社，ISBN：9787122283658，2017年1月【2】贾海瀛,《传感器技术与应用》，ISBN:9787040422658，高等教育出版社，2015年9月【3】TeroKarvinen,etc.,《Make:Sensors》,ISBN:9781449368104，O'Reilly，2016【4】KimmoKarvinenandTeroKarvinen,《GettingStartedwithSensors》,ISBN：9781449367084，MakerMedia,Inc.,2014【5】树莓派官网：/【6】SPI库下载地址:/doceme/py-spidev【7】/configure-and-read-out-the-raspberry-pi-gas-sensor-mq-x/【8】/info-detail-2224008.htmlPAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、讲解烟雾传感器工作原理；2、讲解传感器与ADC、树莓派的连接方法3、讲解MQ-2传感器的预处理4、讲解编写传感器代码5、告诉使用打火机测试代码的正确性教师主讲多媒体听讲解5分钟引入（任务项目）作为一款家庭使用的机器人，如果能随时监测家里面的危险气体情况，及时汇报气体的浓度情况，机器人的实用性就会增强。教师主讲多媒体听讲解5钟操练（掌握初步或基本能力）1、讲解烟雾传感器工作原理；2、讲解传感器与ADC、树莓派的连接方法3、讲解MQ-2传感器的预处理4、讲解编写传感器代码5、告诉使用打火机测试代码的正确性师生互动讨论小组讨论20分钟深化（加深对基本能力的体会）1、使用MCP3002对MQ-2模拟量的采样2、连接ADC与树莓派3、编写获得MQ-2气体浓度的数据4、MQ-2模块有数字量输出端口，调节板上的可调电阻即可以设置阈值。可以根据此信号量来通知树莓派进行采样检测（中断方法）。教师主讲上机指导实际操作演示指导+实操35分钟归纳(知识和能力)这是第三个模拟量转数字量的应用的例子，从硬件上看，可以了解到ADC模块到树莓派的接口是固定的。传感器模拟输出端到ADC输入也是不变的。只需要给传感器模块接上其他接口（如供电）。师生互动小组讨论讨论小组讨论5分钟训练巩固拓展检验学会检验系统正确性的方法：使用火机或者带回家在煤气炉旁边检测是否漏气。师生互动实际操作演示指导+实操2分钟总结给机器人赋予多种基于ADC的不同传感器信息，可以使用一个多输入通道的ADC芯片即可。教师主讲课件演示听课5分钟作业课程调研：发现身边的语音识别玩具，例如机器人、儿童玩小汽车等。上网调研语音识别及语义识别的分别说明作业要求课件演示学生记录5分钟后记实际上，对MQ-2气体传感器编程得到数据的过程，与压力传感器等数据获取过程很相似。作为嗅觉传感器，在技术的角度上实际是一个强化练习。《传感器技术与应用》一、教案头本次课标题：听觉相关--USB声卡的原理及制作授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、会阅读较大型的英文文档2、学会根据采样定理选择合适的采样频率3、学会看懂电路原理图，并根据原理图制作PCB电路板4、学会焊接零件，包括过孔元件5、学会调试声卡。1、熟练掌握USB声卡ADC模拟声音采样工作原理；2、熟练掌握奈奎施特采样定理3、熟练掌握USB声卡DAC数字模拟转换器工作原理4、读懂PCM2912a技术文档5、掌握使用PCM2912a制作USB声卡能力训练任务及案例任务1：计算及说明为什么CD的采样率为44.1KHz任务2：阅读PCM2912a技术文档，说明芯片各个管脚的功能任务3：根据电路原理图，并根据原理图制作PCB电路板参考资料【1】德州仪器公司,数据表文档《PCM2912AAudioCodecWithUSBInterface》，2015年8月【2】USB声卡制作案例：/topic/63663_1_1.htmlPAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、讲解USB声卡ADC模拟声音采样工作原理；2、讲解奈奎施特采样定理3、讲解USB声卡DAC数字模拟转换器工作原理4、讲解PCM2912a制作USB声卡的电路原理教师主讲多媒体听讲解5分钟引入（任务项目）机器人的听觉及发声能力是直接影响与人类交流的体验。声卡是声音获得及数字音频转成模拟声音最重要的模块。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、讲解USB声卡ADC模拟声音采样工作原理；2、讲解奈奎施特采样定理3、讲解USB声卡DAC数字模拟转换器工作原理4、讲解PCM2912a制作USB声卡的电路原理师生互动讨论小组讨论20分钟深化（加深对基本能力的体会）1、计算一个输入ADC信号需要的采样率2、阅读英文文档，说明芯片各管脚的功能3、根据电路原理图，并根据原理图制作PCB电路板4、根据数据表的PCBLayout建议，让学生了解设计PCB布线时应该注意用到电容的作用及最佳位置、数字、模拟部分的隔离等。并不是只是将原理图输入后，自动排版布线能解决的。教师主讲上机指导实际操作演示指导+实操35分钟归纳(知识和能力)类似这种使用一块芯片及少量外围零件就能完成一定功能的作品，为数应该不少，例如高质量音频回放DAC系统等。打开机壳发现属于此类型的应用，可以找芯片的数据表学习机器工作原理，及得到DIY的方案。师生互动小组讨论讨论小组讨论2分钟训练巩固拓展检验此项目很适合让学生学会DIY产品的整个环节（1）利用AD等PCBLayout软件，根据电路图设计USB声卡PCB板。（2）引导学生到淘宝等网站寻找需要的零件（3）引导学生学会寻找生产PCB板的企业，并学会下单。师生互动实际操作演示指导+实操8分钟总结本次课介绍了基于TI公司的PCM2912a芯片及其USB声卡的应用。当今芯片集成度非常高，芯片以及将ADC模块、DAC模块以及USB模块等主要模块集中在小小的芯片里。只需外围少量零件即可完成USB声卡的制作。教师主讲课件演示听课5分钟作业课程调研：麦克风的分类、原理及发展说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：听觉相关--介绍机器人声音输入、输出系统构建授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、能配置USB声卡2、学会使用声卡播放一个声音文件3、学会使用声卡连接麦克风模块4、学会录制一段声音并存盘5、学会通过串口连接TTS模块6学会发送一段文字至TTS模块，让其读出文字内容，并学会多种朗读模式的设置。1、熟练掌握机器人声音输入输出各个模块的功能；2、熟练掌握所有模块间的协调工作原理3、熟练掌握模块的连线4、熟练掌握USB声卡模块的Linux配置工作：（1）让扬声器发声；（2）让麦克风录音5、熟练掌握使用TTS模块发音原理能力训练任务及案例任务1：配置USB声卡，并设置其为树莓派系统的默认声音输入输出设备任务2：用声卡播放一个声音文件，如mp3或者wav等任务3：连接麦克风模块至声卡，并用命令行录制一段声音并存盘任务4：连接TTS模块，并在树莓派使用minicom串口工具发送一段文字至TTS模块使其发音参考资料【1】郭彤颖，张辉，《机器人传感器及其信息融合技术》，化学工业出版社，ISBN：9787122283658，2017年1月【2】贾海瀛,《传感器技术与应用》，ISBN:9787040422658，高等教育出版社，2015年9月【3】TeroKarvinen,etc.,《Make:Sensors》,ISBN:9781449368104，O'Reilly，2016【4】KimmoKarvinenandTeroKarvinen,《GettingStartedwithSensors》,ISBN：9781449367084，MakerMedia,Inc.,2014【5】树莓派官网：/PAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、机器人声音输入输出各个模块的功能；2、所有模块间的协调工作原理并讲解连线方法3、USB声卡模块的Linux配置工作4、TTS模块发音原理教师主讲多媒体听讲解3分钟引入（任务项目）本节课的目的是了解赋予机器人能说能听的能力需要的硬件。这里用到声卡作为声音的输入及输出。考虑到其输出功率不大，选择了数字功放省电方案。教师主讲多媒体听讲解5钟操练（掌握初步或基本能力）1、讲解机器人声音输入输出各个模块的功能；2、讲解所有模块间的协调工作原理并讲解连线方法3、讲解USB声卡模块的Linux配置工作4、讲解TTS模块发音原理师生互动讨论小组讨论20分钟深化（加深对基本能力的体会）1、配置USB声卡2、用声卡播放一个声音文3、连接麦克风模块至声卡，并用命令行录制一段声音并存盘4、连接TTS模块并测试功能5、介绍从Linux脚本命令行到Python代码的进一步控制此语音输入输出系统。教师主讲上机指导实际操作演示指导+实操35分钟归纳(知识和能力)语音识别已经发展到广泛民用阶段。机器人声音输入输出系统是一个比较通用的系统，可以用于例如银行自助设备。师生互动小组讨论讨论小组讨论5分钟训练巩固拓展检验初步使用python库控制声卡播放声音、录制声音的尝试。师生互动实际操作演示指导+实操2分钟总结通过学习机器人整个声音输入输出系统，让机器人与人类交流起来更加自然。麦克风传感器让机器人能听到说话；而TTS模块让机器人能自由说话。数字功放模块增强声音驱动能力。教师主讲课件演示听课5分钟作业课程调研：发现身边的语音识别玩具，例如机器人、儿童玩小汽车等。上网调研语音识别及语义识别的分别说明作业要求课件演示学生记录5分钟后记《传感器技术与应用》一、教案头本次课标题：听觉相关--麦克风及麦克风阵列授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、会根据问题，主动网上找资料2、学会制作PPT等协助演讲的材料3、学会组员间合作，共同完成任务4、学会分析收集声音的质量：信噪比以及远、近场声音的特点1、熟练掌握常见的麦克风分类及工作原理；2、熟练掌握动圈式麦克风工作原理、频率特性及方向性3、熟练掌握电容式麦克风工作原理、频率特性及方向性4、熟练掌握铝带式麦克风工作原理、频率特性及方向性5、掌握远场麦克风阵列在语音识别领域的应用能力训练任务及案例任务1：四种麦克风类型，将学生分四组，每组一个课题任务2：每组选代表上讲台，讲述麦克风工作原理任务3：分析收集声音的质量：信噪比以及远、近场声音的特点任务4：讨论在机器人获取声音时存在什么困难？怎么克服。参考资料【1】冯志国，《麦克风阵列优化设计中的算法与理论分析》，ISBN：9787562490609，重庆大学出版社，2015年6月【2】/question/28001913PAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、动圈式麦克风工作原理、频率特性及方向性2、电容式麦克风工作原理、频率特性及方向性3、铝带式麦克风工作原理、频率特性及方向性教师主讲多媒体听讲解5分钟引入（任务项目）从了解各种麦克风工作原理出发，利用麦克风为机器人收集模拟音频信号。在收集过程中遇到信噪比不高、远处人声音模糊、不同方位收集声音清晰度不一样等问题。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、讲解动圈式麦克风工作原理、频率特性及方向性2、讲解电容式麦克风工作原理、频率特性及方向性3、讲解铝带式麦克风工作原理、频率特性及方向性师生互动讨论小组讨论25分钟深化（加深对基本能力的体会）1、上网找资料，解决问题2、组员间合作并制作PPT等协助演讲的材料3、分析收集声音的质量：信噪比以及远、近场声音的特点4、对于普通的麦克风模块采集的声音样本，在人声距离较近，正对着麦克风方向的情况下，问题不是很大。如果需要改善，需要更加高级的麦克风序列。教师主讲上机指导实际操作演示指导+实操30分钟归纳(知识和能力)麦克风传感器一般是通过能感受声音振动的物体（膜或铝带）。传递此振动信息给音圈、空气或者铝粒子等，产生微小的电流电压的变化，最后滤波及放大此变化得到音频信号。师生互动小组讨论讨论小组讨论2分钟训练巩固拓展检验通过麦克风收集声音信号，很容易受到周边的噪音影响，让声音信噪比降低。尝试采用：1.主要信号连线屏蔽2.减少线的长度3.采用麦克风阵列等手段，看能否解决问题。师生互动实际操作演示指导+实操8分钟总结本节课主要介绍了麦克风原理及应用。为了增强在机器人应用中的用户体验，尽量让人可以从不同方位角度、不同远近都能收集到较清晰的语音信号。教师主讲课件演示听课5分钟作业课程调研：上网查找百度、讯飞、谷歌语音识别引擎的介绍说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：听觉相关--实战百度语音识别授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、学会区别语音识别以及语义识别技术2、学会申请在线百度语音识别服务账号3、学会使用RESTAPI连接百度云进行语音识别服务4、学会分析语音识别正确率统计1、熟练掌握语音识别AutomaticSpeechRecognition（ASR）的概念及应用；2、掌握与语义识别的区别3、熟练掌握申请在线百度语音识别服务的流程：取得APIKEY、SecretKEY4、熟练掌握百度语音识别RESTAPI用法5、掌握提供的代码连接百度云计算6、掌握提交语音到已连接百度云进行识别能力训练任务及案例任务1：申请百度账号并申请使用免费的语音识别技术应用任务2：使用RESTAPI连接并传输语音文件到云服务器，同时取得识别文本结果任务3：对文本结果进行关键词、字的搜索，并使用关键词进行LED亮灯、灭灯控制任务4：对语音识别正确率进行统计分析参考资料【1】PietroLaface，《SpeechRecognitionandUnderstanding:RecentAdvances,TrendsandApplications》，ISBN:9783642766282，2012年7月【2】N.D.Lewis，《Python深度学习》，ISBN：9787115482488，人民邮电出版社，2018年8月【3】百度语音识别：/tech/speech/asrPAGEPAGE1二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、讲解语音识别的概念2、ASR的概念以及与语义识别的区别；3、讲解使用python编程连接上百度语音识别步骤4、讲解测试算法的正确率教师主讲多媒体听讲解20分钟引入（任务项目）本节课的内容是真正实现机器人语音识别功能。选择百度在线语音识别的原因是1.有树莓派端的开发接口2.承诺永久免费使用。“在线”意思是需要上网，将树莓派端的语音信号通过网络上传到百度识别云端，计算后的文本会通过网络返回到树莓派端。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、申请在线百度语音识别服务账号2、使用RESTAPI连接百度云进行语音识别服务3、分析语音识别正确率统计师生互动讨论小组讨论25分钟深化（加深对基本能力的体会）对百度语音识别后返回的文字，选择一些关键词进行LED点亮控制。例如“开灯”、“关灯”等关键词。教师主讲上机指导实际操作演示指导+实操15分钟归纳(知识和能力)比较出名的智能识别领域分别为谷歌、百度以及科大讯飞。学会了一种识别引擎的使用方法，很容易将这经验应用到别的引擎上。师生互动小组讨论讨论小组讨论2分钟训练巩固拓展检验将编写好的程序进行可靠性测试：1.测试每次说话的正确率；2.换不同人做同样的测试。统计分析此应用的正确率。师生互动实际操作演示指导+实操8分钟总结通过本节课内容的学习，让我们通过python连接到我们在百度注册的在线语音识别服务应用。让机器人拥有了自动将一句自然人类语音转换成相应文本的能力。但不代表机器人能识别此文本。要想识别自然语言的话，需要语音识别+自然语言识别两个语音智能技术的结合才能做到。教师主讲课件演示听课5分钟作业课程调研：上网查找人脸识别技术，应用。特别是应用在苹果手机上的最新技术。说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：视觉相关--人脸识别技术简介授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、学会用自己语言描述人脸识别、神经网络、机器学习及深度学习2、学会收集不同的人脸，建立人脸库3、学会使用摄像头进行人脸识别4、学会分析建库时遇到的问题，如收集的人脸不规范等。1、熟练掌握人脸识别的概念及应用；2、掌握人脸识别一般流程。3、熟练掌握一些流行的算法技术：神经网络（模拟人脑）、机器学习、深度学习4、熟练掌握如何收集不同人脸照片，建立属于自己的人脸库5、掌握如何使用建立的库进行人脸识别6、掌握最新技术是如何提高人脸识别的可靠性能力训练任务及案例任务1：使用网络摄像头，在PC机或者笔记本上收集不同人脸，建立人脸库任务2：使用网络摄像头进行人脸识别，并检查识别的正确性参考资料【1】RafaelC.GonzalezandRichardE.Woods，《DigitalImageProcessing》，ISBN:978-01333567249783642766282，Pearson,2017年3月【2】N.D.Lewis，《Python深度学习》，ISBN：9787115482488，人民邮电出版社，2018年8月【3】人脸识别库Openface：https://cmusatyalab.github.io/openface/PAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、讲解人脸识别的概念及应用及一般算法流程。2、简介一些流行的算法技术：神经网络（模拟人脑）、机器学习、深度学习3、介绍收集不同人脸照片，建立属于自己的人脸库，及在PC机上体验人脸识别算法4、介绍3D传感器--苹果手机提高人脸识别的可靠性的方法教师主讲多媒体听讲解20分钟引入（任务项目）继语音识别技术，让机器人拥有“耳朵”后，本课主要介绍人脸识别技术，让机器人拥有“眼睛”。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、使用网络摄像头，在PC机或者笔记本上收集不同人脸，建立人脸库2、使用网络摄像头进行人脸识别，并检查识别的正确性师生互动讨论小组讨论25分钟深化（加深对基本能力的体会）现在很多智能门锁系统拥有人脸识别功能，测试一下此锁能否用一张带人脸照片欺骗？借此介绍一下最新用在苹果手机经过改进后的人脸识别技术。借助3D传感器技术，得到人脸的深度信息来解决上述问题。教师主讲上机指导实际操作演示指导+实操15分钟归纳(知识和能力)与很多其他智能算法（如指纹识别）相类似，此类算法的一般流程是：提取特征、分类算法以及类别的表达。师生互动小组讨论讨论小组讨论2分钟训练巩固拓展检验用手机拍一张人脸照片，测试能否瞒天过海，欺骗此人脸识别程序。师生互动实际操作演示指导+实操8分钟总结通过本课的学习，让学生了解了人工智能中比较典型的任务：人脸识别。在PC机上建立了属于自己的人脸库，并且在此基础上实现了初步的人脸识别任务。下一步只需要将此程序搬到树莓派即可。教师主讲课件演示听课5分钟作业课程调研：上网查找有关深度学习的介绍。说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：视觉相关--光学传感器CCD工作原理授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、能描述CCD成像的基本过程2、能描述数码相机色彩的产生3、能描述数码相机像素的产生4、能描述原始数码照片是经过运算后得到的5、能理解并使用内置Jpeg的摄像头做为机器人的视觉系统。清晰了解加快了传输速度的原理。1、掌握微镜片的作用。2、熟练掌握Bayer滤光镜的作用3、熟练掌握CCD传感器光电效应4、熟练掌握每个传感器里面每个单元转换后的电流读出、放大、ADC后，形成一个像素5、熟练掌握所有单元形成一张“数码照片”6、掌握这张“数码照片”需要经过相机内置算法处理后，才能得到一张真正意义的彩色数码照片7、掌握内置处理算法还能将此原始大小的彩色数码照片进行Jpeg的压缩处理，减少数据量的传输能力训练任务及案例任务：参考资料【1】RafaelC.GonzalezandRichardE.Woods，《DigitalImageProcessing》，ISBN:978-01333567249783642766282，Pearson,2017年3月【2】佳能网站：/technology/s_labo/light/003/04.html【3】彩色CCD成像原理/pinbodexiaozhu/article/details/39696153PAGEPAGE1二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、微镜片提高填充因子作用。2、Bayer滤光镜的分光作用，同时介绍白光的频率成分3、CCD传感器光电效应4、CCD传感器里面每个单元转换后的电流读出、放大、ADC后，形成一个像素5、所有像素形成一张“数码照片”6、这张“数码照片”需要经过相机内置算法处理后，才能得到一张真正意义的彩色数码照片教师主讲多媒体听讲解5分钟引入（任务项目）CCD作为主流的光敏感传感器之一，了解其工作原理，有利于对网络摄像头、数码单反等获得数码图像、数码视频的理解。特别是搞嵌入式开发的，明白这个原理，有助于解决类似抓取图像速度不够等问题。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、介绍微镜片提高填充因子作用。2、介绍Bayer滤光镜的分光作用，同时介绍白光的频率成分3、讲解CCD传感器光电效应4、讲解正片CCD传感器里面每个单元转换后的电流读出、放大、ADC后，形成一个像素5、介绍所有单元形成一张“数码照片”6、介绍这张“数码照片”需要经过相机内置算法处理后，才能得到一张真正意义的彩色数码照片师生互动讨论小组讨论40分钟深化（加深对基本能力的体会）1、介绍蜂窝技术--超级CCD。通过重新排列阵列中的感光元件，更有效地增加感光面积及分辨率。2、介绍用在专业单反的3CCD技术，提供更高质量的数码照片。教师主讲上机指导实际操作演示指导+实操10分钟归纳(知识和能力)与传统的光电传感器类似，利用了PN节的光电效应。更负责的是，需要读出一个阵列的数据，同时需要考虑信噪比、色彩恢复、速度等因素。师生互动小组讨论讨论小组讨论5分钟训练巩固拓展检验看教育视频：镜片的生产、CCD工作原理动画等师生互动实际操作演示指导+实操13分钟总结通过本课学习，从比较理论的方式了解了CCD感光器件的工作原理。从光线进入感光器件，到彩色数字照片输出的整个过程。教师主讲课件演示听课2分钟作业课程调研：CMOS相机的工作原理调研以及与CCD的比较。说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：视觉相关--摄像头模块及实时图像的获取授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、会在Linux环境下安装摄像头2、学会安装OpenCV计算机视觉库3、学会使用OpenCV进行实时图像获取1、掌握摄像头获得数码图像一般流程。2、熟练掌握数码图像的有关术语：分辨率、色彩、位深、压缩、光学及数码变焦等3、掌握Linux安装摄像头的方法4、熟练掌握OpenCV用于图像获取的方法能力训练任务及案例任务：用树莓派、按钮等，DIY一部简易数码相机参考资料【1】RafaelC.GonzalezandRichardE.Woods，《DigitalImageProcessing》，ISBN:978-01333567249783642766282，Pearson,2017年3月【2】计算机视觉库OpenCV：/PAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、摄像头获得数码图像一般流程。2、数码图像的有关术语：分辨率、色彩、位深、压缩、光学及数码变焦等3、Linux安装摄像头的方法4、OpenCV用于图像获取的方法教师主讲多媒体听讲解5分钟引入（任务项目）在了解了CCD传感器的基础上，主要讲述了摄像头成像原理，以及如何在树莓派上使用摄像头获取实时图像的方法。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、讲解摄像头获得数码图像一般流程。2、讲解数码图像的有关术语：分辨率、色彩、位深、压缩、光学及数码变焦等3、讲解Linux安装摄像头的方法4、讲解OpenCV用于图像获取的方法师生互动讨论小组讨论30分钟深化（加深对基本能力的体会）使用树莓派、按钮等，DIY一部简易数码相机，按下按钮后能将图像存储在内存卡某个目录里面教师主讲上机指导实际操作演示指导+实操30分钟归纳(知识和能力)在Linux下使用摄像头，一般是想使用文件一样：先打开代表摄像头的设备文件，然后打开流将摄像头捕捉的数据传到内存。完了后再关闭摄像头。教师主讲讨论小组讨论2分钟训练巩固拓展检验增强DIY相机的功能，让其能拍视频。师生互动实际操作演示指导+实操3分钟总结可靠地获取实时图像，是给机器人增加“眼睛”的基础。本节课主要是让学生使用OpenCV库，进行获取图像或者视频的基础训练。教师主讲课件演示听课5分钟作业课程调研：探讨如何设计制造一部长时间收集同一个地方、同一角度的照片，用来观察例如一株植物的生长过程。说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：视觉相关--实战OpenFace人脸识别授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、学会下载、编译OpenFace人脸识别库2、学会使用命令行调用OpenFace建库（在PC端）3、学会将学习完毕的模型应用在树莓派端4、学会在树莓派端使用摄像头进行人脸识别1、熟练掌握OpenFace开源项目的历史；2、掌握OpenFace的安装步骤3、熟练OpenFace依赖库torch、dlib的作用4、熟练掌握OpenFace人脸识别库原理5、熟练使用命令行进行建库操作6、掌握程序如何使用网络摄像头进行人脸识别7、介绍硬件的并行结构，例如GPU能力训练任务及案例任务1：下载、编译OpenFace人脸识别库任务2：在PC计算机里使用命令行调用OpenFace建人脸库，生产学习后的模型文件任务3：将生产的模型加载到树莓派端，用于人脸识别任务4：将调试好的摄像头实时采集相片序列，并通过模型识别，输出识别结果参考资料【1】RafaelC.GonzalezandRichardE.Woods，《DigitalImageProcessing》，ISBN:978-01333567249783642766282，Pearson,2017年3月【2】N.D.Lewis，《Python深度学习》，ISBN：9787115482488，人民邮电出版社，2018年8月【3】人脸识别库Openface：https://cmusatyalab.github.io/openface/PAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、OpenFace开源项目的历史以及使用条款。2、OpenFace的安装步骤3、OpenFace依赖库torch（科学计算）、dlib（图像处理，用在数据对齐）的作用4、OpenFace库识别原理5、硬件的并行结构，例如GPU教师主讲多媒体听讲解5分钟引入（任务项目）上次课在PC机上体验了一下人脸识别系统，本节课主要是将人脸识别算法真正用到树莓派上，让机器人能够独立识别人脸。教师主讲多媒体听讲解3分钟操练（掌握初步或基本能力）1、讲解OpenFace开源项目的历史以及使用条款。2、介绍OpenFace的安装步骤3、讲解OpenFace依赖库torch（科学计算）、dlib（图像处理，用在数据对齐）的作用4、介绍OpenFace库识别原理5、介绍硬件的并行结构，例如GPU师生互动讨论小组讨论20分钟深化（加深对基本能力的体会）1、下载、编译OpenFace人脸识别库2、在PC计算机里使用命令行调用OpenFace建人脸库，生产学习后的模型文件3、学会将学习完毕的模型应用在树莓派端4、将调试好的摄像头实时采集相片序列，并通过模型识别，输出识别结果教师主讲上机指导实际操作演示指导+实操35分钟归纳(知识和能力)像人脸识别这种应用，需要收集非常多的人脸数据。每个人脸数据都需要经过相同的预处理、提取特征等运算，是典型的并行运算。从硬件上看，需要用到最新的云计算技术，例如GPU集群。师生互动小组讨论讨论小组讨论2分钟训练巩固拓展检验人脸识别已经从前次课PC机平台完全移植到树莓派嵌入式系统。可以将识别结果用于驱动例如LED灯，或者让机器人主动与识别的人打招呼。通过此训练，初步接触到数据融合的魅力。师生互动实际操作演示指导+实操8分钟总结本节课是将人脸识别算法真正用到树莓派上。由于树莓派的计算资源比较弱，所以计算集中的任务，如建库操作，让PC机或者GPU集群完成。教师主讲课件演示听课5分钟作业课程调研：上网查找有关数据融合资料。说明作业要求课件演示学生记录2分钟后记《传感器技术与应用》一、教案头本次课标题：多传感器数据融合介绍授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、能叙述多传感器数据融合的概念，并知道数据融合在其他地方的应用2、能描述多种系统组成的方案，并知道各种系统的利弊3、能描述多传感器融合的数学方法1、熟练掌握多传感器数据融合的概念及意义；2、熟练掌握多传感器系统组成的四种方法及特点3、掌握多传感器数据融合的数学方法；能力训练任务及案例参考资料【1】郭彤颖，张辉，《机器人传感器及其信息融合技术》，ISBN：9787122283658，机器工业出版社，2017PAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、多传感器数据融合的概念及意义；2、多传感器系统组成的四种方法及特点3、多传感器数据融合的方法，在每种方法中选择一个进行着重讲解；教师主讲多媒体听讲解2分钟引入（任务项目）经过将近一个学期的传感器应用的学习，已经将逐个传感器模块的输出通过树莓派获得并进行处理。对于像智能机器人这样的项目，更在乎各个传感器的信息的融合，得到对周围环境相对完整一致的理解，从而提高系统的决策、规划的科学性，进而降低决策的风险。教师主讲多媒体听讲解2分钟操练（掌握初步或基本能力）1、学会叙述多传感器数据融合的概念2、学会画出多传感器系统组成的框图3、学会描述多传感器融合的数学方法师生互动讨论小组讨论30分钟深化（加深对基本能力的体会）结合通俗易懂的教学视频来讲解数据融合的方法。教师主讲多媒体听讲解20分钟归纳(知识和能力)本节课比较理论地介绍的传感器数据融合的方法。一般认为各个传感器的输出作为信息融合算法的输入，再进行数学建模，产生模型的输出。对于人脸识别系统，就是一个例子。将各个相同的感光传感器得到的信息，通过深度学习的方法进行信息融合。师生互动小组讨论讨论小组讨论10分钟训练巩固拓展检验介绍并初步使用神经网络对多个数据的融合实验教师主讲多媒体听讲解10分钟总结通过学习多传感器数据融合的概念及方法的介绍，将概念上升到理论的高度。不再是简单认为信息融合就是简单的使用几个传感器的输出，而是一个可以深入的课题。教师主讲课件演示听课5分钟作业了解Python在人工智能的应用说明作业要求课件演示学生记录1分钟后记《传感器技术与应用》一、教案头本次课标题：数据融合--3D深度传感器与环境建模及内容生成授课班级16电子信息3-1上课时间课时：2上课地点知行楼5-413教学目标能力（技能）目标知识目标1、能阐述使用双视产生立体视觉的方法；2、能使用谷歌一般物体识别的算法，让机器人能辨认周围的事物；3、能阐述通过环境建模自动生成环境内容，使得机器人能自己在此环境中导航的技术1、熟练掌握多传感器数据融合在智能机器人的应用：立体视觉、地标识别、障碍探测、目标物探测；2、熟练掌握谷歌一般物体识别算法及应用GoogleAIYVisionKit；2、掌握3D深度摄像头3、环境建模及内容生成可以使用3D深度信息以及一般物体识别，让机器人知道多远处是什么物体能力训练任务及案例参考资料【1】Z.Zhang.《AFlexibleNewTechniqueforCameraCalibration.IEEETransactionsonPatternAnalysisandMachineIntelligence》,22(11):1330-1334,2000.【2】Birchfield,S.andTomasi,C.《Apixeldissimilaritymeasurethatisinsensitivetoimagesampling》.IEEETransactionsonPatternAnalysisandMachineIntelligence.1998.【3】郭彤颖，张辉，《机器人传感器及其信息融合技术》，ISBN：9787122283658，机器工业出版社，2017【4】OpenCV立体相机标定：/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html【5】OpenCV深度图的获取：/3.1.0/dd/d53/tutorial_py_depthmap.htmlPAGEPAGE2二、教学设计步骤教学内容教学方法教学手段学生活动时间分配告知（教学内容、目的）1、多传感器数据融合在智能机器人的应