第二届小型无人机技术创新竞赛PPT课件

1、第二届小型无人机技术创新竞赛北斗导航与位置服务重点实验室指导老师：邹丹平，裴凌 (办公室：微电子楼309）报名邮箱：uav_官方网站：http:/ 动员大会2014年12月05日: 报名截止2014年12月11日: 技术培训2014年12月26日: 技术方案提交2015年01月08日: 公布入选队伍 (30支）-2015年3月2014年5月: 软件开发、算法调试阶段2015年5月：初赛（12支），决赛（8支）颁奖12/11/142器材规定飞行器平台（组委会提供，预约使用） ： ARDrone2.0 旋翼飞机 大疆精灵2飞机+SDK（洽谈中） 其他具有开发功能的旋翼飞机（调研中）自带飞行器： 整

2、机重量不得超过1千克，必须带防护圈！允许对组委会提供飞机平台进行挂接扩充: 不得破坏飞机的外观结构和硬件电路 即挂即用，不得妨碍下一个调试小组的使用12/11/143四旋翼飞机动力学原理单个螺旋桨产生的推力和扭矩推力：扭矩：:推力系数:空气密度:螺旋桨扫描面积:螺旋桨半径:螺旋桨转速12/11/144四旋翼飞机动力学原理四个旋翼产生的总推力和扭矩总推力：z-方向扭矩：x-方向扭矩：1234y-方向扭矩：12/11/145四旋翼飞机动力学原理总推力与总扭矩与马达转速的关系悬停：12/11/146旋转加速度控制水平倾斜角(Pitch or Roll) 控制x-方向扭矩：y-方向扭矩：12/11/1

3、47旋转加速度控制竖直旋转角控制（Yaw）控制z-方向扭矩：12/11/148移动加速度控制总推力抵消重力后的加速度12/11/149四旋翼飞机的基本运动模式上升与下降12/11/1410四旋翼飞机的基本运动模式向“左”向“右”转 （Yaw运动）12/11/1411四旋翼飞机的基本运动模式向“前”向“后”飞 (Roll转动）12/11/1412四旋翼飞机的基本运动模式向“右”向“左”飞 （Pitch转动）12/11/1413飞行控制系统完整的飞行控制系统12/11/1414内环- -姿态控制内环-姿态控制12/11/1415ARDroneARDrone内环控制ARDrone 内环控制12/11

4、/1416ARDroneARDrone飞行控制ARDrone的控制输入：前后倾角 控制前后飞左右倾角控制左右飞水平转向速度控制左右转垂直升降速度控制上下移动姿态控制高度控制12/11/1417四旋翼飞机基本结构主要构成：螺旋桨无刷电机电调（电机控制器）飞控遥控接收端遥控发射端遥控器12/11/1418四旋翼飞机基本结构主要构成：螺旋桨无刷电机电调（电机控制器）飞控遥控接收端遥控发射端遥控器12/11/1419四旋翼飞机基本结构主要构成：螺旋桨无刷电机电调（电机控制器）飞控遥控接收端遥控发射端遥控器12/11/1420ARDroneARDrone飞机的结构主要构成：螺旋桨无刷电机电调（电机控制器

5、）飞控遥控接收端遥控发射端遥控器Wifi热点Ipad/PC额外传感器：前向摄像头 （航拍）底部摄像头 （光流速度估计）超声测距仪（测高度）12/11/1421基于ARDroneARDrone的控制开发方式一：使用ARDrone SDK直接开发需要对SDK非常了解不便于移植12/11/1422基于ARDroneARDrone的控制开发方式二：基于ROS driver的开发不用关注ARDrone底层细节（如命令格式，图像格式）可方便移植Black box12/11/1423基于ARDroneARDrone的控制开发ARDrone ROS driver ARDrone autonomy https:

6、/ geometry_msgs:Twist geometry_msgs:Twist:linear.xlinear.yangular.zlinear.z前后倾角 控制前后飞左右倾角控制左右飞水平转向速度控制左右转垂直升降速度控制上下移动12/11/1424sjtu_drone sjtu_drone 模拟平台sjtu_drone (/dannis/sjtu_drone)北斗导航与位置服务实验室开发 基于开源游戏引擎的实时物理模拟 提供传感器输出：摄像头加速计陀螺仪 提供控制输入：pitch-roll-yaw 提供模拟场景：SDF格式三维模型12/11/142

7、5sjtu_drone sjtu_drone 模拟平台飞机模型图像传感器惯性传感器控制UI12/11/1426sjtu_drone sjtu_drone 模拟平台sjtu_drone的ROS topics:12/11/1427sjtu_drone ROS topicssjtu_drone ROS topics主要topics传感器数据读取topic：/drone/down_camera/image_raw #底部相机图像/drone/front/image_raw #前部相机图像/drone/imu #惯导数据控制命令topic：/drone/take_off#起飞/drone/land#降落

8、/drone/cmd_val geometry:Twist类型geometry_msgs:Twist:angular.yangular.xangular.zlinear.z前后倾角 控制前后飞左右倾角控制左右飞水平转向速度控制左右转垂直升降速度控制上下移动12/11/1428sjtu_drone sjtu_drone 算法测试开发框架典型开发框架Control topics:/drone/cmd_val/drone/land/drone/posctrl/drone/reset/drone/takeoffSensor topics:/drone/imu/image_rawsjtu_drone图像

9、处理算法控制算法Ground truth:/drone/gt_pose12/11/1429有关图像处理与控制算法图像处理与计算机视觉 :OpenCV 投影几何 目标检测 光流算法机器人控制 : Labview, Matlab参考书: Multiple View Geometry in Computer VisionComputer Vision A Modern approachModern Control SystemsRobotics, Vision and Control，FundamentalAlgorithmsin MATLAB12/11/1430项目一分析关键点：设计好易于识别的图

10、案 快速图案检测 （目标检测）计算飞机与图案的相对位置 （投影几何）保持飞机与图案的相对位置 （控制）失败处理（悬停等待）12/11/1431项目二分析关键点：飞机需要记住相对于起飞点的位置 (optical flow, IMU)快速记住黄色区域坐标 (目标识别）数字图案识别 （数字识别）错误快速回溯 （控制）精准降落（降低区域锁定后迅速降落）12/11/1432语音识别语音API 科大讯飞SpeechService 1.0.1063 Google语音离线包语音指令集 包含控制指令集即可正确识别语音指令后调用无人机控制API推荐的方案 每个指令让无人机飞行一小段时间 合理而精简的指令集12/1

11、1/1433语音输入关键词识别指令转换指令发送Google SDKGoogle SDK12/11/1434科大讯飞 SDKSDK12/11/1435项目三分析关键点指令识别准确性指令集设计合理性需要考虑现场环境12/11/1436传感器数据Motion sensors This category includes accelerometers, gravity sensors, gyroscopes, and rotational vector sensors.Position sensors These sensors measure the physical position of a d

12、evice. This category includes orientation sensors and magnetometers.Environmental sensors This category includes barometers, photometers, and thermometers.12/11/1437手势识别原理02468101214x 104-10-8-6-4-20246810SamplesAngular speed r/sRaw data of the gyroscope Angular speed around the x-axisAngular speed

13、around the y-axisAngular speed around the z-axis02468101214x 104-20-15-10-5051015SamplesAcc m/s2Raw data of the accelerometer AccXAccYAccZ动作1： 飞机降落动作2： 飞机升高右移后降低左移动作3-6： 飞机向右、向左、先前、向后平移动作7： 飞机水平顺时针盘旋动作8： 飞机水平逆时针盘旋12/11/1438手势识别算法Many algorithms developed to perform these tasks: Decision Trees Artifi

14、cial Neural Networks Bayesian Techniques Logistic Regression Support Vector Machines Hidden Markov Models Conditional Random Fields Graph Transormer Networks Kalman Filters Particle Filters etc./zw3/projects_uWave.htmlJiayang Liu, Zhen Wang, Lin Zhong, Jehan Wickramasuriya, and Venu Vasudevan, uWave: Accelerometer-based personalized gesture recognition and its applications, in IEEE Int. Conf. Pervasive Computing and Communication (PerCom), March 2009. (PDF, De