文本srtp国创申报

拟申报国家大学生创新训练计划项目基于嵌入式平台和传感器的人体追踪机械臂*基于校级同名SRTP项目

学生负责人：朱锐

组员：贺正然

杨普

赵越

许婉怡

指导教师：唐路信息科学与工程学院基于嵌入式平台和传感器的人体追踪机械臂*基于校级同名SRTP项目

学生负责人：朱锐

组员：贺正然

杨普

赵越

许婉怡

指导教师：唐路□选题背景□立项意义□实施方案□目标作品□项目前期研究成果□项目的创新点与特色拟申报国家大学生创新训练计划项目信息科学与工程学院选题背景

该项目来源为国家自然科学基金研究项目（61076118、61106024）。

结合RGB摄像头、红外传感器的传感器套件，从游戏领域进入自动化、医疗、救援、机械协助、救援等领域也逐渐被用于SRTP和竞赛作品中

利用Kinect传感器精确控制机械臂还没有太多的先例，而人体控制机械臂正在成为机电自动化领域新兴课题可以追踪、模仿人体移动而跟随移动的装置前景看好Kinect很少和嵌入式平台结合立项意义一种可以追踪、模仿人体移动而跟随移动的装置机电装置图形界面上位机嵌入式平台传感器套件跨学科学习朱上位机编程锐OpenNI接口集贺嵌入式平台正然开发杨算法普数据处理赵信息搜集越方案分析许信息搜集婉怡方案分析兴趣相似优势互补分工明确实施方案分工和流程基于嵌入式平台和Kinect传感器的人体追踪机械臂赵越许婉怡Kinect传感器的研究和控制程序和上位机的开发贺正然杨普朱锐嵌入式平台的研究和搭建源数据的处理和稳定算法以及机械装置性能的改善机械臂的制作和控制指导老师：唐路研究和授课方向之一：电路和嵌入式开发人体部位识别□根据跟踪部位确定深度特征阀值□根据深度集群图像和红外集群图像分理出人体和身边物体□人体边缘检测、噪声阈值处理、对人体目标特征点的“分类”□内置人体骨架模型确定人体部位人体部位识别红外深度图像数据RGB图像数据辅助人体数据点阵模型数据处理□临近点分析确定和剔除异常点□创造适当延迟进行运动趋势预测，匹配适应移动模型，线性拟合机械臂部分□提供手部目标位置数据，建立模型计算关节舵机参数□机械训练适应不同部位跟踪模式□数据源优化和参数调试，提高灵敏度和稳定性目标作品Kinect采集人体数据抽象出人体骨架嵌入式系统处理算法优化数据控制机械臂抽象出人体骨架绘出人体结点图像Windows平台上位机*2012年聚立杯”东南大学第九届RoboCup机器人竞赛一等奖机器人示教组作品指标重点在机械臂部分人体跟随□跟随人体部位移动到某空间位置□控制位置精度和时间延迟仿真机械手臂

重点在机械手部分□基于手部识别，同步模仿手部动作□较高的识别率和灵敏度嵌入式平台上位机重点在嵌入式平台部分□图形展示实时图像□可选跟踪模式可调参数项目前期研究成果项目进展及后续工作√文献查阅√方案调查√实验研究→研究开发阶段赵越许婉怡贺正然杨普朱锐

基本完成了基于OpenNI和NITE的Kinect追踪头部和手部的基本代码和基本图形展示，并能输出坐标序列调试完成了基于Windows

Embedded嵌入式平台并配置相关软件环境，成功运行初步版本算法研究过程中使用了MATLAB分析未知数据抖动剧烈的原因，并完成了初步数据稳定算法函数

对机械臂的开发使用做了初步的了解，正在寻找合适的解决方案项目的创新点与特色项目的创新点与特色将Kinect传感器应用于嵌入式平台线性拟合+趋势预测来稳定数据建模并自创算法控制机械臂关节舵机多传感器协作识别多种追踪模式可选通过第三方API（我们采用的是OpenNI）可以实现跨平台的开发；基于x86嵌入式平台,扩展目标：尝试Linux平台可行性；用MATLAB软件分析出数据存在的问题，去掉无效位置点；通过更多取样点取中心点+线性拟合+趋势预测

稳定源数据；

从可行的角度提出了设想，有待进入机械臂控制阶段后做进一步探讨；通过识别并分别获取头部、骨架、手部的坐标实现分部位追踪；通过友好的用户界面提供选择和切换功能；作为国创项目还可以做什么？作为国创项目还可以做什么？更精确的技术指标，更好的实用性更强大的数据稳定算法从功耗、成本、效率等方面考虑，尝试Linux平台可行性（改装机械臂技术难点在于设备驱动开发）根据需求扩展机械臂尝试上位机和机械臂间的