本科毕业论文答辩PPT课件

1、本科毕业论文答辩本科毕业论文答辩基于GAN的人体骨骼深度估计算法研究 08111403 叶南飞 1120142055研究背景研究背景主要问题主要问题 需要获得大量的标注数据。 在数据集上训练得到模型的泛化能力较差。 一些方法需要从视频序列中获取的连续帧的信息才能进行估计。创新创新点点 将条件GAN引入到人体骨骼深度估计任务中,提出了不同于用CNN直接回归深度坐标的新方法。 将深度信息编码化成为二维图像的像素点，通过二维图像将深度估计问题转化为pix2pix的问题。具有较强的通用性。pipeline二维姿态估计三维姿态估计生成网络CMU Panoptic datasetbodies : id:

2、1,joints18: x1,y1,z1,x2,y2,z2,. 二维人体姿态估计二维人体姿态估计 OpenPose开源系统（tensorflow版本） 输入：单张RGB图像 输出：PCM图 19维PAF图（2D矢量场L） 38维OpenPose网络结构网络结构基于基于生成对抗网络的深度估计生成对抗网络的深度估计构建数据集构建数据集 pair对 使用PNG32 数据集划分比例：0.6:0.2:0.2 共计800张 使用python的PIL库操作生成器生成器网络结构网络结构Unet正则项设计正则项设计 实验发现人体骨骼深度估计结果并非平滑，但事实上人体骨骼是连续的 添加TV loss 其中，i和j

3、表示像素在图像中的位置，c指示通道，H表示图像高度，W表示图像宽度 该项loss和MSE loss以及l1正则这两个经典Cgan的loss一起组成了生成器的loss422,1, ,1, , ,c 100L =HWtvi jci j cij ci j cijxxxx三维骨骼重建三维骨骼重建 使用matplotlib的3d模式 利用plot函数绘制人体骨骼 利用scatter函数绘制人体骨骼点 将x,y,z的极值设置为坐标系边界运行环境运行环境操作系统：Ubuntu 16.04 LTS serverIDE：Pycharm、sublime开发语言：Python、Shell可运行平台：Linux、Wi

4、ndows深度学习框架：tensorflow1.4、tensorflow1.7GPU条件：8*GTX 1080ti+1*Tesla P100GPU加速库：cuda、cudnn其他工具：xftp、xshell模型模型训练及可视化训练及可视化深度估计分布深度估计分布对比对比无total variation loss有total variation loss消融实验消融实验编号编号augmentationBNdropoutTV lossPCMMPJPE误误差差（CM）17.212baseline2baseline 6.793 37.424 465 566 65.35推断速度对比实验结果推断速度对比实

5、验结果编号编号tensorflow框架框架版本版本CPU/GPU型号型号加速环境加速环境推断一帧所需时推断一帧所需时间间1 11.4Ryzen Threadripper 1 9 5 0 X 1 6 - C o r e Processor无3.5s2 21.4Ryzen Threadripper 1 9 5 0 X 1 6 - C o r e ProcessorAVX2指令集2.8s3 31.4NVIDIA GeForce GTX 1080 TiCuda8cudnn61.1s4 41.7NVIDIA Tesla P100 Cuda9Cudnn7TensorRTTensorRT0.6s总结总结 借鉴了已有的优秀研究成果 从数据、方法两个层面进行了创新 对方法在不同环境中的速度进行了评估展望展望 该方法难以解决遮挡情况下的深度估计，需要进一步的思路来解决。