汽车智能座舱系统与应用 课件 3-2 实现手势交互技术的应用

能力模块三

掌握智能座舱中机器视觉技术的应用任务二实现手势交互技术的应用作为一名智能座舱方向的开发助理，在智能控制板块的开发过程中，主管需要你完成手势识别功能，因此你的工作是制作一份PPT进行手势交互应用实例展示，同时完成云端调用API实现手势识别。任务引入Tasktointroduce01手势交互的应用场景02云端调用API实现目录

CONTENTS03本地model部署手势交互的应用场景PART0101手势交互的应用场景

人机交互种类多样化，常见的人机交互技术有基于键盘和鼠标的输入、基于声音和面部表情以及手势识别技术，其中手势是一种具有特定意义的语言，具有自然、直观以及灵活等优点，手势识别在模式识别和人机交互领域逐渐成为热点研究。万物互联，人机交互技术越来越贴近于我们的生活，人机交互是计算机领域中的一项重要技术。01手势交互的应用场景VR手势

VR是利用计算机技术来创建模拟环境。与传统的用户界面不同，VR通过模拟尽可能多的感官（例如视觉，听觉，触觉甚至气味），将用户带入一种看似真实的体验，让用户沉浸在其中并能够与3D世界互动。在汽车行业内，VR应用于汽车驾驶、选款定制汽车内饰、模拟驾驶、汽车设计制造等方面。01手势交互的应用场景VR手势

得益于计算机视觉和深度学习技术的发展，现在能够在普通摄像头上实现精度较高的手势识别。VR强调沉浸感，而手势交互可以极大地提升VR使用中的沉浸感。所以VR+手势这个落地方向很有前景，等VR得到普及后，定会改变人类的娱乐方式。此类代表产品：LeapMotion、uSens、极鱼科技等。01手势交互的应用场景

AR，即增强现实（AugmentedReality，简称AR），可以简单理解为，将一些很难体验到的实体信息（视觉信息、声音、味道、触觉等）模拟仿真叠加放在真实世界空间内，被人类感官所感知。AR手势01手势交互的应用场景

AR手势技术，原理是输入双目灰度图像，输出双手23关键点的3D位置和旋转信息、手势类别。以HoloLens为代表的很多公司都在做AR眼镜。AR眼镜可能会脱离实体的触屏和鼠标键盘这些输入工具，取而代之的输入是图像和语音等。AR手势01手势交互的应用场景这里用到的手势识别比较简单，基本只要识别单点多点。但在使用过程中手很容易挡住投影仪显示的屏幕，而且还有显示清晰度的问题。桌面手势此场景可能更多的是一种探索，落地的可能性较小。以SonyXperiaTouch为代表的投影仪+手势识别，将屏幕投影到任何平面上，再通过手势识别模拟触屏操作。01手势交互的应用场景车载手势识别是指计算机能够识别人的不同手势，并判断不同手势的相应含义，从而实现对应的功能。车载手势手势识别对人的限制非常小，并且自然、直观，这令其在人机交互方式中脱颖而出。人和计算机之间的通信逐渐不再依赖中间媒介，人手成了终端设备的中间输入工具，计算机被用户预先定义的各类手势加以操纵。云端调用API实现PART0202云端调用API实现调用百度云实现手势识别API

云API的主要功能有：识别图片中的手势类型，返回手势名称、手势矩形框、概率分数，可识别24种常见手势，适用于手势特效、智能家居手势交互等场景。

手势识别的场景要求：主要适用于3米以内的自拍、他人拍摄，1米内识别效果最佳，拍摄距离太远时，手部目标太小，无法准确定位和识别。02云端调用API实现一、注册API密钥操作步骤

（一）登录百度智能云

百度智能云的页面网址为：/创建账号登录，进行实名认证。百度智能云的登录页面如图所示。调用百度云实现手势识别API02云端调用API实现（二）选择图像识别在产品服务内的人工智能模块，选择“图像识别”功能。调用百度云实现手势识别API02云端调用API实现

（三）创建应用

在应用列表内，点击“创建应用”，填写应用名称为“手势识别”，端口选择：勾选“人体分析”内的“手势识别”，应用归属选择“个人”，应用描述为“手势识别”，点击立即创建。创建过程如下所示。调用百度云实现手势识别API02云端调用API实现调用百度云实现手势识别API接上一页02云端调用API实现

（四）查看API密钥和Secret密钥

创建完毕后返回到应用列表，可查看到已经创建好的应用，在右侧可查看该应用对应的API密钥和Secret密钥。调用百度云实现手势识别API02云端调用API实现（五）调用代码调用百度云实现手势识别API02云端调用API实现（六）返回结果调用百度云实现手势识别API02云端调用API实现百度智能云实现手势识别实例测试

在熟悉创建手势识别应用的步骤之后，我们可以利用汽车智能座舱实训软件系统来进行实例测试。在汽车智能座舱系统实训台上，打开教学系统屏幕，在软件系统页面点击“手势识别控制单元（AGR)”。02云端调用API实现百度智能云实现手势识别实例测试

在手势识别控制单元页面中，点击“百度智能云实现方法”，点击“实例测试”，可观察到中间开启了摄像头，将对拍摄到的画面进行手势识别，右上侧为信息输入（上下框内分别输入创建应用环节中获取到的APIKey和SecretKey信息），信息输入后点击运行按钮，摄像头捕捉到的画面进行手势识别，识别结果将返回到“识别结果”这一空白框内。本地model部署PART0303

本地model部署TensorRT框架TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。03本地model部署OpenVINO框架

在英特尔CPU端（也就是我们常用的x86处理器）部署，首先OpenVINO，同时借助TensorFlow、PyTorch和Caffe*等热门框架转换和优化训练后模型。在多种英特尔硬件和环境、本地、设备、浏览器或云中部署。03

本地model部署TensorRT框架

飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。1、根据教学视频，完成云端调用API的实现，