汽车智能座舱系统与应用 课件 模块五 掌握智能座舱中数据采集与处理技术的应用

能力模块五

掌握智能座舱中数据采集与处理技术的应用任务一

了解常见智能座舱的数据集作为智能座舱工程师实习生，主管现在需要你去做一些数据采集的工作，你需要先自己查找有关智能座舱数据集的资料，先观察已有的成熟的数据集的制作模式与成品。任务引入Tasktointroduce01图像数据集认知02语音数据集认知目录

CONTENTS03文本数据集认知图像数据集认知PART0101图像数据集认知这个数据集包含213,659

张图片，这些图片是从15个笔记本摄像头上采集下来的，整个采集周期持续了好几个月，包含了各种光照场景，作者手工标注了37,667张人脸的6个关键点和瞳孔数据。

MPIIGaze数据集是一个人眼注视识别数据集。01图像数据集认知该数据集包含552,992个样本，分为18类手势。注释由带有手势标签的手的边界框和领先手的标记组成。HaGRID手势识别数据集

HaGRID数据集种类非常丰富，包含one、two、OK等18种常见的通用手势，标注了手势框和手势类别标签，可以用于图像分类或图像检测等任务。该数据集中主要是有关驾驶员在驾驶汽车的过程中会出现的几种驾驶分心所采集的图片，该数据集主要采集了驾驶分心中几种典型的驾驶分心动作：左/右手玩手机、左/右手持通电话、调节多媒体、喝水、向后座伸手拿东西、化妆、与其他乘客交谈。StateFarmDistractedDriverDetection数据集是几年前kaggle举办的有关图像分类的比赛。01图像数据集认知StateFarmDistractedDriverDetection语音数据集认知PART02

该语料库包含100条中文导航相关文本语料，语料内容包括导航控制、地点查询、POI（兴趣点）等。02语音数据集认知中文导航语料库中文车载朗读音频数据集：该数据集包含了8个小时的中文普通话朗读音频和转写文本，内容为车载环境下的综合语料，包含8480个由38名说话人提供的句子。

该数据集包含了5个小时的广式粤语朗读音频和转写文本。02语音数据集认知粤语车载朗读音频数据集内容为车载环境中的数字串与命令控制，包含6219条由10名说话人提供的语料。02语音数据集认知希尔贝壳中文普通话语音数据库AISHELL-2的语音时长为1000小时，其中718小时来自AISHELL-ASR0009-[ZH-CN]，282小时来自AISHELL-ASR0010-[ZH-CN]。录音文本涉及唤醒词、语音控制词、智能家居、无人驾驶、工业生产等12个领域。录制过程在安静室内环境中，同时使用3种不同设备：高保真麦克风（44.1kHz，16bit）；Android系统手机（16kHz，16bit）；iOS系统手机（16kHz，16bit）。AISHELL-2开源中文语音数据库

包含6408位来自中国不同地区的说话人、总计1505小时时长共3万条语音、经过人工精心标注的中文普通话语料集可以对中文语音识别研究提供良好的数据支持。02语音数据集认知Aidatatang经过专业语音校对人员转写标注，并通过严格质量检验，句标注准确率达98%以上，是行业内句准确率的最高标准。文本数据集认知PART0303文本数据集认知Kaggle数据集Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆（AnthonyGoldbloom）2010年在墨尔本创立的，主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。03文本数据集认知Amazon数据集

该数据源包含多个不同领域的数据集，如公共交通、生态资源、卫星图像等。网页中也有一个搜索框来帮助用户寻找想要的数据集，包含所有数据集的描述和使用示例，信息丰富且易于使用。03文本数据集认知UCI机器学习资源库

这是一个来自加州大学信息与计算机科学学院的大型资源库，包含100多个数据集。用户可以找到单变量和多变量时间序列数据集，分类、回归或推荐系统的数据集。有些UCI的数据集已经是被清洗过的。03文本数据集认知VisualDataVisualData包含一些可以用来构建计算机视觉（CV）模型的大型数据集。用户可以通过特定的CV主题查找特定的数据集，如语义分割、图像标题、图像生成，甚至可以通过解决方案（自动驾驶汽车数据集）查找特定的数据集。1、以小组为单位，对各组的操作过程与操作结果进行自评和互评，并将结果填入教材的小组评价部分。1、各组派代表阐述资料查询结果。2、各组就各自的查询结果进行交流，并分享技巧。随堂讨论各组代表展示汇报PPT，介绍任务的完成过程。任务实施感谢观看能力模块五

掌握智能座舱中数据采集与处理技术的应用任务二

实现数据的采集与标注身为智能座舱工程师实习生的你采集到了一批数据，可是主管却告诉你说这一批数据并不能直接使用，还需要进行数据标注才行，你查阅相关资料决定使用标注框标注法，对采集到的数据进行标注。任务引入Tasktointroduce01数据标注概述02数据采集与管理认知目录

CONTENTS03数据标注方法认知数据标注概述PART0101数据标注概述数据标注(DataAnnotations)是指对收集到的、未处理的原始数据或初级数据，包括语音、图像、文本、视频等类型的数据进行加工处理，并转换为机器可识别信息的过程。01数据标注概述

数据标注主要是根据用户或企业的需求，采用工程化的方法，对图像、声音、文字、视频等对象进行不同方式的标注，从而为人工智能算法提供大量的训练数据以供机器学习使用。

常见的数据标注工具如下：工具名称简介标注形状导出数据格式LabelImg著名的图像数据标注工具矩形XMLPraat语音声学软件跨平台，多功能语音学专业软件语音TextGriddoccano开源文本标注工具，提供了文本分类、序列标记以及序列到序列任务的标注功能文本txt数据采集与管理认知PART02

数据采集是人工智能数据工厂中生产数据的第一关。02数据采集与管理认知数据采集人工智能领域必须对采集的数据进行准确把关，才能有效提高后续质量。当前通用的手机端采集语音、图像，专用的远程语音设备采集，无人车平台采集等，这些采集平台和工具缺乏智能化，采集的数据依靠后期人工进行质检，工作量大，采集成本高。02数据采集与管理认知智能座舱主要涉及：图像和声音两种数据集。

在采集硬件上我们需要摄像头和麦克风，摄像头我们需要确定工作环境、安位置、参数配置（分辨率、数据传输接口、可视角度范围等），麦克风我们需要确定采样率、采集声道、安装位置等。

在实际采集环境中，为了保证数据采集的稳定性以及持续性。会将摄像头以及麦克风单独连接到一个工控机或者方便携带的计算机。座舱数据采集环境搭建02数据采集与管理认知

除了工控机，车机也可以用来进行采集，特别是结合实际车规级的硬件环境，需要选择对应的车机。座舱数据采集环境搭建

有效的数据管理可以在实际使用中减少一些数据“浪费”，避免一些重复采集，也能让数据有一个“安全屋”。

一、数据存储02数据采集与管理认知数据管理对于数据存储，我们可以利用移动硬盘、网络附属存储（NetworkAttachedStorage，NAS）以及数据服务器。这三类设备在移动属性以及容量大小上能够互相补充，在实际管理中经常使用。

二、采集记录

这一部分，需要根据项目需求进行设计。02数据采集与管理认知数据管理采集时间采集类型采集时段采集数量采集地点文件格式其他20221208打电话数据白天100张台架jpg

数据标注方法认知PART0303数据标注方法认知数据标注方式包括人工标注、半自动标注、自动标注、众包等，在标注前，我们需要完成以下准备工作：(1)分析数据：明确机器学习和模型训练过程中所需的标注数据类型、量级、用途及应用场景等。(2)整理数据：明确数据与标签文件存放的目录结构。(3)明确命名规则：应明确数据与标签文件的命名方式，命名规则应避免数据更新迭代时的重名。03数据标注方法认知标注框标注方法标注框标注是一种对目标对象进行标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。根据提供的数据质量和数量，在标注框标注的帮助下，使机器学习模型通过训练能够识别出所需的目标对象。在人脸识别系统中，也需要通过标注框将人脸的位置确定下来再进行下一步的人脸识别。03数据标注方法认知标注框标注方法一、软件安装

对标注工具压缩包windows_v1.8.0.zip解压缩后，相同目录下出现名为windows_v1.8.0的文件夹。如下图所示，直接运行文件夹内labelImg.exe后会出现命令行窗口，软件主界面自动出现（首次运行时可能需要等待片刻）。03数据标注方法认知标注框标注方法

二、软件使用 1.图片导入

批量导入，将所有需要标注的一组图片存放在同一个文件夹下，然后点击软件左侧工具栏的“OpenDir”按钮，选择图片组所在的文件夹，导入成功后，软件界面如图所示。03数据标注方法认知标注框标注方法点击“CreateRectBox”，此时鼠标指针会变为十字状，然后在图片中所要标注的目标区域直接框选即可，在自动弹出的对话框中选择目标类型，如果列表中没有所需的类型名，则可以直接输入。 2.数据标注

右侧工具栏中的“FileList”分区可以查看目前所显示图片的文件名，标注时通常按照文件名从上到下的顺序依次标注。03数据标注方法认知标注框标注方法

如果当前需要标注的图片中，某一类型的目标数量很多，可先在右侧工具栏的“Usedefaultlabel”后面输入该类型标签的名称，并点选该选项，如图所示。03数据标注方法认知标注框标注方法3.修改标注内容

将鼠标放置在目标框的绿色小圆点上，该点会变为红色方形点，此时可以直接用鼠标拖动来修改目标框大小。03数据标注方法认知标注框标注方法

若需要修改目标的类型标签，先点击所需修正的区域，此时该区域将覆盖有蓝色，然后点击右上角的“EditLabel”进行类型名称的修改。区域显示为蓝色时，也可用鼠标左键拖动实现标注矩形框位置的调整（不改变矩形框的大小）03数据标注方法认知标注框标注方法

如需要删除某个目标的标注矩形框，先点击选取该矩形框，然后再点击左侧工具栏的“DeleteRectBox”（或在目标标注矩形框处点击右键来选择该项）03数据标注方法认知标注框标注方法4.标签导出

首先确定软件的左侧工具栏中，是否显示为所需要导出的格式，PascalVOC格式（对应为.xml文件）和YOLO格式（对应为.txt）。在当前图片中的所有目标矩形框已经标注完成后，点击右上角File，选择Saveas，保存在要求的路径下（文件名一定不要改），文件名无需更改默认即可。03数据标注方法认知三、注意事项

标注框标注方法

每张图片标注完成后，请记得及时保存（即标签结果导出），然后可用“NextImage”/“PrevImage”来选择进行下一张/前一张图片的标注。03数据标注方法认知三、注意事项

标注框标注方法

如果所需要标注的内容较小或需要高精度标注，可以使用上侧工具栏中的“View”–“ZoomIn”放大图片。03数据标注方法认知四、抽烟行为标注

创建JPEGImages文件夹，将需要标注的照片放入其中。创建Annotations文件夹，将标注完成的图片标签.xml格式的文件夹放入其中。标注框标注方法03数据标注方法认知四、抽烟行为标注

选择smoke标签，并用矩形框将香烟框住，如图所示。标注框标注方法1、查找资料，学习其他标注方法，并简要概括。1、各组派代表阐述资料查询结果。2、各组就各自的查询结果进行交流，并分享技巧。随堂讨论根据获取信息中讲到的标注框标注法，标注一组图片，并填写教材所示的工单。任务实施感谢观看能力模块五

掌握智能座舱中数据采集与处理技术的应用任务三

实现数据的清洗与增强在座舱视觉模块的开发过程中，直接抓取到的图像数据往往不能直接进行数据训练和使用，主管要求你对其先进行数据清洗和数据增强，完成数据整理工作。作为智能座舱开发助理，你需掌握数据清洗和增强的方法，有助于后续理解深度学习智能座舱的开发流程。任务引入Tasktointroduce01深度学习数据清洗与增强概述02深度学习数据清洗方法目录

CONTENTS03深度学习数据增强方法04了解深度学习本地训练部署深度学习数据清洗与增强概述PART0101深度学习数据清洗与增强概述数据在采集完之后，往往包含着噪声、缺失数据、不规则数据等各种问题，因此需要对其进行清洗和整理工作。例如，用搜索引擎采集猫的图片，采集到的数据可能会存在非猫的图片，这时候就需要人工或者使用相关的检测算法来去除不符合要求的图片。一般来说，数据清洗的原理为：利用有关技术，如统计方法、数据挖掘方法、模式规则方法等将脏数据转换为满足数据质量要求的数据。01深度学习数据清洗与增强概述数据增广是一种常用的增加训练样本的手段，图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。深度学习数据清洗的方法PART02

填充缺失数据工作通常以替代值填补的方式进行，它可以通过多种方法实现，如均值填补法使用数据的均值作为替代值。然而，该方法忽略了数据不一致问题，并且没有考虑属性之间的关系，属性间的关联性在缺失值估计过程中非常重要。02深度学习数据清洗的方法缺失数据处理

在数据挖掘方法中，关键是挖掘属性之间的关系，当进行缺失值替代时，利用这些关系非常重要。由此观点出发，填补的目的在于估计正确的替代值，并避免填充偏差问题。如果拥有合适的填补方法，则能得到高质量的数据，数据挖掘结果也会得到改善。02深度学习数据清洗的方法对多数据源和单数据源数据进行集成时，多个记录代表同一实体的现象经常存在，这些记录称为重复记录。同时，有些记录并非完全重复，其个别字段存在一定差别，但表示的却是同一对象，此类记录即为相似重复记录。相似重复记录检测是数据清洗研究的重要方面，在信息集成系统中，重复记录不仅导致数据冗余，浪费了网络带宽和存储空间，还提供给用户很多相似信息，起到误导作用。该类问题的解决主要基于数据库和人工智能的方法。相似重复对象检测

异常数据指数据库或数据仓库中不符合一般规律的数据对象又称为孤立点。异常数据可能由执行失误造成，也可能因设备故障而导致结果异常。异常数据可能是去掉的噪声，也可能是含有重要信息的数据单元。02深度学习数据清洗的方法异常数据处理

在数据清洗中，异常数据的检测也十分重要。异常数据的探测主要有基于统计学、基于距离和基于偏离3种方法。可以采用数据审计的方法实现异常数据的自动化检测，该方法也称为数据质量挖掘（DQM）。02深度学习数据清洗的方法数据逻辑错误指数据集中的属性值与实际值不符，或违背了业务规则或逻辑。如果数据源中包含错误数据，相似重复记录和缺失数据的清洗将更加复杂。在实际信息系统中，对于具体应用采用一定的方法解决数据逻辑错误问题，具有实际意义。不合法的属性值是一种常见的数据逻辑错误。逻辑错误检测02深度学习数据清洗的方法多包含大量空数据值的列，如个人对某些敏感信息回避，故意漏填部分信息包含过多或者过少的单一状态的列，如一对一关系的列，或者仅包含一个值的列远离或超出某列正态分布的记录，如出现负工资和课程零学时的问题不符合特定格式的行，如不同的日期格式同一记录的不同属性比较时，缺失意义的列，如客户选购某产品的日期早于该顾客的出生日期不一致数据

多数据源数据集成时，由于不同数据源对同一现实事物可能存在不一致的表示，从而产生不一致的是数据。不一致数据一般通过手工或者自动化方式检查。常见的不一致数据有：深度学习数据增强方法PART0303深度学习数据增强方法几何变化类

（一）翻转

翻转图像通常不会改变对象的类别，这是最早且最广泛使用的图像增广方法之一。翻转的方式有左右翻转与上下翻转。

使用下述代实现左右翻转，图片各有50%的几率向左或向右翻转，翻转后演示效果图如图所示。03深度学习数据增强方法几何变化类上下翻转的代码如下，与左右翻转相同的是，图像各有50%的几率向上或向下翻转。03深度学习数据增强方法几何变化类

（二）裁剪

随机裁剪一个面积为原始面积10%到100%的区域，该区域的宽高比从0.5～2之间随机取值。然后，区域的宽度和高度都被缩放到200像素。03深度学习数据增强方法几何变化类

通过对图像进行随机裁剪，使物体以不同的比例出现在图像的不同位置。这也可以降低模型对目标位置的敏感性。03深度学习数据增强方法几何变化类旋转：旋转操作是对翻转的进一步提升，一般以图像中心为旋转中心进行随机旋转（有正负角度约束），以此获得更多形态的图像数据。缩放变形：按照设定的比例缩小或放大图像数据，但该操作会改变图像大小，存在失真问题，但全卷积网络对于尺度没有严格要求。仿射：仿射类操作包括视觉变换操作和分段仿射操作，前者通过对图像应用随机的四点透视变换加以实现，后者则通过移动图像中点网格上的点及点周围区域加以实现。03深度学习数据增强方法颜色变化类

我们可以改变图像颜色的四个方面：亮度（brightness）、对比度（contrast）、饱和度（saturation）和色调（hue）。

03深度学习数据增强方法颜色变化类

随机更改图像的亮度代码如下，随机改变值是为原始图像的50%到150%之间，(brightness=0.5)。03深度学习数据增强方法颜色变化类

我们也可以随机更改图像的色调。了解深度学习本地训练部署PART04一、软件连通

点击汽车智能座舱系统实训台中的教学系统，选择“手势识别控制单元”（如图5-3-7所示），进入模块页面后，点击实例测试，打开摄像头，点击“建立通讯连接”，将软件与python进行通讯连接。04了解深度学习本地训练部署软件连接与内置数据集实力测试二、内置数据集实例测试

在软件内部，已经嵌入与手势识别相关的18类数据集，其中包括安静、打电话、OK、拳头、两指发誓、手势1-5、停止、摇滚、赞成等常见手势。在连通成功后可以直接进行测试。04了解深度学习本地训练部署软件连接与内置数据集实力测试04了解深度学习本地训练部署一、制作数据集单个行为数据集的制作过程是：①打开摄像头②填写该行为的名称（如打电话）③拍照截取该照片④数据类别默认放置在train中⑤点击“确认使用改数据”。自主创建与训练模型04了解深度学习本地训练部署二、数据集管理

新创建的图片数据可以在“数据集管理”页面中观察到，左侧栏为图片数据的默认路径：DataBase->AGR->train->（新创建的行为名称）->图片名称。在图片名称上，点击右键，可对新建的图片进行复制和删除。右侧为新拍摄的测试图片。自主创建与训练模型04了解深度学习本地训练部署三、训练模型

这一步骤主要是对自主创建/筛选出来的模型进行训练，整体操作页面如左图所示，训练模型的过程如下图所示。自主创建与训练模型04了解深度学习本地训练部署自主创建与训练模型四、模型训练测试

测试环节与内置的数据集测试的操作步骤相同，点击页面左边的“实例测试”，在模型选用上选择重新创建好的模型（新建的模型名称通常是：gesture_best_Reset50_mode+生成时间.h5）。1、根据教材内容，总结数据清洗和数据增强的实现方法。1、各组派代表阐述资料查询结果。2、各组就各自的查询结果进行交流，并分享技巧。随堂讨论根据工作利用实训台架完成手势识别本地部署实训，填写教材所示的工单。任务实施感谢观看能力模块五

掌握智能座舱中数据采集与处理技术的应用任务四

完成深度学习智能座舱开发流程的认知与实现作为智能座舱开发助理，在某次项目中，主管要求你根据项目开发要求去制定一个初版的数据开发流程，便于考核你对数据开发流程的熟悉程度。根据要求，在完成一些初步的数据处理和数据训练后，你需要根据制定的开发流程，独立完成一个小型的完整的本地部署任务。任务引入Tasktointroduce01智能座舱开发流程介绍02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现目录

CONTENTS03驾驶员状态监控本地训练部署智能座舱开发流程介绍PART0101智能座舱开发流程介绍智能座舱开发流程涉及：利用新场景、场景库进行场景定义；利用HMI设计工具进行UI/UE设计（包含界面及交互逻辑设计）；利用HMI框架构建工具搭建整个交互设计平台；由开发人员基于搭建的交互设计平台进行软硬件开发；测试人员深入贯穿于整个开发过程进行阶段性单元测试和集成测试。测试结果部署于车端进行搭载。整个过程由开发设计人员进行全方面维护。

01智能座舱开发流程介绍数据开发框架

整个开发数据平台是一个全闭环流程，该闭环流程涉及四大数据处理过程，最终形成可用于训练的有效模型。01智能座舱开发流程介绍数据开发框架

查找数据缺陷重新进行数据采集进行数据标注训练数据模型数据开发框架流程01智能座舱开发流程介绍（1）数据缺陷

这一过程中，首先需要从已量产的产品中提取数据缺陷DATA-Failure；数据缺陷包含数据漏检，虚假数据，数据校验不通过部分等。（2）数据采集

针对数据缺陷需要重新进行数据采集DATA-Collection，该采集过程包含在开发阶段通过搭建的数据采集平台进行数据采集（比如可以是实车在驾驶过程中用到的驾驶舱内外行车记录仪、全景影像、前视或后视摄像头等），也包含在已经量产的车型中设置的数据埋点或影子模式方式进行。数据开发框架01智能座舱开发流程介绍（3）数据标注

采集数据进行数据标注DATA-Label，这里需要注意的是智能座舱和智能驾驶的标注方式上有所不同；如座舱主要设计图片、语音等标注，ADAS主要涉及道路环境语义（如车道线、护栏、锥桶等标注类型）等标注。（4）数据模型

对于智能座舱算法而言，最重要的是进行人工智能的机器视觉算法训练，该过程设计形成较为精准的数据模板，将标注后的数据用于进行数据模型训练DATA-Model。数据开发框架AI算法仓库主要是对数据平台中的数据模型进行有效训练，模型训练主要高中低三种渐进开发模式。高级模式：该AI算法仓库中训练模型复杂，需要耗费较多的AI算力用于权值监测、关键点检测、图像语义分割，图形骨架提取等。中级模式：算法仓库都是一些标准化模型，如安全带、座椅识别等标准件的识别等；这种类型的识别过程都是一些标准化的识别过程，甚至不包含浮点运算，都是整型运算，算法耗费算力小，效率高。低级模式：算法仓库中复杂度一般，分类较多，嵌入多模型组合进行分类，可实现诸如抽烟、打电话等驾驶员基本的操作过程识别。需要说明的是该模型对于开发团队的能力建设要求较高。01智能座舱开发流程介绍应用开发框架01智能座舱开发流程介绍应用集成框架应用集成框架平台包含利用AI应用开发中间件集成模型框架，搭建通信及底层组件开发集成过程中包含模型转换（即浮点转定点）与编译，生成标准化模型，随后通过加载模型跟配置（配置可以放到固定的地方）定义输入输出：编写过程代码（包含处理逻辑），接收函数框架，定义消息类型（自动反序列化与序列化），释放软件等过程释放软件等过程。后续可编译生成.so文件，并加载到感知管道Pipeline中案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现PART02

根据各框架的优缺点，结合应用实际我们选择paddlepaddle，paddlepaddle提供直接的生产途径。02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现深度学习框架选择不管是在服务器、边缘设备还是网络上，paddlepaddle都可以帮助我们轻松地训练和部署模型，无论您使用何种语言或平台。一、下载anaconda Anaconda是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。使用Anaconda可以通过创建多个独立的Python环境，避免用户的Python环境安装太多不同版本依赖导致冲突。官网地址：/download/官方地址：/archive/清华大学镜像：/anaconda/archive/训练主机环境搭建02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现二、安装anaconda

训练主机环境搭建02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现数据集采集与制作

图像数据采集图像预处理图像标注数据集预划分数据集采集与制作流程02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现（1）图像数据采集

由于我们的应用为驾驶员抽烟状态检测，而网络上没有免费公开的驾驶员抽烟面部姿态数据集，所以我们将利用摄像头或者网上爬虫来获取数据。（2）图像预处理

利用OpenCV对采集到的视频以每秒10帧进行面部截取，并将截取到的图片保存至相应文件夹中。数据集采集与制作02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现（3）图像标注

目标检测数据的标注推荐使用LabelMe标注工具，具体方法可以查看能力模块五任务二“实现数据的采集与标注”。（4）数据集划分

转换完数据后，为了进行训练，还需要将数据划分为训练集、验证集和测试集，我们可以使用数据集划分工具将数据划分为70%训练集，20%验证集和10%的测试集。数据集采集与制作02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现PaddleX目前提供了FasterRCNN和YOLOv3两种检测结构，多种backbone模型，可满足开发者不同场景和性能的需求。我们选择YOLOv3-MobileNetV3，优点是模型小，移动端上预测速度有优势。模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现

定义训练和验证时的transforms #API说明 https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.html模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现

定义训练和验证所用的数据集 #API说明： https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#paddlex-datasets-vocdetection模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现#初始化模型，并进行训练 #可使用VisualDL查看训练指标，参考 https://paddlex.readthedocs.io/zh_CN/develop/train/visualdl.html模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现 #API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现 #API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3 #API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#id1模型训练02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现 #各参数介绍与调整说明： https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html模型裁剪

02案例：基于卷积神经网络的驾驶员舱内抽烟行为检测系统流程的分析与实现模型裁剪可以更好地满足在端侧、移动端上部署场景下的性能需求，可以有效地降低模型的体积，以及计算量，加速预测性能。PaddleX集成了PaddleSlim的基于敏感度的通道裁剪算法，开发者可以在PaddleX的训练代码里轻松使用起来。模型裁剪训练

02案例：基于卷积神经网络的驾驶员舱内抽烟行为