智能座舱监测系统（IMS）之DMS和OMS详解

座舱监测系统主要分为输入端（感知端）、控制端（规划端）、输出端（执行端），输入端主要由车内摄像头和雷达作为信息源，然后进行判断，最后输出信息显示终端。参考《汽车智能座舱分级与综合评价白皮书》，智能座舱定义为：座舱域控制器由一颗或者多颗主控座舱芯片以及

外围电路，集成车载信息娱乐系统、液晶仪表、HUD等功能，接收传感器信号、计算并决策、发送指令给执行端。智能座舱具体功能依据市场主流销售车型功能列表分类如下：智能座舱功能列表其中DMS，即DriverMonitoringSystem，驾驶员监测系统，监测对象为Driver(驾驶员），DMS可以监测驾驶员的疲劳状态、危险驾驶行为。OMS，即OccupancyMonitoringSystem，乘客监测系统，监测对象为乘客，OMS能够监测乘客年龄、状态、情绪等。相对于DMS和OMS而言，IMS是一个比较新的概念。In-cabinmonitoringSystem即汽车座舱的智能视觉监控系统。通俗来讲，IMS既包括DMS、OMS，也包括FACEID、手势识别、体征监测、远程监控等。IMS系统工作原理座舱检测系统的形成链条主要涉及三个环节，摄像头/传感器进行图像的捕捉与输入；芯片板进行解码与演算；信息娱乐系统（IVI）的人机交互进行监测提示与反馈，最终使驾驶员得到相应的安全预警反馈。小结：在智能座舱中，除了显示和交互技术外，座舱监测技术也是未来的重要发展方向，监测系统主要包含了驾驶员监测（DMS）和乘员监测（OMS）。当前的座舱监测方案主要包括了DMS和OMS,前者主要对驾驶员的监测，主要利用2D/3D摄像头方案，后者主要针对车内乘客的监测，会增加毫米波雷达作为补充。

#01驾驶员监控系统（DMS）系统介绍根据“欧盟通用安全法规”，从2024年中期开始，所有划归M类和N类的新制造车辆都必须配备先进的驾驶员分心警告系统（ADDW）。ADDW系统主要监控驾驶员的眼睛运动，并在检测到分心迹象时发出警告。早在2019年，宝马X5车型就已经配备了驾驶员注意力摄像头，用于观察驾驶员的睁眼情况和头部位置，从而评估驾驶员的专注程度。拓展：按用途以符号分类按GB/T15089--2001《机动车辆和挂车分类》标准将机动车辆和挂车分为M类、N类、G类、O类、L类。1、M类：M类车辆是至少有四个车轮并且用于载客的机动车辆。2、N类：N类车辆时至少有四个车轮且用于载货的机动车辆。3、G类：G类可概括为越野车，包括在M类N类之中。4、O类：O类挂车【包括半挂车】。M类：至少有4个车轮并且用于载客的机动车辆；M1类：包括驾驶员座位在内,座位数不超过9座的载客车;M2类：包括驾驶员座位在内,座位数不超过9座,且最大设计总质量不超过5000kg的载客车;

M3类：包括驾驶员座位在内,座位数不超过9座,且最大设计总质量超过5000kg的载客车;

N类：至少有4个车轮并且用于载货的机动车辆；

N1类：最大设计总质量不超过3500kg的载货车辆；

N2类：最大设计总质量超过3500kg，但不超过12000kg的载货车辆；

N3类：最大设计总质量超过12000kg的载货车辆；DMS并不是一个完全新颖的概念，不过，传统DMS通常依赖于从车辆收集信息的被动技术，例如车道保持、驾驶持续时间，以及转向传感器等。然而，这些被动技术已经被证明不够准确，容易导致很高的误报率。因此，ADDW法规转向主动监测驾驶员的眼球运动，标志着DMS从被动技术向基于视觉的主动监测技术转变。一、DMS分类DMS可分为两类：直接/主动监控和被动/间接监控。被动监控依靠驾驶持续时间和车道保持等车辆信息来评估驾驶员的疲劳程度，但这种方案有可能产生误报。另一方面，根据ADDW的要求，主动监控利用近红外（NIR）相机，这对于眼球运动检测特别有效，且不会影响驾驶员。近红外相机通常包含一颗或两颗LED/VCSEL照明器，以及一颗图像传感器，它们通常被安装在车辆A柱或转向柱等位置。然后，通过软件提取驾驶员眼睑闭合以及打哈欠等特征，在识别驾驶员瞌睡或疲劳迹象方面发挥着至关重要的作用。DMS方案二、DMS配置DMS摄像头安装位置具有灵活性，可以在仪表盘、方向盘柱、左右侧A柱或内后视镜等位置，此外，大陆还将DMS集成在显示屏中，实现结构上的小型化。其中正对驾驶人脸角度的转向柱和仪表盘位置，是效果最好的，A柱其次，舱内后视镜也勉强可以。摄像头推荐安装位置目前主流是利用2D或3D的摄像头方案（一般带红外功能）实现对驾驶员的身份识别、驾驶员疲劳驾驶以及危险行为的检测功能，是目前流行的ADAS（高级驾驶辅助系统）系统中重要组成部分。2D人脸识别技术的原理就是用一颗RGB摄像头捕捉人脸的2D平面图像和已经录入的图像库进行对比，算法相对简单，模组成本较低。但是由于其捕捉的是人脸的2D平面图像，即使辅以“活体”算法，但防伪性还是很差。2D

3D的区别3D人脸识别技术逐渐运用到智能锁领域。而主流的3D人脸识别技术主要有3种：Ø双目识别技术：双目识别技术又叫双目测距技术，原理和我们的人眼类似，直接由两个摄像头拍摄，得到两个不同的平面图像，再把两张图像上相同的特征点标注出来，最后再基于三角测量原理计算出深度信息。双目识别原理Ø3D结构光技术：3D结构光需要有点阵投影器和红外摄像头。点阵投影器投影到我们脸上，红外摄像头则找到投影到脸上的光点，然后基于三角测量原理计算出人脸的深度信息，通过深度判断人脸是否吻合。3D结构光原理ØTOF技术：TOF又称飞行时间技术，通过传感器发射出红外光，红外光再从物体表面反射回传感器，传感器根据发射光和反射光之间的相位差换算出深度信息，通过深度信息判断人脸是否吻合。TOF的原理与3D结构光比较相似，都是通过红外光反射计算深度信息，只是3D结构光技术投射的红外光是点状，而TOF投射的则是一整片红外光，因此TOF的工作距离可以达到5米，但是精度与3D结构光相比还是有较大的差距。3D结构和3D-TOF的差异总结：1、双目方案。比较大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。2、结构光方案。目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新更换设备后，需要重新标定。3、TOF方案。传感器技术不是很成熟，因此，分辨率较低，成本高，但由于其原理与另外两种完全不同，实时性高，不需要额外增加计算资源，几乎无算法开发工作量，是未来。注：RGB色彩模式（也翻译为“红绿蓝”，比较少用）是工业界的一种颜色标准，是通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。

#02OMS系统介绍DMS还可以升级为OMS-即车内人员监控系统，摄像头不仅可以对驾驶员的状态进行跟踪，包括驾驶员疲劳的一些提醒，甚至还可以对后排乘客进行跟踪，以满足相关乘车需求。OMS传感方案包括五种，分别是摄像头、毫米波、超声波、压力传感器和生物特征传感器。目前，OMS主流传感方案为1*OMS摄像头（占比高）或1*毫米波雷达。在座舱感知方案中，诸如毫米波雷达等感知方案可以作为视觉方案的补充，能够有效降低隐私侵犯和泄露风险，主要用于座舱OMS系统的生命体征检测，目前国内已有多家车企搭载了该种方案。座舱生命体检测方案一、OMS典型方案介绍1、基于视觉感知技术的DMS驾驶员监控系统与OMS乘客监控系统具有明显的成本优势。实现功能在配套的舱内摄像头部分，目前，在前装市场，舱内视觉方案的主要摄像头配置有几种类型：

（1）单摄像头方案，大多数集成在驾驶员侧的A柱或方向盘，功能主要是人脸识别（包括发动机启动、车机系统进入以及座椅个性化调节等）和疲劳分心监测。另一种则是集成在内后视镜位置，除了服务驾驶员，还可以额外提供乘员监控功能（车内行车记录功能），甚至包括儿童／遗留物检测、安全带检测和识别特定乘客等功能（2）双／三摄像头方案，分别位于A柱、内后视镜以及车顶位置，负责不同功能的实现。（3）大部分用于检测驾驶员疲劳的驾驶员监测系统均采用成本较低的传统2D可见光摄像头（配合IR红外LED）。3D—ToF传感器也开始进入前装（比如，首发搭载理想L9），从而增强座舱监控系统鲁棒性，实现恶劣的光照条件下捕捉深度和红外图像。主机厂车型IMS装配情况

摄像头安装位置示意图同时，在整体系统方案方面，主要形态包括基于摄像头和独立控制单元，或摄像头＋集成座舱车机／域控制器解决方案。供应商方面，有底层感知算法供应商、软件Tier1以及硬件Tier1等不同角色。虹软科技通过视觉，可以实现的OMS功能有：乘客占位和属性检测：实时统计车内人员数量，准确标识乘客入座位置，帮助掌握车辆载客情况。精准识别年龄、性别、情绪等多种人脸属性信息，分析乘客面部表情，有效规避司乘冲突。遗留物品检测：实时检测舱内后座画面，结合下车信号有效分析乘客随身物品的遗留情况，并根据业务策略给予告警系统。可精准检测手机、钱包、女士手袋等数十种随身物品，且支持一站式自定义物体品类训练。遗留儿童检测：实时监测舱内后座区域，结合下车信号精准判断后座区域是否存在儿童遗留，并根据业务策略将儿童感知数据传输至告警系统，全面保障乘客的出行安全。遗留宠物检测：准确分析后座区域是否存在活体宠物遗留，并根据业务策略及时发送预警信息；支持识别多品种宠物猫和宠物狗，能有效抵御毛绒玩具等假体攻击。2、毫米波雷达OMS方案在一些主机厂中已经得到应用，在某些场景下（如遗留儿童监测），摄像头的监控范围易受安装位置、视线范围等条件影响，较难做到精准无误监测与警报。而雷达传感器（包括毫米波雷达、超声波雷达、UWB雷达）具有穿透固体物质的能力，可以更精确地检测无人照管的儿童、监测乘员状态、预估驾驶员的生命体征，在舱内监控中的应用有望扩大。其中森思泰克的STA60-4/STA79-4车内成员检测雷达方案较为成熟，STA60-4和STA79-4车内成员检测雷达是由森思泰克自主研发的两款基于60GHz和79GHz毫米波技术的雷达产品。两款雷达工作频率不同，可满足不同国家法规差异化的要求。两雷达功能相同，均可检测车中指定区域内有无活体目标，尤其是后排遗留儿童检测，具有性能高、体积小、重量轻等特点。

森思泰克方案图STA60-4/STA79-4车内成员检测雷达一般安装在汽车天窗附近，隐藏在顶棚内部。当车辆驻停后，雷达可自动检测车内后排座椅上的目标信息，一旦发现存在滞留儿童，迅速发出报警信号，同时还可以启动通风系统等辅助救助装置，从而达到保障乘车儿童人身安全的目的。森思泰克雷达参数指标楚航科技车规级平台研发生产的60GHz生命体征探测雷达，采用3发4收天线通道，可覆盖车内全区域，体积小，低成本，低功耗，<1%误报率与0漏报率，可实现ROA第二排占位探测与第三排活体探测,DMS驾驶员心跳呼吸检测。楚航科技方案参数指标应用场景：ROA系统1.

ROA（rearoccupantalert）后排占位检测系统毫米波雷达安装在车顶可感知整个座舱区域、探测目标并对其进行高精度分类和生物特征的监测，监测车内人数。2.CPD（childrenpresentdetection）儿童存在探测功能防止儿童以及宠物被遗留在车内而发生意外，一旦有儿童被遗留在车内，系统会输出报警信息给驾驶员。3.SOD（seatoccupancydetection）占位检测功能可以探测到车内哪个位置被占用，并可输出占用信息