智能汽车解决方案

智能汽车解决方案智能汽车解决方案目录Part1:智能汽车解决方案总览Part2:智能汽车解决方案行业背景需求分析

/

市场机会Part3:智能汽车解决方案演进趋势Part4:智能汽车解决方案核心模块智能座舱产品方案智能驾驶产品方案Part5:解决方案亮点：联动方案Part1解决方案架构总览智能汽车整体方案Part2解决方案行业背景技术背景在汽车行业自动驾驶发展趋势稳定，伴随智能化等级提升，人车关系由人主导向自动驾驶系统主导演进，一定程度释放驾驶员注意力。但针对危险情况下的驾驶任务接管仍需驾驶员接入，为保证接管效率，需加强对驾驶员状态的关注，避免发生安全事故。DMS在L3、L4级别的汽车中有着不可或缺的作用。政策背景近年来，多个国家或地区陆续出台政策法规或行业标准，推进应用AI能力预警驾驶员疲劳或分心驾驶等不良行为，以减少交通事故发生率。欧洲和美国率先推出乘用车和商用车的DMS强制配置要求。2017年9月欧盟新车安全评鉴协会（NCAP）发布的2025发展路线图中，率先将DMS列为初级安全系统。（来源：DMS专题报告，基业常青经济研究院）用户需求分析•

安全服务为刚需：在智能化趋势下据调研报告显示，消费者对安全类服务的刚需明显。作为用户底层需求，期望车辆装配更多的安全性配置和功能。•

个性化需求加剧：伴随消费者对汽车产品使用定位的转变，需求层次随之提升。逐渐从单一的出行工具变为生活中的“第三空间”、从单一安全性需求扩展至娱乐体验等个性化需求。用户需求分析新四化趋势下，进入软件定义汽车时代•

智能化、网联化、电动化、自动化的发展趋势下•

软件取代硬件成为核心竞争壁垒产业链价值重塑，价值链向软件/算法偏移•

汽车产品定位转变：由高度机电一体的机械设备转变为智能化、可持续迭代升级的移动电子终端，汽车电子占整车成本逐渐提高车企战略调整，深耕软件领域，推进品牌转型• 车企核心能力：从机械硬件转向电子硬件和软件深耕软件领域，提升车辆产品智能化水平积极推进品牌科技化转型，提升品牌价值，实现服务增值行业需求分析应用软件+算法软件作为软件层的核心组成，成为关注焦点产业链呈现融合趋势需求软件/算法供应商操作系统供应商芯片供应商底层操作系统定制操作系统ROM型操作系统算法软件应用软件信息娱 驾驶显乐系统 示系统传统Tier1座舱方案集成商软件、硬件软硬件解决方案HUD流媒体 行车后视镜 记录仪提供技术支持5G通信

/云计算、V2X主机厂/车企终端消费者软件、硬件需求需求软件、硬件Tier2底层技术To

操作系统供应商战略合作伙伴：中科创达To

车企合作伙伴：比亚迪、一汽红旗/奔腾To

智能化零部件供应商（Tier1）基于行业融合的多边合作网络，

面向下游厂商提供软件服务To

车联网解决方案供应商（Tier0.5）

定位软件算法供应商Part3解决方案演进趋势智能汽车产品价值分析为用户带来哪些转变？• 基于低成本高性能智能座舱算法助力车企及Tier1客户智能化转型，提升产品价值• 同时增强座舱感知能力，推进被动交互转化至主动服务，升级人车交互体验客户类型车企、Tier1客户内部网约车业务商业价值体现助力车企、Tier1客户智能化升级，增强软件侧差异性，提升行业竞争力，实现收益提升基于视觉Ai技术，及时定位及预警隐患行为，降低交通事故率，避免损失用户价值体现基于高性能算法，准确感知座舱行为，升级人车交互体验，由被动交互升级至主动服务，满足用户个性化需求基于高性能算法，有效预防危险驾驶行为，保障司乘出行安全智能汽车产品演进路径驾驶行为分析智能汽车产品方案融合多维信息，识别驾驶隐患，提供适时干预，为安全出行保驾护航智能座舱产品方案智能汽车产品方案，为安全出行保驾护航多模态交互座舱检测驾驶员身份验证智能驾驶产品方案车道偏离预警低速防碰撞预警前车刹车预警行人碰撞预警前向碰撞预警车距监测预警Part4解决方案核心模块智能座舱•

针对智能座舱用户关注核心安全需求•

伴随消费升级，逐渐转移至高层级体验、娱乐需求以AI技术为驱动力推进座舱行业智能化转型•

座舱行业沿传统化—电子化—智能化发展•

AI作为核心驱动力，促进汽车电子供应商转型及升级智能座舱—行业发展趋势用户聚焦安全、体验类需求智能座舱产品方案功能演进路线扩展AI能力广度纵深AI能力精度升级产品策略

提供主动服务多模态交互+座舱检测IMSDMS+Face

ID功能疲劳预警分心检测驾驶行为识别身份验证Face

ID多模态交互手势识别情绪识别人脸识别座舱识别IMS乘员属性识别智能座舱产品方案融合多维信息，识别驾驶隐患，提供适时干预，为安全出行保驾护航驾驶员行为识别DMS智能座舱视觉产品方案摄像头位置及功能分配11-1231.主驾检测：方向盘附近-转向柱/仪表盘720P

FOV

IR摄像头疲劳报警长时间不目视前方检测情绪识别身份验证抽烟、喝水、打电话检测2.座舱检测：后视镜区域720P

FOV

IR+RGB摄像头3.座舱检测：后方B柱720P

FOV

IR+RGB摄像头落座位置检测成员属性检测坐姿检测未系安全带检测手势识别安全座椅检测遗失物品检测1-1.主驾检测（备选）：A柱720P

FOV

IR摄像头覆盖百万车载设备、低功耗高精度、可持续迭代资源占用率低高性能低成本应用轻量级深度模型，在维持精度的前提下，精简前处理、后处理，大幅降低资源占用，提供高性能低成本识别方案支持主流硬件平台便于集成支持多个主流车载硬件平台，

方便客户快速适配集成，目前已支持平台如下：轻量级深度模型，支持主流硬件平台功能算力环境算力占CPU占用RAMROM用驾驶员行为识别（DMS）/驾驶员身份验证（Face4500DMIPS4.6%76MB23MBID）SA8155P7000DMIPS6.7%85MB23MB智能座舱全功能ARM（高通、MTK、海思）QNX√Android√Linux√X86（NVIDIA）√项目描述车企客户计划在下一代新车型中新增DMS+FaceID功能，增强车内驾驶行为感知，提升安全预警精度及交互体验。项目于2020年中下旬定点，目前已完成DMS+Face

ID功能开发及验收，于今年量产交付明星案例—国内某新能源车企量产项目功能清单应用层预警能力驾驶行为识别DMS疲劳预警（轻度、重度）、分心检测（轻度、重度）、视线追踪、行为检测、离岗检测、设备遮挡检测驾驶员身份验证Face

ID人脸检索能力层中间参数疲劳表征检测、疲劳表征持续时长、各预警结果置信度判断摄像头遮挡检测人脸质量评估明星案例—国内某新能源车企量产项目产品性能经四个月研发及版本迭代，

目前已进入研发收尾阶段，

其中，Face

ID

、

DMS

产

品

性

能

经

实

车

自

测

已

达

预

期

，

平

均

漏

报

率15%前提下，功能识别准确率保持在90%

以上项目挑战及应对措施客户FaceID功能的启动速度、识别精度、稳定性有较高要求，最终选定集成在QNX

系统上

侧接收需求后，在短时间内完成方案调研、理论学习、框架设计及模型移植。目前Face

ID

功能在QNX

稳定运行，算法识别速度约900ms，控制误识率的前提下保证人脸识别准确率达99%，量产后客户反馈体验良好视觉算法针对摄像头成像效果具有强依赖关系，在该项目中因前期未介入选型阶段，导致硬件选型较预期具有较大偏差

侧针对影响成像特性进行多轮定向优化，提升模型精度，结合调整模型参数及产品策略，尽可能减少部分硬件成像效果影响，有效把控交付质量，通过整体验收短时间完成基于QNX系统的移植及适配硬件适配及性能优化帧率资源占用指标DMS：5-10fpsFace

ID：5fpsCPU占用4.3%算力占用4500RAM76MBROM23MB疲劳状态分级驾驶员疲劳往往是阶段性状态，

由浅至深的过程中存在明显差异，

危险程度也随之增高。为提供更加准确及适时的主动交互服务，

结合疲劳表征检测及真实疲劳数据分析，

实现区分驾驶员疲劳的轻度、重度状态等级功能详解—驾驶员行为识别（DMS）疲劳预警驾驶员疲劳表征多样，结合实际场景数据的不断挖掘，提炼出两项高频表征，即闭眼、打哈欠。基于计算机视觉技术，根据一定区间内，驾驶员闭眼时间和嘴部开启特征持续时间综合判断司机是否处于疲劳状态，及时进行预警反馈策略疲劳分级策略基于

大规模实际场景疲劳数据验证，通过分析真实疲劳数据，深度优化调整策略参数，实现准确判断轻度疲劳：唤醒语音助手，提示播放音乐、开窗通风等重度疲劳：屏幕模拟来电、导航路边停车或休息站或加油站DMS与ADAS联动：提升ADAS的灵敏度产品优势针对不同分心状态，

支持等级判断，

包含轻度及重度两种。

通过统计分心表征出现的频率及次数实现状态判断，

针对不同等级的分心状态匹配差异化策略在L2/L3级自动驾驶中，需实时关注驾驶员注意力情况，以此分析驾驶员当前的接管能力。系统支持基于头部姿态偏转及视线追踪综合判断驾驶员分心状态分心检测应用卷积神经网络进行图像处理与分析，

结合高鲁棒性的分神检测算法对驾驶员脸部侧转及仰俯视角度进行分析，

判断驾驶员注意力是否偏离。

当驾驶员左顾右盼或低头超过规定角度及持续时间后，

将进行分心预警为覆盖座舱内主要分心场景，在头部姿态检测基础上补充视线追踪功能。基于深度学习及传统图像算法，通过计算头部姿态与瞳孔位置，计算视线角度，支持输出垂直及水平角度视角，结合在某角度下的注视时长完成斜视检测头部姿态检测视线追踪检测分心检测分级功能详解—驾驶员行为识别（DMS）关注驾驶位区域，连续多帧检测无人后判断驾驶员不在驾驶位，多与设备遮挡失效配合使用当设备摄像头被不透光材料持续遮挡时，因无法正常识别，将触发设备遮挡报警。考虑到车内光线、物品遮挡等影响，易导致算法无法正常工作，支持上报眼部及嘴部同时失效情况驾驶员不在驾驶位报警设备遮挡失效报警通过视觉传感器采集图像信息，自动识别并追踪驾驶员脸部附近范围有无明确特征判断司机打电话、抽烟、喝水等不良行为接打电话、抽烟、喝水报警功能详解—驾驶员行为识别（DMS）通过实时采集驾驶员照片与本地数据库比对，支持返回库中与输入人脸相似度最高的照片及对应ID，识别速度快、精度高驾驶员身份验证在账号模块中实现人脸信息录入，摄像头将提取特征点生成人脸唯一标示，并与账号关联。录入过程支持判断人脸质量，当出现人脸遮挡、人脸大小及角度不符合检测条件时将反馈问题，引导用户正确录入驾驶员底图录入基于深度学习算法，支持配合式及静默活体检测，其中配合式需根据语音引导用户眨眼、张闭嘴；静默活体检测用户友好性强，支持基于单目摄像头自动完成攻击判断及拦截活体检测功能详解—驾驶员身份验证（Face ID）功能详解—多模态交互支持检测后排位置系安全带特征，针对未系安全带情况进行及时预警，降低安全风险，保障乘员出行安全未系安全带检测应用深度学习算法，支持检测后排座椅上遗留的双肩背包、手机。在下电后的预留时间内完成检测，识别速度快，及时反馈结果物品检测应用深度学习算法，支持检测后排座椅区域是否有宠物遗留，范围包含常见的猫、狗，不支持分类（即输出猫、狗的具体分类结果）宠物检测功能详解—座舱检测方案基于计算机视觉技术及深度学习算法，实时检测危险驾驶行为，以语音、视觉等反馈方式及时预警。方案鲁棒性强，适配复杂车载光线环境，精准定位安全隐患，保障司乘出行安全。

基于DMS+ADAS联动技术，

有效利用车内车外信息，

打破通信孤岛，综合多维数据实现策略决策，兼顾体验同时提升识别算法准确率驾驶安全伴随汽车座舱从传统化到智能化的发展趋势，除关注用户基础需求外，满足个性化、情感化等需求逐渐成为提升品牌竞争力的关键。方案应用视觉及语音AI技术拓展用户感知维度，预测识别用户意图，结合场景策略匹配个性化服务，应用自然的交互方式提升人车交互体验，实现从被动的指令式交互到智能化主动服务的升级交互体验智能座舱—应用场景智能座舱Demo视频预留Part4解决方案核心模块智能驾驶ADAS定义参考国家标准计划《道路车辆先进驾驶辅助系统(ADAS)

术语及定义》先进驾驶辅助系统（ADAS）定义为：利用安装在车辆上的传感、通信、决策及执行等装置，监测驾驶员、车辆及其行驶环境并通过影像、

灯光、声音、触觉提示/警告或控制等方式辅助驾驶员执行驾驶任务或主动避免/减轻碰撞危害的各类系统的总称。国标中共列举了21项信息辅助类能力及15项控制辅助类能力对应国际汽车工程师学会（SAE）发布的6级分类体系，辅助驾驶主要指L0-L2级，其中

智能驾驶方案聚焦L0预警类ADAS：产品定义及行业定位L1L2L0无自动化由人类驾驶者全权驾驶汽车，在行驶过程中可以得到警告ADAS定位驾驶辅助通过环境信息对方向和加减速中的一项操作提供支持，其余驾驶操作由人完成部分驾驶辅助基本操作是由车辆完成，而驾驶员负责周边监控和随时接管车辆智能驾驶（Info

ADAS）辅助驾驶员实现驾驶操作，主动识别驾驶安全隐患，及时进行预警前向碰撞预警FCW前车刹车预警BLW跟车过近提醒HMW行人碰撞预警PCW车道偏离预警LDW智能驾驶视觉产品方案项目描述引起交通安全事故的主要人为因素为驾驶员行驶过程中存在疲劳、左顾右盼、玩手机、未注意前车刹车、跟车过近等危险行为。在网约车场景中，通过装载桔视记录仪应用AI

算法检测及干预危险行为，实现交通安全降发生的业务目标明星案例—

网约车安全管控项目功能清单车内视觉能力驾驶行为识别DMS疲劳预警（轻度、重度）、分心检测、设备遮挡失效检测、行为检测、座次检测、座资检测项目成果截止2020

年底，DMS+ADAS

功能已全面上线桔视设备，覆盖超百万量级车辆，基于高精度DMS+ADAS

算法，实现疲劳事故降低20%，追尾事故降低18%，在保障人身安全、交通安全方面创造极大业务价值车外视觉能力高级驾驶辅助系ADAS前向碰撞预警、车道偏离预警、行人碰撞预警、车距监测预警、前车刹车预警、低速防碰撞预警目前智能驾驶产品能力已上线内部网约车场景，赋能100万台车载设备，经大规模实际场景落地验证，保证模型稳定性，同时可持续优化模型效果，提供更准确地预警服务算法卓越方案