基于AI视觉的交通标志识别与车辆控制系统

ICS43.040.30

CCSV41

团体标准

T/QGCMLXXXX—2023

基于AI视觉的交通标志识别与车辆控制系

统

TrafficsignrecognitionandvehiclecontrolsystembasedonAIvision

（征求意见稿）

XXXX-XX-XX发布XXXX-XX-XX实施

全国城市工业品贸易中心联合会发布

T/QGCMLXXXX—2023

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由全国城市工业品贸易中心联合会提出并归口。

本文件起草单位：

本文件主要起草人：

II

T/QGCMLXXXX—2023

基于AI视觉的交通标志识别与车辆控制系统

1范围

本文件规定了基于AI视觉的交通标志识别与车辆控制系统的术语和定义、缩略语、系统构成、功能

要求、安全要求、测试方法。

本文件适用于AI视觉的交通标志识别与车辆控制系统的使用及维护。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T20984信息安全技术信息安全风险评估方法

GB/T35273信息安全技术个人信息安全规范

3术语和定义

下列术语和定义适用于本文件。

AI视觉的交通标志识别与车辆控制系统AIvisiontrafficsignrecognitionandvehicle

controlsystem

通过AI视觉进行交通标识的识别，并在此基础上实现对车辆的控制。

惯性导航inertialnavigation

惯性导航，通过陀螺和加速度计测量载体的角速率和加速度信息，经积分运算得到载体的速度和位

置信息。

姿态attitude

姿态描述的是一个坐标系的轴系相对于另一个坐标系的轴系之间的角度关系（方向）。在惯性导航

中，姿态主要用于比力、角速度及其它向量的投影变换（例如从载体坐标系变换到导航坐标系）。

4缩略语

AI：人工智能（ArtificialIntelligence）

MCU：多点控制单元(MicroControllerUnit)多点控制单元

PID：进程控制符（ProcessIdentifier进程控制符）

5系统构成

使用Mobilenetv2网络，通过自动端到端学习来解决检测和识别交通标志的整个流程，降低了大量

运算量的同时也不失准确率；使用Matlab对图像进行去雾和增强处理，所得到的清晰图像明显提高了识

别的准确率；利用YOLOV5模型对多种类别实物进行分类识别，达到了多元和快速识别检测的目的；使用

1

T/QGCMLXXXX—2023

惯性导航模块确定车辆自身的位置信息，再根据交通标志识别，通过信息融合处理与决策控制车辆的行

驶。

6功能要求

基本设置

——网络：适用于移动端的Mobilenetv2网络；

——设置圈定矩形的规则，矩形设置规则为长与宽至少有一条边超过30cm且全部小于40cm，并且

需要长与宽相差不能超过5cm，这样便于让人工智能识别到大小适中且形似正方形的图形；

——置图像LAB颜色跟踪阈值，交通标志的图像颜色基本为红色、黑色与白色，所以需要滤去除

此之外的颜色，以免误识别，设置图像LAB的颜色跟踪阈值规则如下，32<L<60，17<A<44，

-23<B<-6。

图像处理

使用暗通道先验去雾算法与直方图增强算法还原图像质量，图像处理流程见图1。

图1图像处理流程

6.2.1暗通道先验去雾算法

暗通道先验是一种无雾室外图像的统计。大多数无雾室外图像的局部区域包含一些像素，这些像素

在至少一个颜色通道（R,G,B）中的强度非常低。利用这一先验模型，可以估计图像中的薄雾的厚度，

并恢复高质量的无薄雾图像。雾天降质图像可用大气散射模型描述，即

I(x)=J(x)t(x)+A[1−t(x)]··························································(1)

式中：

I(x)—表示观测到的带雾图像；

J(x)—表示待复原的无雾图像；

A—表示全局大气光值；

t(x)—表示初始透射率；

对于非天空区域的清晰无雾图像J(x)，其暗通道Jdark(x)强度值总是趋近于0，即

Jxdark()=

(2)

C·····················································

miny(x)(mincR,G,BJy())→0

2

T/QGCMLXXXX—2023

式中：

Jc(y)—表示图像J的R、G、B3个通道中的某个通道；

Ω(x)—表示以像素x为中心的窗口区域。

假设大气光值A是已知的，估计初始透射率，即

Iyc()

tx()=1−min[min]·····················································(3)

y()xcAc

引入参数ω使复原后的图像保留一定的雾感避免出现失真，复原无雾图像。

6.2.2直方图增强算法

直方图增强算法是灰度图像增强的常用方法之一，其运用灰度运算来实现图像中像素点的灰度值的

变化，使得变换后图像的直方图相对原始图像的直方图比较均匀、平坦，灰度层次清晰，从而达到图像

增强的目的。其主要思想是将一副图像的直方图分布通过累积分布函数变成近似均匀分布，从而增强图

像的对比度。为了将原图像的亮度范围进行扩展，需要一个映射函数，将原图像的像素值均衡映射到

新直方图中，这个映射函数有两个条件：

——不能打乱原有的像素值大小顺序，映射后亮、暗的大小关系不能改变；

——映射后必须在原有的范围内，即像素映射函数的值域应在0和255之间。

路况元素的分类与跟踪

6.3.1采用单阶段目标检测算法Yolov5以及多目标跟踪算法DeepSort对道路中的各种元素进行定位

和分类识别。Yolov5网络结构如图2所示。

图2Yolov5网络结构

6.3.2采集并处理好的图片利用labeling进行标注工作。对图片数据进行标注的过程中，需完整无误

地标注元素特征。

6.3.3对图片标注工作完成后，系统会自动生成txt文件，以用于显示其标签和预测框坐标。

惯性导航

6.4.1性能指标

惯性导航的性能指标见表1。

表1惯性测量单元性能指标

通信方式支持IIC和SPI

陀螺仪范围±2505001000°/s

加速度范围±2±4±8±16g

3

T/QGCMLXXXX—2023

6.4.2算法

惯性导航姿态算法，其算法过程如下：

——初始化，六轴采样频率初始化为1K（采样周期为0.001s），陀螺仪测量范围为±1000dps，

对应灵敏度为8.2LSB/dps；加速度计测量范围为±8g，对应灵敏度为4096LSB/g；

——读取六轴数据，先后读取陀螺仪与加速度计数据；

——陀螺仪零点漂移初始化，每次上电重新校准陀螺仪零点偏移值，后续读取数据值减去此偏移

值即可消除陀螺仪零漂偏差；

——换算六轴原始数据单位，使用一阶低通滤波算法滤除加速度计部分噪声，并将加速度计读取

的原始数据除以灵敏度(LSB/g)，将其单位换算成g(m/s^2)。减去零点偏移值的数据(float)，

先乘以π/180，然后除以灵敏度(LSB/dps)，将单位从deg/s换算为rad/s；

——互补滤波算法，多组数据结合互补，并进行滤波处理稳定输出，得到姿态，通过加速度计来

修正陀螺仪。

识别标签

6.5.1将模型部署打开后，给每一个图标都赋予了一个标签，在识别到对应标签后，则会通过串口传

输此标签的内容至负责车辆控制的MCU中，负责车辆控制的MCU再将此标签与事先规定好的做比对，由

此执行不同的车辆控制程序，如：

——识别到限速标志，则改变期望速度；

——识别到禁止转弯标志，则改变巡线方式；

——识别到禁止鸣笛标志时，鸣笛标志位清0，遇到斑马线后不再鸣笛；识别到解除静止鸣笛标志

后，标志位重新置1。

6.5.2交通标志与对应的标签及车辆动作如表2所示。

表2交通标志及相应动作

交通标志标签车辆动作

限速40Rate-limiting电机转速降低

禁止右转Norightturn于岔路口左转

禁止鸣笛Notooting蜂鸣器关闭

Thespeedlimitto

限速解除电机转速回升

lift

前方拱桥Frontarchbridge蜂鸣器启动

车辆控制

6.6.1基本参数

——核心控制单元：采用沁恒CH32V307VCT6单片机作为核心控制单元用于智能汽系统的控制；

——模块：采用MT9V034芯片：

•MT9V034芯片最高分辨率为752Hx480V，以每秒60帧(fps)的形式输出；

•在实际使用过程中，可以降低分辨率以获得更高的帧率；

•MT9V034芯片有两组寄存器组，可以设置两种不同的分辨率，帧率，高动态范围等参数，

•两种不同的模式可以自由切换，以满足同一应用场景下，对不同需求的情形。因此需要两

个编码器对两个电机分别进行速度检测以及PID控制；

4

T/QGCMLXXXX—2023

•车模转向采用FutabaS3010官方指定伺服舵机，运用PID控制理论完成对车模速度的控制，

采用PD控制理论完成对舵机伺服器的控制。

6.6.2PID控制算法

PID参数为通过上位机调试得来，具体调试方法为：

——先将PID参数设置为经典参数，然后通过上位机观察速度曲线，不断改变PID参数，直至观

察速度曲线发现其加减速时间很短，超调量很少，则说明此时的PID参数已经基本比较合适；

——确定出适合本系统的一组PID参数，PID控制流程如图3、图4所示。

图3增量式PID控制器

图4位置式PID控制器

6.6.3PID参数整定

6.6.3.1PID控制算法中PID参数的整定是控制系统设计的核心内容。该过程是根据被控过程的特性

确定PID控制器的比例系数、积分时间和微分时间的大小。

6.6.3.2进行PID控制器参数的整定步骤一般如下：

——预选择一个足够短的采样周期让系统工作；

——仅加入比例控制环节，直到系统对输入的阶跃响应出现临界振荡，记下这时的比例放大系数

和临界振荡周期；

——在一定的控制度下通过公式计算得到PID控制器的参数；

——根据实际运行情况对计算出的PID控制器的参数进行调整。

6.6.3.3调整参数时利用无线转串口+USB转无线，将编码器采集到的数据传输至上位机虚拟示波器，

观察速度响应曲线以此来调参。通过不断的试凑与观察进行调参。最终得到一个较好的P和I的参数，

此时P=35，I=7。但在空载状态下的参数与实际负载时有差异，因此在车辆实际运行时还需反复调试，

以达到更好的效果。

7安全要求

5

T/QGCMLXXXX—2023

系统涉及到个人信息的操作，应符合GB/T35273的要求。

8测试方法

系统测试

检查系统中功能是否存在：

a)功能名称显示；

b)功能运行的持续时间；

c)基本操作的互动；

d)查询输入功能；

e)功能停止或关闭时，是否有相应提示。

安全测试

安全测试应按照GB/T20984信息安全技术信息安全风险评估方法进行测试。

判定规则

通过测试规程各步骤则本测试通过，否则为不通过。

6

T/QGCMLXXXX—2023

目次

前言.................................................................................II

1范围...............................................................................1

2规范性引用文件.....................................................................1

3术语和定义.........................................................................1

4缩略语.............................................................................1

5系统构成...........................................................................1

6功能要求...........................................................................2

7安全要求...........................................................................5

8测试方法...........................................................................6

I

T/QGCMLXXXX—2023

基于AI视觉的交通标志识别与车辆控制系统

1范围

本文件规定了基于AI视觉的交通标志识别与车辆控制系统的术语和定义、缩略语、系统构成、功能

要求、安全要求、测试方法。

本文件适用于AI视觉的交通标志识别与车辆控制系统的使用及维护。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T20984信息安全技术信息安全风险评估方法

GB/T35273信息安全技术个人信息安全规范

3术语和定义

下列术语和定义适用于本文件。

AI视觉的交通标志识别与车辆控制系统AIvisiontrafficsignrecognitionandvehicle

controlsystem

通过AI视觉进行交通标识的识别，并在此基础上实现对车辆的控制。

惯性导航inertialnavigation

惯性导航，通过陀螺和加速度计测量载体的角速率和加速度信息，经积分运算得到载体的速度和位

置信息。

姿态attitude

姿态描述的是一个坐标系的轴系相对于另一个坐标系的轴系之间的角度关系（方向）。在惯性导航

中，姿态主要用于比力、角速度及其它向量的投影变换（例如从载体坐标系变换到导航坐标系）。

4缩略语

AI：人工智能（ArtificialIntelligence）

MCU：多点控制单元(MicroControllerUnit)多点控制单元

PID：进程控制符（ProcessIdentifier进程控制符）

5系统构成

使用Mobilenetv2网络，通过自动端到端学习来解决检测和识别交通标志的整个流程，降低了大量

运算量的同时也不失准确率；使用Matlab对图像进行去雾和增强处理，所得到的清晰图像明显提高了识

别的准确率；利用YOLOV5模型对多种类别实物进行分类识别，达到了多元和快速识别检测的目的；使用

1

T/QGCMLXXXX—2023

惯性导航模块确定车辆自身的位置信息，再根据交通标志识别，通过信息融合处理与决策控制车辆的行

驶。

6功能要求

基本设置

——网络：适用于移动端的Mobilenetv2网络；

——设置圈定矩形的规则，矩形设置规则为长与宽至少有一条边超过30cm且全部小于40cm，并且

需要长与宽相差不能超过5cm，这样便于让人工智能识别到大小适中且形似正方形的图形；

——置图像LAB颜色跟踪阈值，交通标志的图像颜色基本为红色、黑色与白色，所以需要滤去除

此之外的颜色，以免误识别，设置图像LAB的颜色跟踪阈值规则如下，32<L<60，17<A<44，

-23<B<-6。

图像处理

使用暗通道先验去雾算法与直方图增强算法还原图像质量，图像处理流程见图1。

图1图像处理流程

6.2.1暗通道先验去雾算法

暗通道先验是一种无雾室外图像的统计。大多数无雾室外图像的局部区域包含一些像素，这些像素

在至少一个颜色通道（R,G,B）中的强度非常低。利用这一先验模型，可以估计图像中的薄雾的厚度，

并恢复高质量的无薄雾图像。雾天降质图像可用大气散射模型描述，即

I(x)=J(x)t(x)+A[1−t(x)]··························································(1)

式中：

I(x)—表示观测到的带雾图像；

J(x)—表示待复原的无雾图像；

A—表示全局大气光值；

t(x)—表示初始透射率；

对于非天空区域的清晰无雾图像J(x)，其暗通道Jdark(x)强度值总是趋近于0，即

Jxdark()=

(2)

C·····················································

miny(x)(mincR,G,BJy())→0

2

T/QGCMLXXXX—2023

式中：

Jc(y)—表示图像J的R、G、B3个通道中的某个通道；

Ω(x)—表示以像素x为中心的窗口区域。

假设大气光值A是已知的，估计初始透射率，即

Iyc()

tx()=1−min[min]·····················································(3)

y()xcAc

引入参数ω使复原后的图像保留一定的雾感避免出现失真，复原无雾图像。

6.2.2直方图增强算法

直方图增强算法是灰度图像增强的常用方法之一，其运用灰度运算来实现图像中像素点的灰度值的

变化，使得变换后图像的直方图相对原始图像的直方图比较均匀、平坦，灰度层次清晰，从而达到图像

增强的目的。其主要思想是将一副图像的直方图分布通过累积分布函数变成近似均匀分布，从而增强图

像的对比度。为了将原图像的亮度范围进行扩展，需要一个映射函数，将原图像的像素值均衡映射到

新直方图中，这个映射函数有两个条件：

——不能打乱原有的像素值大小顺序，映射后亮、暗的大小关系不能改变；

——映射后必须在原有的范围内，即像素映射函数的值域应在0和255之间。

路况元素的分类与跟踪

6.3.1采用单阶段目标检测算法Yolov5以及多目标跟踪算法DeepSort对道路中的各种元素进行定位

和分类识别。Yolov5网络结构如图2所示。

图2Yolov5网络结构

6.3.2采集并处理好的图片利用labeling进行标注工作。对图片数据进行标注的过程中，需完整无误

地标注元素特征。

6.3.3对图片标注工作完成后，系统会自动生成txt文件，以用于显示其标签和预测框坐标。

惯性导航

6.4.1性能指标

惯性导航的性能指标见表1。

表1惯性测量单元性能指标

通信方式支持IIC和SPI

陀螺仪范围±2505001000°/s

加速度范围±2±4±8±16g

3

T/QGCMLXXXX—2023

6.4.2算法

惯性导航姿态算法，其算法过程如下：

——初始化，六轴采样频率初始化为1K（采样周期为0.001s），陀螺仪测量范围为±1000dps，

对应灵敏度为8.2LSB/dps；加速度计测量范围为±8g，对应灵敏度为4096LSB/g；

——读取六轴数据，先后读取陀螺仪与加速度计数据；

——陀螺仪零点漂移初始化，每次上电重新校准陀螺仪零点偏移值，后续读取数据值减去此偏移

值即可消除陀螺仪零漂偏差；

——换算六轴原始数据单位，使用一阶低通滤波算法滤除加速度计部分噪声，并将加速度计读取

的原始数据除以灵敏度(LSB/g)，将其单位换算成g(m/s^2)。减去零点偏移值的数据(float)，

先乘以π/180，然后除以灵敏度(LSB/dps)，将单位从deg/s换算为rad/s；

——互补滤波算法，多组数据结合互补，并进行滤波处理稳定输出，得到姿态，通过加速度计来

修正陀螺仪。

识别标签

6.5.1将模型部署打开后，给每一个图标都赋予了一个标签，在识别到对应标签后，则会通过串口传

输此标签的内容至负责车辆控制的MCU中，负责车辆控制的MCU再将此标签与事先规定好的做比对，由

此执行不同的车辆控制程序，如：

——识别到限速标志，则改变期望速度；

——识别到禁止转弯标志，则改变巡线方式；

——识别到禁止鸣笛标志时，鸣笛标志位清0，遇到斑马线后不再鸣笛；识别到解除静止鸣笛标志

后，标志位重新置1。

6.5.2交通标志与对应的标签及车辆动作如表2所示。

表2交通标志及相应动作

交通标志标签车辆动作

限速40Rate-limiting电机转速降低

禁止右转Norightturn于岔路口左转

禁止鸣笛Notooting蜂鸣器关闭

Thespeedlimitto

限速解除电机转速回升

lift

前方拱桥Frontarchbridge蜂鸣器启动

车辆控制

6.6.1基本参数

——核心控制单元：采用沁恒CH32V307VCT6单片机作为核心控制单元用于智能汽系统的控制；

——模块：采用MT9V034芯片：

•MT9V034芯片最高分辨率为752Hx480V，以每秒60帧(fps)的形式输出；

•在实际使用过程中，可以降低分辨率以获得更高的帧率；

•MT9V034芯片有两组寄存器组，可以设置两种不同的分辨率，帧率，高动态范围等参数，

•两种不同的模式可以自由切换，以满足同一应用场景下，对不同需求的情形。因此需要两

个编码器对两个电机分别进行速度检测以及PID控制；

4