基于语音多特征融合的驾驶疲劳检测方法

基于语音多特征融合的驾驶疲劳检测方法

1客观检测法及驾驶疲劳检测方法驾驶员在汽车的驾驶环境中拥有非常复杂的信息。在驾驶过程中，有必要考虑和执行一些任务。同时，由于长时间保持坐姿、操作动作单调、道路环境恶劣等原因，驾驶员的心理和生理机能容易产生失调，表现为作业能力明显下降的驾驶疲劳现象。在交通安全领域，驾驶疲劳直接危害着生命财产的安全，围绕其检测手段的研究一直是令人关注的热门问题。目前人体疲劳的检测主要有主观和客观2种方法。主观检测法主要依据主观调查表，自我记录表、睡眠记录表等来评测人体的疲劳程度。常用的疲劳评价量表主要有:FS-14疲劳量表(FatigueScale-14)、卡罗林斯卡睡量表和斯坦福睡量表等。客观检测法是借助仪器设备对人体的心理、生理、生化指标进行测量，从各指标中提取出能够反映疲劳状态的特征量，通过分析和实验设定评价标准，将实测数据和评价标准经行比较，判断疲劳状态。客观检测法可以归纳为对3类参数的测量:1)检测人体的生理特征，如脑电图、心电图、肌点图、呼吸量、体温等;2)检测人体的行为特征，如眨眼频率、眼睛闭合度、点头动作等;3)检测驾驶车辆的运行特征，如侧位仪、方向盘角速度、行车加速度等。针对驾驶员的作业特点，这3类现有的疲劳检测方法都难以满足实时性、环境适应性、非接触性和便捷性的要求:基于生理信号的疲劳检测，设备昂贵，测量方法复杂，大多需要接触式测量而对驾驶员的操作产生不便;基于图像处理的驾驶员行为特征检测方法，其图像采集设备易受角度、光线、污渍等环境因素的干扰;基于车辆运行特征的驾驶疲劳检测是通过车辆的行驶状态来对人体疲劳进行间接判别，受主观驾驶习惯及车辆道路情况等因素影响的程度较大。考虑到高安全等级的交通运输领域，均要求驾驶员采用标准应答操作，这些语音中涵盖着人体大量的生理与心理信息，其采集手段比其他生理指标更为便捷，并且语音处理系统的适应性强，降噪技术成熟。近些年，语音与疲劳的相关性研究也逐渐兴起，然而大多数成果或局限于部分传统的语音特征参数，或停留在语音非线性处理技术的探索阶段，在实际语音非线性特征的提取分析以及驾驶疲劳检测实验方面均未深入，以致现有技术的识别效果离实际应用还有一定差距。本文从实用性角度出发，提出一种基于语音多特征的驾驶疲劳检测方法。该方法首先建立了语音非线性动力学模型，给出了详细的语音非线性特征提取算法。其次将其与传统语音特征相结合，采用支持向量机技术对多维语音特征进行疲劳信息的融合分类，有效地提高了驾驶疲劳检测的充分性和客观性。最后通过驾驶疲劳实验，采集了大量驾驶员的应答语音样本数据，用以验证该方法的可行性和有效性。2超声过程变化生理学上，人体疲劳对发音器官的影响主要体现在:1)声带、喉部、声道和面部肌肉的松弛;2)呼吸平缓，肺部气压下降使得声压降低;3)体温的下降影响了声道的热传导和黏弹性，同时改变声道壁对气流的摩擦;4)脑部活力下降导致语言认知能力降低，大脑控制发音的反应时间增长。相应地，疲劳对语音信号的影响可以在以下2个声学模型的参数变化上体现出来。2.1语音信号的混沌特性语音信号的混沌非线性动力学模型是在Takens嵌入定理的基础上，采用延时相图法对语音信号离散时间序列在相空间中进行重构得到的，该模型描述了语音奇怪吸引子的相空间拓扑结构。重构时，对离散时间N点采样的语音序列{s(i)}iN=1取延时τ，得到m维空间中的向量点集P(i)，如式(1)所示:P(i)在m维空间中随时间的变化描述了奇怪吸引子在相空间的运动轨迹，一个语音信号的二维重构过程如图1所示(m=2，τ=10,i=150)。疲劳时，语音气流的流速下降，同时声道壁的松软降温使其摩擦及黏滞力上升，这一生理变化会使得语音气流在声道边界层形成湍流的能量变小。湍流是语音信号混沌性的根本，湍流的变化直接影响了语音信号的混沌特性。如图2所示(语音样本取自驾驶员应答语句“司机明白”的最后一个韵母浊音段/ai/)，同一个人在发出相同音素的情况下，疲劳状态语音相空间轨迹(见图2(c))的波动程度明显低于非疲劳状态(见图2(d))。在混沌、分形理论中，可通过提取Lyapunov指数、近似熵和分形维数等特征量，分别从整体和局部来量化评价语音信号的这种混沌程度。2.2肌肉功能及相关因素的影响传统的语音激励源-滤波器模型如图3所示。疲劳时，其参数的变化表现为:1)声带的肌肉松弛导致了基音频率的下降(基音周期的上升);2)呼吸平缓使得声压幅度的下降;3)脑活力及认知能力的降低影响了语音清晰度(清浊音变化模式);4)肌肉组织的黏弹性及热传导变化改变了声道及口腔辐射的滤波特性，具体表现为:一方面，声道、喉部和面部肌肉的松弛变软会使得语音频谱中共振峰位置整体下降，带宽变宽;另一方面，由于声道壁的温度下降，黏弹性升高，气流与声道壁的摩擦增大，这会使得共振峰频率的进一步降低，这一现象在发浊音时的低频部分尤为明显(前三峰，200～3000Hz)。3环境噪声干扰下司机个体语言选择针对驾驶员的作业特点和操作环境，在选取语音特征来表征疲劳信息时，考虑到短时平均能量(或幅度)、短时平均过零率等语音特征易受麦克风的距离、角度和环境噪声的干扰，而语音持续时间(语速)及清浊音变化模式会被驾驶员个体语言差异(方言)和主观发音态度(情感)所影响。因此，应当选取不容易受其他因素影响的语音特征，同时舍去其他易受干扰的特征或相应降低其权重。根据疲劳对语音信号的影响，同一个人在发相同语音的情况下，非线性特征:最大Lyapunov指数(MLE)、近似熵(ApEn)和分形维数，以及传统特征:基音频率、共振峰、声道时变系统参数的变化，能够比较客观地反映出人体的疲劳信息。3.1提取和计算非线性特征3.1.1离散速率的计算在非线性动力学模型中，Lyapunov指数反映了相空间轨道局部收敛或发散的平均指数率。在指数谱中，最大Lyapunov指数λ1决定着轨道收敛或发散的快慢程度。λ1<0时，轨道收敛，表示信号无混沌现象。λ1>0时，其值越大轨道发散的速率也就越大，同时混沌程度越大。实际语音信号的动力学方程难以精确得到，不能按原始定义来计算，需采用近似拟合的方式来提取λ1:对式(1)所示的相空间轨迹进行区域分割，分割步长，其中TP为基音周期，TS为采样周期。定义di(0)为第i点到其邻域轨迹中最近点的距离，即。同时计算出这两点在n个离散时间步后的距离:式中:n=1,2，…，min(N-i,N-^i)。假定领域最近点的轨道近似以λ1的指数速率发散，表示为di(n)=di(0)exp[λ1(nTS)]。将等式两边取对数有lndi(n)=lndi(0)+λ1(nTS)。此时，对所有点间距离的对数差取平均值，得到:式中:q为di(n)≠0的个数。最后采用最小二乘法对各离散步进行拟合，可估计出最大Lyapunov指数为:3.1.2信号模型的提取ApEn是对非线性信号复杂度的一种非负的定量描述，信号的复杂性越大，相应的近似熵也越大。ApEn对于有限的、含噪声的信号序列有着突出的应用价值，因此在医学上ApEn常被用于人体生理相关的信号分析与检测，如脑电信号(EEG)、心电信号(ECG)和病态语音信号等。对式(1)的信号模型提取ApEn时，计算P(i)与其余向量点中对应元素间的最大差值为:给定阈值r，统计所有满足数目，记为Nm(i)。同时，计算该数目与向量点总数的比值Crm(i)=Nm(i)/[N-(m-1)τ]，并对所有i点取其对数平均值，记为:将相空间维数m加1，重复以上计算，可得ψm+1。当采样点数N为有限值时，语音信号近似熵的估计值可表示为:3.1.3“高维开结构”的复杂性分形反映了信号在统计意义上的相似性。定量地表示分形就叫分形维数，它是从几何尺度上描述信号复杂性的参数。因此可利用分形维数来度量语音相空间轨迹在“几何”意义上的复杂度和规则度。语言信号在相空间的轨迹可视为高维开曲线，它的轮廓具有典型的分形特征。对其求取分形维数Df的基本思想是:采用N(ε)个尺寸为ε的立方体去覆盖空间内所有语音信号轨迹。当立方体尺寸ε不断减小时，N(ε)的数目按N(ε)∝ε-Df规律减小。当ε趋近无穷小时，得到分形维数的极限表达式:以不同的方式去近似这一极限值，将得到不同定义下的分形维数，如盒维数、豪斯多夫维数、关联维数和信息维数等。文献给出了本文采用的分形盒维数具体计算方法。3.2系统特性评价传统模型下，基音频率和共振峰的检测可采用倒谱域解卷变换提取方法。针对声道滤波系统特征，考虑到疲劳时，声道组织生理变化对语音信号浊音低频段的影响较大，所以还可选用12阶Mel频标倒谱系数(MFCC)来描述声道系统特性。MFCC作为声道模型特征参数，在低频段具有较高的谱分辨率，对噪声的鲁棒性优于传统的线性预测倒谱系数(LPCC)。4svm的实验过程在语音识别时，需要对语音信号在不同模型下的特征参数经行信息的融合和分类。可将MLE、ApEn、分形维数、基音频率、前三共振峰频率(F1-F3)和MFCC(12阶)等语音特征串接成一个19维的疲劳特征向量，采用支持向量机(SVM)，对其样本数据经行训练和检测，过程如图4所示。SVM是基于统计学习理论和结构风险最小化原理的一种机器学习技术。比较其他机器学习检测算法而言，SVM在解决小样本、非线性以及高维特征融合的模式识别问题中表现出许多特有的优势。SVM的具体训练及测试步骤如下:第1步:训练样本特征集{xi,yi}的确定。假设共有n个训练样本，i=1,2，…，n为样本编号，x∈Rd为d维特征向量，y∈{+1,-1}为样本类别标号。第2步:SVM核函数的选取。常用的核函数有:高斯内积核、多项式核和Sigmoid内积核等。在特定的内核参数选择下，高斯内积核可获得与其他核函数相同的性能。因此本文选取高斯内积核:式中:i,j均为样本编号，γ为高斯传播系数。第3步:高维空间变换。根据核函数和输入的特征变量计算协方差矩阵，并通过矩阵变换将特征变量映射到更高维Hilbert空间，使得不同类别样本的特征变量在此空间内线性可分。第4步:在高维特征空间中寻求样本分类间隔的最大化，即求解二次规划问题。引入拉格朗日乘子αi≥0，目标函数为:其非零最优解αi*的样本特征向量即为用于确定最优分类面的支持向量。第5步:将最优分类面的参数代入SVM决策函数得到最终训练好的SVM判决模型如下:第6步:提取测试样本的特征向量代入训练好的SVM判决模型，得到样本检测结果。5疲劳语音样本检测由于实际交通运输环境不允许驾驶员处于驾驶疲劳状态，为保证人员和设备安全以及便于驾驶员生理指标的监测，在实验室环境下搭建了同等比例的可视化列车模拟驾驶平台，如图5所示。该平台可真实模拟列车驾驶员的所有基本操作，并包含了驾驶员的语音信号采集和生理指标检测等相关设备。参与本次驾驶疲劳实验共20人，身体状况良好，无失眠等病理性疲劳症状。实验过程为每人单次持续8h的列车模拟驾驶操作。要求驾驶员在执行相关操作时说出标准应答语句“司机明白”，以此作为本次实验的样本数据(22kHz采样率，16位量化精度)。在分析和处理时，考虑到浊音段能较好地反映人体疲劳信息，截取整句语音数据中的浊音时间段作为特征参数提取的语音帧(帧长40ms，至少包含5个基音周期)。实验期间，测试人员定时填写一次疲劳量表(基于FS-14,10分制，分值越小代表疲劳程度越高)并记录其驾驶过程中的心率变化情况。从图6所示的量表得分表现及平均心率变化曲线来看，驾驶疲劳的程度在时间上并不呈线性变化，而是一个随生理节律波动下降的过程(约4h的调节周期)。因此在语音样本分类时，并不能以驾驶持续时间长短作为疲劳的判定标准。应根据实际情况，选取量表得分低于5且心率曲线低于心率均值时间段内的语音样本作为疲劳语音样本。实验共采集语音样本960份，其中疲劳样本167份。对比疲劳语音样本和非疲劳(清醒)语音样本，首先应从统计学角度来验证语音样本各特征参数与疲劳的相关性。疲劳和清醒时，成对样本特征数据的差异显著性检验结果如表1所示。可以看出，驾驶过程中由于麦克风角度距离难以精确固定、环境噪声变化以及主观发音差异等因素的影响，第4共振峰频率、短时平均能量、短时平均过零率和清浊音持续时间比率等参数在疲劳和清醒时并无显著差异。而表中其他的语音特征，在驾驶员不同状态下发出同一语音时，均表现出明显的变化。实验采用十折交叉验证法(将所有样本随机分为10份，分别选取其中9份作为训练样本，其余1份用于测试，取10次测试的正确率均值作为最终检测结果)对语音样本特征数据经行进一步的机器学习和检测。当选用不同模型的特征参数组合以及不同的分类识别算法来进行驾驶疲劳检测时，识别结果如表2所示。对比组合2、3以及组合4、5的分类结果可见，文献采用的部分语音特征:短时平均能量、短时平均过零率和清浊音比率在应用于驾驶疲劳检测时会受到其他因素干扰而导致识别效果并无明显改善。然而对比组合2、4以及组合3、5的识别结果显示，引入文献所采用的MFCC声道模型特征来反映疲劳信息，能够在一定程度上提高驾驶疲劳的识别率。从组合1的识别结果还可以看出，语音的非线性特征反映了语音信号的混沌、分形特性在疲劳时的变化，将其应用于驾驶疲劳检测时，正确率(组合1，贝叶斯，77.1%)要高于传统特征组合4(SVM,75.0%)和组合5(SVM,75.2%)，但效果提升得并不明显。最后，本文将语音非线性特征与传统语音特征相结合形成的特征组合6，其识别结果整体高于其他组合。尤其是通过SVM算法进行驾驶疲劳检测，其识别率达到最高的89