深度学习与信号处理：原理与实践 课件 第8章-深度受限玻尔兹曼机

第8章深度受限玻尔兹曼机8.1玻尔兹曼机8.2稀疏受限玻尔兹曼机及竞争学习8.3分类受限玻尔兹曼机8.4(2D)2PCA受限玻尔兹曼机8.5受限玻尔兹曼机的步态特征提取及其识别深度玻尔兹曼机是一种以受限玻尔兹曼机(RestrictedBoltzmannMachine,RBM)为基础的深度学习模型，其本质是一种特殊构造的神经网络。深度玻尔兹曼机由多层受限玻尔兹曼机叠加而成的，中间层与相邻层是双向连接的。第8章深度受限玻尔兹曼机随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态转移。神经元的净输入不能决定其状态取１还是取０，但能决定其状态取１还是取０的概率。这就是随机神经网络算法的基本概念。玻尔兹曼机(BoltzmannMachineBM)是一种结合模拟退火思想的随机神经网络，与其他神经网络的主要区别如下：学习(训练)阶段运行(预测)阶段随机网络不像其他网络那样基于某种确定性算法调整权值，而是按某种概率分布进行修改；8.1.1BM网络结构及运行原理BM机的结构介于离散型Hopfield神经网络(DiscreteHopfiledNeuralNetworkDHNN)全互连与BP网络的层次结构之间。BM网络结构形式上，与单层反馈网络DHNN相似，权值对称且自身无反馈；功能上，与三层BP网相似，具有输入神经元（或节点）、输出节点和隐层神经元。一般把输入与输出节点称为可见神经元，隐节点称为不可见神经元，训练时输入输出节点收集训练样本，而隐节点主要起辅助作用，用来实现输入输出之间的联系，使得训练集能在可见单元再现，如图所示。BM机的3类神经元之间没有明显的层次。１.结构2.运行原理

BM网络中每个神经元的兴奋或抑制具有随机性，其概率取决于输入的神经元。设BM网络中单个神经元的形式化描述，如图所示。单个神经元设BM网络中单个神经元的净输入为

为输入层第i个输入，为神经元j与神经元i之间的连接权，为偏置。与DHNN不同的是，净输入并不能通过符号转移函数直接获得确定的输出状态，实际的输出状态将按照某种概率发生，神经元j输出依概率取1或0。取1的概率为状态为0的概率就用1减去即可。温度T对概率的影响净输入越大，神经元状态取１的概率越大；净输入越小，神经元状态取０的概率越大。而温度T的变化可改变概率曲线的形状。当温度T较高时，概率曲线变化平缓，对于同一净输入得到的状态为0或1的概率差别小；而温度低时，概率曲线陡峭，对于同一净输入状态为1或0的概率差别大；当T=0时，概率函数退化为符号函数，神经元输出状态将无随机性。8.1.2网络能量函数与搜索机制BM机采用与DHNN网络相同的能量函数描述网络状态，即设BM机按异步方式工作，每次第j个神经元改变状态，根据能量变化公式为(1)当净输入大于0时，状态为1的概率大于0.5。若原来状态，则，从而；若原来状态，则，从而，能量下降；(2)当净输入小于0时，状态为1的概率小于0.5。若原来状态，则，从而；若原来状态，则，从而，能量下降；8.1.2网络能量函数与搜索机制以上各种可能的情况表明，对于BM机，随着网络状态的演变，从概率意义上网络的能量总是朝着减小的方向变化。这就意味着尽管网络能量的总趋势是朝着减小的方向演进，但不排除在有些神经元状态可能会按照小概率取值，从而使网络能量暂时增加。正是因为有了这种可能性，BM机才具有从局部极小的低谷中跳出的“爬山”能力，这一点是BM机与DHNN网能量变化的根本区别。由于采用神经元状态按概率随机取值的工作方式，BM机具有不断跳出位置较高的低谷搜索位置较低的新低谷的能力。这种运行方式称为搜索机制，即网络在运行过程中不断地搜索更低的能量极小值，直到达到能量的全局最小。从模拟退火的原理可以看出，温度T不断下降可使网络＂爬山＂能力由强减弱，这正是保证BM机能成功搜索到能量全局最小的有效措施。8.1.3Boltzmann分布设时对应的网络能量为，时网络能量为，当由1变为0时，有，于是；对应的状态为1或状态为0的概率为将上式推广到网络中任意两个状态出现的概率与之对应能量之间的关系，有8.1.3Boltzmann分布这就是著名的Boltzmann分布,式表明:BM机处于某一状态的概率主要取决于此状态下的能量，能量越低概率越大；BM机处于某一状态的概率还取决于温度参数T，温度越高，不同状态出现的概率越近，网络能量较容易跳出局部极小而搜索全局最小，温度越低，不同状态出现的概率差别越大，网络能量较不容易改变，从而可以使网络搜索收敛。这正是采用模拟退火方法搜索全局最小的原因所在。8.1.3Boltzmann分布用BM机进行优化计算时，可构造目标函数为网络的能量函数，为防止目标函数陷入局部最优，采用上述模拟退火算法进行最优解的搜索，开始时温度设置很高，此时神经元状态为1或0概率几乎相等，因此网络能量可以达到任意可能的状态，包括局部最小或全局最小。当温度下降，不同状态的概率发生变化，能量低的状态出现的概率大，而能量高的状态出现的概率小。当温度逐渐降至0时，每个神经元要么只能取1，要么只能取0，此时网络的状态就凝固在目标函数全局最小附近。对应的网络状态就是优化问题的最优解。温度对网络能量的影响：BM网络类型用BM机进行联想时，可通过学习用网络稳定状态的概率来模拟训练样本的出现概率。根据学习类型，BM机可分为自联想和异联想。其中隐节点个数可以为0，而且有些线是单向的。自联想型BM机中的可见节点V与DHNN网中的节点相似，既是输入节点也是输出节点，隐节点H的数目由学习的需要决定，而最少可以为0；异联想BM机中的可见节点V需按照功能分为输入节点组I和输出节点组O。8.1.4Boltzmann学习算法1．学习过程通过有导师学习，BM网络可以对训练集中各种模式的概率分布进行模拟，从而实现联想记忆。学习目的是通过调整权值使训练集中的模式在网络状态中以相同的概率再现。学习过程可以分为两个阶段：正向学习阶段或输入期： 即向网络输入一对输入输出模式，将网络输入输出节点的状态钳制到期望的状态，而让隐节点自由活动以捕捉模式对之间的对应规律。反向学习阶段或自由活动期： 对于异联想学习，钳制住输入节点而让隐含节点和输出节点自由活动；对于自联想学习，可以让可见节点和隐节点都自由活动，体现在网络输入输出的对应规律。这个对应规律表现为网络到达热平衡时，相连节点状态同时为1的平均概率。期望对应规律与模拟对应规律之间的差别就表现为两个学习阶段对应的平均概率的差值，此差值做为权值调整的依据。2．网络热平衡状态

步骤1：在正向学习阶段，用一对训练模式钳住网络的可见节点；在反向学习阶段，用训练模式中的输入部分钳住可见节点中的输入节点。步骤2：随机选择自由活动节点j，使其更新状态：步骤3：计算节点j状态更新而引起的网络能量变化。步骤4：若，则接受状态更新；若，当时接受新状态，否则维持原状态。是预先设置的数值，在模拟遇火过程中，温度T随时间逐渐降低，由式①知，对于常数，为使，必须使，也在训练中不断减小，因此网络的爬山能力是不断减小的步骤5：返回步骤2~步骤4直到自由节点被全部选择一遍。步骤6：按事先选定的降温方程降温，退火算法的降温规律没有统一规定，一般要求初始温度。为统计以上概率，需要反复使BM网络按模拟退火算法运行并达到热平衡状态。具体步骤如下：18.1.5Boltzmann机的运行步骤步骤1：初始化：Boltzmann机神经元个数为N，第j个神经元与第i个神经元的连接权重为，初始温度为，终止温度，初始化神经元状态。步骤2：在温度下，第j个神经元的输入为如果，即，则能量有减小的趋势，取1为神经元j的下一个状态值；如果，则按照概率选择神经元下一个状态。概率为若大于等于一个给的阈值，则取为神经元j的下一个状态值，否则保持神经元j的下一个状态值。在此过程中，其它节点状态保持不变。步骤3：检查小循环的终止条件，在小循环中，使用同一个温度值；如果当前状态已经达到了热平衡，则转到步骤4进行降温，否则转到步骤2，继续随机选择一个神经元选择迭代。否则，执行下一步。步骤4：按照指定规律降温，并检查大循环的终止条件：判断温度是否达到了终止温度，若到到终止温度则算法结束，否则转到步骤2继续计算。初始温度的选择：可以随机选择网络中的N个神经元，取其能量的方差，或者随机选择若干神经，取其能量的最大差值

8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机1.受限玻尔兹曼机

受限玻尔兹曼机(RestrictedBoltzmannMachine，RBM)是通过限定玻尔兹曼机(BoltzmannMachine，BM)层内单元连接构成的双层神经网络。作为无向图模型，RBM中可见单元层v为观测数据，隐单元层h为特征检测器。RBM结构模型RBM是一种基于能量的模型，其可见单元v和隐含单元h的联合配置的能量为为RBM的参数，为隐含单元h和可见单元v之间的边的权重，为可见单元的偏置(bias)，为隐含单元的偏置。有了v和h的联合配置能量之后，就可以得到v和h的联合概率1是归一化因子(也称配分函数)

212代入实际应用中关注的是观测数据v的概率分布，它对于的边缘分布具体为通过最大化得到RBM的参数，最大化等同于最大化,即8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机等号右侧多项式中的第1个项称为正项(positivephase,PP)，可以将训练数据代入

和直接计算出来；第2个项称为负项(negativephase,NP)，其中是无法直接通过数学推导出来的，因此Hinton提出了对比散度(contrastivedivergence)算法，分别以各个训练数据作为初始状态，通过执行blockGibbs采样进行几次状态转移，然后以转移后的状态作为样本来估算NP的均值。Hinton还通过实验证明,在实际应用中甚至只需要一次状态转移就能保证良好的估算效果。通过随机梯度下降来最大化由于层间单元是无连接的，可以很方便地推导出隐单元和可见单元的后验概率分布分别为

123123

在多层RBM机网络结构中，可将所有相邻的两层结构看作是一个RBM，而将较低一级的隐含层作为与其相邻的高一级隐含层的输入层；采用贪心逐层训练算法以图像的特征向量作为输入自底向上每次训练1个RBM，以此可初步确定整个RBM网络的空间参数；之后还需要对所有层之间的参数进行基于反向BP神经网络的整体微调和优化，经多次反复训练不断调整层与层之间的空间参数，使网络达到一个平衡状态。8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机2.稀疏受限玻尔兹曼机

稀疏受限玻尔兹曼机(SparseRestrictedBoltzmannMachine,SRBM)优化了RBM的训练目标，即在RBM最大似然目标函数基础上增加稀疏惩罚因子，使所有隐含单元的平均激活概率接近一个很小的常数p(即稀疏目标)。当给定训练样本V时，稀疏RBM的优化问题变为

为数据已知时的条件期望；λ是一个正则化常数；p是一个控制隐含单元稀疏度的常数；和分别表示隐含单元的个数和训练样本个数。8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机3.改进的稀疏RBM

在稀疏编码上，对于稀疏正则项R而言应选用L0范数来度量稀疏性(即参数向量中非零元素的个数)。然而，L0范数的求解是非凸的且为NP-hard问题，直接求解非常困难。近年来涌现了很多的逼近算法，如Lp范数稀疏约束算法，即用范数代替。根据压缩感知理论，L1范数提供了更有效的稀疏性能，在一定条件下最小L1范数的解就是函数的最稀疏解。与L1范数相比，tan-sigmoid函数的斜率更接近于零，可以提供更有效的稀疏诱导性能,如图所示。使用tan-sigmoid函数作为似然函数的惩罚项为T是一个缩放系数，控制着tan-sigmid函数和L0范数的相似程度。当T趋近于0时，tan-sigmoid函数趋近于L0范数；式中正则项R并不限制每一个隐含单元的稀疏度,而是可以根据不同的任务自动获取,即每个隐含单元的稀疏水平可以根据输入的数据计算得到，而不是通过添加的正则项强制每个隐含单元拥有相同的稀疏度(稀疏目标p)。||x||的不同范数和8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机稀疏表示可以基于每个隐含单元的稀疏度来实现，实现稀疏表示的方法是让隐含单元尽可能少活跃(即隐含单元应该仅有一小部分被激活)；这里直接通过正则项限制所有隐含单元的激活概率产生稀疏性。前者通过限制每个隐含单元在N个训练样本上的激活时间产生稀疏表示；而这里是通过限制隐含单元的活动数量达到稀疏表示。这是最自然的稀疏表示诱导方式。这样当给定训练样本v时，稀疏RBM优化问题变为原则上，应该用梯度下降法来解决这个优化问题，然而计算对数似然函数的梯度是很耗时的。因此参照先采用CD快速学习算法计算对数似然函数的梯度近似值，再对正则项R进行梯度下降直到参数收敛。8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机正则项R上参数的梯度为式中，在模型训练学习时，先用CD快速学习算法计算对数似然函数的梯度近似值，再对正则项按式进行梯度下降计算。为了提高最小化正则项R的计算效率，只更新隐含层偏置项。如稀疏RBM训练算法稀疏RBM训练算法步骤如下：8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机步骤1：用CD快速学习算法更新权值式中，为学习速率，表示通过Gibbs采样重建的数据。步骤2：对正则项R更新偏置步骤3：重复步骤1-步骤2，直到参数收敛。竞争型神经网络有很多具体形式和不同的学习算法，但最主要的特点体现在竞争层中神经元之相互竞争，最终只有一个神经元获胜，以适应训练样本。自组织映射网络(Selforganizingmapnetwork,SOMN)是竞争型神经网络中应用较为广泛的一种。SOMN能够自动寻找训练数据间的类似度，并将相似的数据在网络中就近配置，其训练步骤如下：步骤1：网络初始化。使用随机数初始化输入层与映射层之间的连接权值。步骤2：计算映射层的权值向量和输入向量的距离。计算网络中各神经元权向量和输入向量之间的欧氏距离，得到具有最小距离的神经元j作为最优神经元。步骤3：权值学习。依据最优神经元，对输出神经元及其邻近神经元权值进行修改，即式中，为模型训练第k次迭代中输入层单元j与映射层单元i之间的连接权值，为第k次迭代中单元i对应的训练数据。8.2.2竞争学习1．基于竞争的稀疏惩罚机制CDSRBM采用了类似于SOM网络的神经元竞争机制对隐单元进行稀疏化。在模型训练过程中，CDSRBM首先依据训练样本选择最优匹配隐单元，然后依据最优匹配隐单元激活状态对其他隐单元进行稀疏抑制，最后执行参数更新，具体机制如下：1)距离度量RBM将原始数据通过模型连接权值由原始维度空间映射至多维0-1空间，样本所生成的0-1序列即为对应的多特征组合。鉴于RBM模型连接权值为可见单位维数×隐单元维数，即连接权值的列数等于隐单元个数，且连接权值与样本在单位刻度上并不一致，因此，CDSRBM没有采用SOMN常用的欧氏距离作为度量标准，而是选用神经元权值向量与输入向量之间的夹角余弦值评估两者相似度，即样本i与隐单元j之间余弦相似度定义为式中，代表第i个训练样本，为模型连接权值的第j列。8.2.3竞争型深度稀疏受限玻尔兹曼机1．基于竞争的稀疏惩罚机制2)最优匹配隐单元选取依据样本i与所有隐单元之间的余弦相似度,可确定针对样本i的最优匹配隐单元，即与样本i相似度最高的隐单元，有式中，J为隐单元个数，为寻找最大值函数，。3)最优神经元稀疏抑制CDSRBM根据最优神经元状态设置其他单元的稀疏化程度。最优神经元的稀疏抑制依据连接权值列间的余弦相似度，其过程如下：(1)计算对应于最优隐单元的连接权值列与其他列的余弦相似度,得到相似度向量；(2)对进行归一化处理,得到向量；(3)将中元素设置为对应隐单元的稀疏惩罚度p。RBM的训练为无监督训练，其目标为最大化训练数据出现的似然概率，采用的训练方法为对比散度(ContrastiveDivergence，CD)算法。CDSRBM的竞争稀疏机制对参数和隐单元偏置的更新公式为2．CDSRBM训练流程式中，为向量中第j个元素，即与间归一化后的余弦相似度。CDSRBM训练的流程：输入：学习速率η，网络连接权值w，可见单元偏置b，隐单元偏置c。输出：更新后的w，b，c。训练步骤如下。步骤1：依据CD算法更新w，b，c:步骤2：依据

，查找当前样本p最优匹配隐单元。步骤3：应用、计算并依据最优神经元稀疏抑制流程更新w，c:步骤4：重复步骤1-步骤3直到模型收敛或超过训练迭代次数。2．CDSRBM训练流程深度玻尔兹曼机(DeepBoltzmannMachine，DBM)是以RBM为基础的深度学习模型，其类似人脑的信息处理机制和多个RBM叠加组成的结构体系。考虑到DBM训练过程中，首先完成的是叠加RBM的贪婪逐层初始化训练，因此将CDSRBM的稀疏惩罚机制引入到DBM的构建中，就构成了竞争深度稀疏玻尔兹曼机(Competition-SparseDeepBoltzmannMachine，CDSDBM)。分类受限玻尔兹曼机(classificationrestrictedBoltzmannmachine,CFRBM)是基于能量函数的无向图模型，是一个自带标签的随机神经网络模型，用于解决分类问题。CFRBM的标签层采用一个神经元代表一个类别。因此，标签层的神经元个数与数据的类别数一致。标签层神经元总是稀疏的，而且每个神经元仅能为模型参数提供很少的信息,这可能会导致过拟合。为了解决该问题，可以对分类受限玻尔兹曼机进行改进，用K个神经元表示一个类别，目的是为模型参数提供更多的信息，从而提高模型的分类性能。8.3.1分类受限玻尔兹曼机分类受限玻尔兹曼机可以看作是一个具有三层结构的随机神经网络模型。基本的RBM模型第一层是可见层，由个神经元组成用以表示输入数据v；第二层是隐层，由J个神经元组成用以表示数据h；第三层是标签层，代表输入数据的标签y，其中可见层与隐层之间的全连接权重用w表示，标签层和隐层之间的全连接权重用U表示，每层各神经元之间没有连接。现考虑二值单元模型，当然也可以考虑高斯单元、多项式单元、可矫正线性单元等。带有标签的二值CFRBM的联合概率分布为8.3.1分类受限玻尔兹曼机式中，

，也称配分函数，以确保联合概率分布是有效的。能量函数

定义为式中，θ是实数型参数bi、cj、wji、Uti和dt的集合。vi、hj∈{0,1}，当且仅当标签为t时，yt=1，其他时候均为0。i∈{1,2,…,Nv}，j∈{1,2,…,J}和，t∈{1,2,…,C}。wji是神经元vi和hj之间的连接权重，Uti是神经元yt和hj之间的连接权重，bi是第i个可见神经元的偏置，cj是第j个隐含层神经元的偏置，而dt是第t个标签层神经元的偏置。对于分类任务，需要计算后验概率，该条件概率为式中，，

代表输入数据的标签且。CFRBM的训练通常采用与RBM类似的训练目标函数，即生成模型作为训练目标.给定联合概率，通过最大化CFRBM在训练数据集上的对数似然函数，使用随机梯度上升法来求解。式中，N是用于分类的训练样本个数。为了更新参数θ，其关键步骤是计算

关于模型参数的偏导数。以第n个样本数据为例，其对数似然函数关于θ的梯度为式中，第一项比较容易计算；第二项由于配分函数Z(θ)的存在，其计算复杂度很高。为了避免计算的复杂性，目前有多种算法对梯度进行近似计算，如CD算法、PCD算法、PT算法等。其中，CD算法是完成CFRBM训练的常用算法。在CFRBM模型中，w学到有标签信息的数据特征。执行分类任务时，CFRBM通过U进行类别区分，从而确定数据的标签。因此，U是控制不同类别信息非常重要的参数。CFRBM模型的标签层仅使用一个神经元表示某个具体类别，神经元总是稀疏的，而且单个神经元携带数据的类别信息是有限的，会影响分类效果。1．改进模型描述8.3.2改进CFRBM模型使用L个神经元表示某个具体类别，增加神经元携带的类别信息，从而提高分类精度。为此，建立一个除标签部分以外，其他与CFRBM结构一样的分类模型(L-ClassificationRestrictedBoltzmannMachine，L-CFRBM)。标签部分使用CL个神经元，每类使用连续的L个神经元，如图所示。如果数据的类别是t类，则神经元取值1，剩余其他神经元取值。同样，w是可见层和隐层之间神经元的连接权重，U是标签层和隐含层之间神经元的连接权重。含CL个标签神经元的RBM模型(L-CRBM)带有标签的二值L-CRBM模型的能量函数为8.3.2改进CFRBM模型

当给定可见层数据和对应标签时，第i个隐含层单元被激活的概率为8.3.2改进CFRBM模型

给定隐层神经元，可得可见层第j个神经元为1的条件概率为给定隐层数据表达，类别t神经元对应的条件概率为

2.改进模型训练8.3.2改进CFRBM模型式中，η是学习率。模型参数梯度的更新公式为

步骤2：参数更新：L-CFRBM的具体训练步骤不断执行正向、反向阶段以及参数更新直到满足训练结束条件。3．改进模型分析改进模型在分类模型上增加了标签层的神经元数量，使神经元携带更多的类别信息。改进模型与分类模型的计算公式有一些区别，这些区别在于每类用L个标签神经元来标识。为了能更好地分析增加的神经元对模型参数的影响和对最终分类性能的改善，以参数U为例介绍改进模型参数的变化。L-CFRBM的梯度为CFRBM的梯度为上述公式表明，两个模型的连接权重更新公式不同之处在于

和3．改进模型分析它们所使用的重构标签也有差异，但都归因于模型参数U.为了更好地描述两个模型的不同，仅仅比较梯度公式中不同的部分。定义，

，假设训练数据的标签为第一类，则有

在图像分类中，主成分分析(principalcomponentanalysis,PCA)又称K-L变换是最成功的线性鉴别分析方法之一。传统的PCA方法首先将图像矩阵转化为图像向量，然后以该图像向量作为原始特征进行线性鉴别分析。PCA方法具有速度快、实现方便、图像识别率高等优点，但是容易受光照、表情和姿态等因素的影响。文献[158]以均方误差为度量给出了PCA与2DPCA(2-dimensionPCA)样本协方差阵的估计准确度表达式，并由此得到2DPCA图像特征优于PCA的判定条件。文献[159]用2DPCA方法对分块差图像进行特征提取，提高了人脸识别效果。文献[160]提出了一种基于L1范式的2DPCA降维方法，并将其应用到无监督学习中。文献[161]提出了一种改进的加权2DPCA算法，可有效提高目标识别效率。二维线性鉴别分析(2DLDA)是线性鉴别器(lineardiscriminantanalysisLDA)在矩阵模式下的平行推广，相当于按行分块的PCA，但手工设计特征需大量的经验、调试工作量大。现介绍一种基于(2D)2PCA的RBM图像分类算法，在Hadoop平台上对该算法进行了并行化设计。与传统的RBM算法相比，该算法能有效提升高分辨率图像的处理速度，且具备良好的并行性。8.4.1(2D)2PCA图像分类RBM网络假设训练图像，所有训练图像的平均图为

123248.4.1(2D)2PCA图像分类RBM网络

567基于(2D)2PCA提取的RBM图像分类算法实现步骤如下：

14578.4.2(2D)2PCA图像分类RBM并行化实现本节在Hadoop平台上，采用MapReduce分布式编程模型实现了基于(2D)2PCA提取的图像分类RBM。首先将整个数据集分割成若干个小数据集(假设为N个，N>0)，在Map阶段由每个mapper实体处理每个小split训练集，即分别对自己所负责的训练集提取(2D)2PCA主成分和训练RBM；在Reduce过程中，接收mapper阶段的计算结果，并将其输出到文件系统中。该算法的并行化编程模型，如右图所示。(2D)2PCA图像分类RBM算法并行实现模型步态识别是一种利用步态特征进行远距离感知的生物识别技术，具有非侵犯性、可远距离获取和难以伪装等特点。目前，关于步态特征的提取方法主要可以分为2类：一种是基于模型的方法；另一种是基于整体的方法(也称基于非模型的方法)。基于模型的方法主要依据人体步态的生理特征，将人体区域分割成为若干部分，并从中提取步态特征；而基于整体的方法不需要构建模型，是从整体考虑且采用数学方法描述步态特征，较常用的方法是步态轮廓的特征。研究表明，步态识别的准确率往往受行走速度、服装变化和视角变化的影响，其中，视角变化会极大影响识别方法的泛化能力。目前，大多数步态识别的研究主要集中在从步态视频序列中提取特征，并使用传统的主成分分析与线性判别分析法，然而，如何自动提取有效的步态特征是步态识别的难点问题。本节分析文献利用受限玻尔兹曼机进行步态特征提取与识别的方法。8.5.1基于受限玻尔兹曼机的步态特征提取

将步态能量图输入到训练好的RBM，通过式得到隐藏层神经元的激活概率，该值即为经过特征提取后得到的新的特征。式中，η是学习率，通常取一个较小的数。2.特征提取步态识别由特征提取与分类识别二部分构成。其中，特征提取主要通过提取步态特征，通过样本使用选取的特征将其表示出来，具体包括背景分割、归一化、步态周期的计算以及步态能量图的生成；而分类识别主要使用分类器分类方法进行识别。(1)背景分割运动目标的分割就是从图像中将变化区域从背景图像中提取出来，但由于背景图像可能存在的动态变化，如天气改变、色温变化、影子和物体遮挡等影响,使得运动检测成为一项较为困难的工作。目前，运动分割算法主要包括背景减除法、时域差分法和时空梯度法，文献使用背景减除法提取行人侧面轮廓，具体步骤如下：步骤1：背景估计。利用混合高斯模型对背景建模，获得图像序列中的背景图像。步骤2：目标检测与分割。使用背景减除法用来检测序列图像中运动的目标，并在设定阈值下对图像进行二值分割。步骤3：填充处理。由于二值分割后的轮廓图像会产生一些噪声和空洞，所以需要对二值图像使用开运算处理，然后再使用连通域分析填补残留的噪声区域。如下图给出了一个行人步态轮廓图的生成过程。行人轮廓图像的生成(2)轮廓的归一化处理

行人轮廓图像的生成(3)计算步态周期由于运动人体轮廓的面积随时间呈现周期性的变化，所以时间轴上的面积曲线具有明显的波峰和波谷，如图所示。为此，将2个连续波峰之间包含的序列划分到同一个周期中，进而将整个序列划分成较小的周期序列，为获得步态能量图提供依据。双线性插值法轮廓面积随时间的变化曲线4．步态特征提取步态能量图是步态识别中常用的一种获取特征的方法，通过对中心归一化的步态周期序列图像，采用二值轮廓图像叠加的方式构成步态能量图。假设轮廓图像集为，表示k时刻的轮廓图像，是此周期序列的长度，则步态能量图定义为式中，表示k时刻在坐标处的灰度值，为步态轮廓图像叠加后处的像素值,G为相应的步态能量图。本节所使用的步态能量图，如图所示。步态能量图示例对所得的步态能量图向量化，再通过受限玻尔兹曼机的训练,从而得到步态的特征表示。8.5.3仿真实验与结果分析1．实验数据与方法该实验选择了中科院的步态识别数据库CASIADatasetA中的数据进行测试。该数据库包含20个行人样本，每个行人样本由12个不同的图像序列构成，其中前4个是拍摄于90°视角下正常状态的行走序列，每个图像序列大约有70幅原始图像。首先，将CASIADatasetA中拍摄角度为90°的原始步态图像经过人体区域检测、归一化处理并转化为步态能量图，且大小为64×64；然后，随机选取每个行人的2/3步态能量图样本作为训练集，其余1/3作为测试集。主要使用受限玻尔兹曼机作为特征提取器，并与主成分分析法(PCA)、线性判别分析法(LDA)以及卷积神经网络(CNN)的特征提取方法进行对比。分类器分别使用支持向量机(SVM)、孪生支持向量机(TSVM)、K-近邻(K-NN)和神经网络(ANN)进行步态识别。对于不同特征提取器和分类器的组合，通过调整相应的参数并记录得到的识别准确率。重复上述实验步骤5次，取每组参数的平均识别率作为最终的输出。2．实验结果与分析RBM的步态特征提取与识别

其中，图(a)至图(d)分别为使用SVM、TSVM、K-NN和ANN的识别结果。可以看到，在使用SVM与TSVM分类器时，随着参数c值的增大，其识别率逐步提高，只是TSVM的识别率低于SVM。对于K-NN分类器，使用最近邻方法的步态识别率高于K(K≥2)近邻，但其识别率低于SVM分类器。同样，对于ANN，随着特征数与隐含层神经元个数的增加，其步态识别率不断提高，当神经元个数超过70时，其识别率开始下降。a支持向量机；b孪生支持向量机；cK-近邻；d神经网络RBM的步态特征提取及不同分类