健康管理和隐马尔科夫模型HMM

1、健康管理和隐马尔科夫模型HMM1 健康管理技术及模型工具HMM1.1 健康管理技术视情维修这一概念来源于美国，是最近几年才开始被广泛研究的一种新的维修方法。视情维修着眼于故障机理的分析，通过对不拆解系统进行测试分析，当目标系统出现潜在故障时就进行调整或维修，从而避免功能故障的发生15,16。关于视情维修策略的定义，目前并没有统一的说法。概括讲，主要有两层意思：（1）视情维修是类似于“事后维修”和“定期维修”，且只有当有确切依据显示故障正在迫近时，才对设备进行维修的一种维修思想。（2）视情维修是用状态监测、评估来检查系统的潜在故障，据此来采取必要措施预防系统功能性故障，或者是避免功能性故障的后果

2、17。视情维修策略的理论依据就是P-F 曲线27，如图2-1所示，P-F 曲线描述了设备状态劣化的过程。 设备健康指数图2-1 设备健康状况退化曲线图Figure 2-1 Graph of equipment health degeneration在设备工作的初始一段时间内，由于系统不存在故障，其健康指数为1，设备处于完好状态。随着设备工作时间的增加，设备会运行到A 点“设备故障发生点”，设备中的某些部件或子单元出现故障，整个设备的健康状况开始发生劣化，健康指数不断下降。但是由于A 点在P 点“设备故障检测点”这一临界点之前，此时的设备故障程度不足以导致设备工作状态发生异常行为，或者目前的检测

3、设备无法检测到此时的状态劣化，因此设备仍然表现为正常工作状态。当设备工作到P 点之后时，设备的健康指数会由于其潜在故障程度逐渐增强而继续下降，同时使用者也可以通过一定的技术手段检测到设备的异常工作行为。直到设备最终运行至临界点F 点“设备功能失效点”，设备将无法正常工作。所以为了预防设备发生功能性故障，维修的时机应该在临界点F 以前，而为了能够尽可能地利用设备的有效寿命，提高设备的工作周期，维修时机应该在临界点P 之后。也就是说应该在P 点和F 点之间寻找一个合适的点进行维修，这就是视情维修的基本思想。设备元器件的磨损、疲劳、老化、腐蚀、失调等故障模式大都存在由潜在故障发展到功能故障的过程。设

4、备的大部分故障是其状态劣化的结果，而状态的劣化是一个由量变到质变的过程。在这个过程中，总有些征兆可查，即表现为潜在故障。如果在设备状态的劣化未发生质变之前采取相应的预防措施，就能避免故障后果的出现。健康是指与期望的正常性能状态相比较的性能指标的下降或偏差程度。健康管理是指根据对目标系统的监测或诊断信息、可用维修资源和使用要求，对维修活动做出适当决策的能力15,28。健康管理技术是故障预测与健康管理（Prognostic and Health Management ，PHM ）策略的基础，是对复杂系统传统使用的机内测试(built- in test ，BIT 和状态监控能力的进一步扩展18,29

5、。借助健康管理技术，可以识别和管理故障的发生、规划维修和供应保障，从而以较少的维修投入，实现视情维修和自助式保障30。健康管理作用的对象是诸如飞行器健康管理系统等复杂的大系统。健康管理设计是指从目标系统发生故障到恢复正常的一系列活动。围绕设备的生命周期，健康管理大致分为四个阶段31,32，如图2-2所示 图2-2 健康管理活动模型 Figure 2-2 Model of health management第一阶段是状态监测阶段33。为了保证目标系统的可用性，在线情况下，利用传感器、数据处理以及其它状态监测模块，采用一定的失效判据进行比较来在线监测目标系统当前的状态，并且可以根据预定的参数指标极

6、限值或阈值来提供故障报警功能。第二阶段是健康状况判定阶段。接收第一阶段的不同状态监测模块以及其它健康评估模块的数据，主要是评估被监测目标系统的健康状态，对于健康状态不好的系统采取适当措施，防止产生功能性故障。第三阶段是故障诊断阶段。故障诊断是基于各种健康状态历史数据、工作状态以及维修历史数据等，在离线状态下分析健康状态不好的系统的具体故障原因。第四阶段是维修阶段。通过修复或更换故障部件，使目标系统恢复到正常工作状态。健康管理的四个阶段并没有明显的界限，存在着数据信息的交叉定义。1.2 HMM 基本理论、算法HMM 是由马尔科夫（Markov ）链发展而来的34。Markov 链是一个离散随机过

7、程，其特性是在已知目前状态 (现在 的条件下，它未来的演变 (将来 不依赖于它以往的演变 ( 过去 。在每个时刻，系统都只处于一个状态，每个状态对应一个观测值。HMM 跟一阶Markov 过程有相似之处，不同的是HMM 由两个随机过程组成，一个是具有有限状态Markov 链的状态序列，描述状态的转移；另一个是受状态决定的观测值序列。HMM 模型中，不仅状态转移是随机过程，而且每个状态对应的观测值也是一个随机过程。其中观测值序列可以直接看到，而状态转移序列只能通过观测值序列去判定，即其状态是不确定或不可见的，因此称为隐马尔科夫模型。HMM 包括具有状态转移概率矩阵的Markov 链和输出观测值的

8、随机过程。HMM 的参数描述如下所示22,34,35,36：（1）N ：HMM 中Markov 链的状态个数。假设有N 个状态，为S 1, S 2, S 3, , S N ，在t 时刻时，Markov 链所处的状态为q t ，则q t (S 1, S 2, S 3, , S N ；（2） M ：与每个Markov 链状态对应的观测值个数。假设有M 个观测值，为o 1, o 2, o 3, , o M ，在t 时刻的观测值为o t ，其中o t (o 1, o 2, o 3, , o M ；（3）：初始概率分布矢量。(1, 2, 3, , N ，其中i =P (q 1=S i , 1i N （2

9、-1）q 1表示初始时刻1的状态；（4）A ：状态转移概率矩阵。A =a ij N N ，其中a ij =P (q t +1=S j |q t =S i , 1i , j N （2-2）（5）B ：观测值概率矩阵，B =b jk N M ，其中b jk =P (o t =V k |q t =S j , 1j N , 1k M （2-3）这样，记HMM 为=(N , M , , A , B ，简写为=(, A , B 。更形象地说，HMM 的两个随机过程，一个由，A 描述，产生状态序列；另一个随机过程由B 描述，产生可以被观察者看到的观测值序列。HMM 的组成示意图如图2-3所示，其中T 为观测

10、值序列的时间长度。 观测集随机过程（B ）状态集链 ,A）T 1 2图2-3 HMM 的组成框图 Figure 2-3 Diagram of HMM（1）按照HMM 的状态转移概率矩阵A 分类HMM 的基本结构由HMM 中的Markov 链形状决定，常见的结构主要分为两种：各态遍历型HMM 和从左到右型HMM 22,34,35,36。各态遍历型HMM 就是经过有限步转移后，系统都能达到任何一个状态，即系统从一个状态允许转移到任何一个状态。如图2-4所示，这样的HMM 的状态转移矩阵中的每一个元素均大于零。显然各态遍历型HMM 不符合时间顺序的要求，因为其可以回到以前到过的状态，所以只适用于不要

11、求时间顺序的领域，例如语音信号处理。图2-4 各态遍历型HMM Figure 2-4 Ergodic type HMM从左到右型HMM 是指随着时间的增加，状态只能从左到右进行转移或状态不发生转移，停留在原位置，而不能从右到左转移，如图2-5所示，即具有约束条件a ij =0, i >j （2-4）因此，状态转移矩阵A 应该是一个上三角矩阵，主对角线下方的元素全为0。即a 11a 120a22A =0000具有如下特性：0, i 1i =1, i =1a 13a 23a 330a 14a 24 a 34a 44对于从左到右型HMM ，状态的转移必须从1开始，所以其初始状态概率应该（2-5

12、）由从左到右型HMM 的特性可知，对随时间变化的矢量信号，利用从左到右模型来建模比较合适，可以反映出信号的时序结构。虽然从左到右型HMM 中，对系统的转移概率特性加了很多限制，但对于HMM 的应用并没有产生影响。 图2-5 从左到右型HMM Figure 2-5 From left to right type HMM（2）按照HMM 的输出概率分布矩阵B 分类：按照HMM 的输出概率分布(B 参数 分类，可以将HMM 分为离散型HMM （DHMM ）和连续型HMM(CHMM22,34,35,36。B 参数是HMM 最重要的模型参数之一，它描述在某状态时观测序列符号的输出概率分布。在连续型HMM

13、 中，由于输出的观测序列是连续的，不是有限的，所以不能用矩阵表示其输出概率，而要改用概率密度函数来表示，一般是假设由高斯概率密度函数模拟产生。但在实际应用中，只是假设一个高斯概率密度函数往往不能满足要求，于是通常用几个高斯概率密度函数的线性组合模拟观测序列的产生。在离散型HMM 中，每一个状态的输出概率是按观测值离散分布的。在实际应用中，采用离散型HMM 会影响系统的识别率，但离散型HMM 的应用广泛且计算量小，容易实现。利用HMM 之前，需要解决三个基本问题，围绕三个基本问题，人们提出了三类解决算法22,34,35,36。三个问题：（1）评估问题：已知模型=(, A , B ，已知观测序列O

14、 =(o 1, o 2, o 3, , o T ，如何计算出现该观测序列的概率P (O | ，即解决由一个HMM 产生一个确定观测序列的概率大小，通常采用前向-后向算法；（2）解码问题：已知模型=(, A , B ，已知观测序列O =(o 1, o 2, o 3, , o T ，如何求得一个状态转移序列q =(q 1, q 2, q 3, , q T ，使得该状态转移序列最有可能产生给定的观测序列，通常是由Viterbi 算法实现；（3）训练问题：在不知模型参数或参数不准确的情况下，根据观测序列O =(o 1, o 2, o 3, , o T ，如何求得模型参数，即解决如何通过一组观测序列在最

15、大似然意义上训练得到一个HMM 的参数，通常由Baum-Welch 算法训练。针对HMM 的三个基本问题，介绍与之对应的三类算法： （1）前向-后向算法给定模型，以及状态转换序列q =(q 1, q 2, q 3, , q T ，产生观测序列O =(o 1, o 2, o 3, , o T 的概率为：P (O |q , =b q 1(o 1 b q 2(o 2 b q 3(o 3 b qT (o T （2-6）给定, 产生状态转换序列q =(q 1, q 2, q 3, , q T 的概率可以通过下面的公式计算：P (q | =q 1a q 1q 2a q 2q 3 a q T -1q T （

16、2-7）则产生O 和q 的联合概率为：P (O , q | =P (O |q , P (q | （2-8） 考虑所有的状态转换序列，则P (O | =P (O , q | =qq 1q 2 qTq 1q 1b (o 1 a q 1q 2b q 2(o 2 a q T -1q T b qT (o T （2-9）理论上可以通过上面的公式，采用穷举所有可能的状态转换序列的办法计算观测序列O 的概率，但是计算量呈几何级数增加，大约为2TN T 数量级，这在实际中是无法承受的。为了降低计算复杂度，Baum 提出了前向-后向算法。前向算法：首先定义前向变量：t (i =P (o 1, o 2, o 3,

17、, o t , q t =i | （2-10）t (i 的含义是，给定模型，时刻t ，处在状态i ，并且部分观测序列是o 1, o 2, o 3, , o t 的概率。分三个步骤完成前向算法：Step1 初始化：1(i =i b i (o 1, 1i N （2-11） Step2 迭代计算：N t +1(j =t (i a ij b j (o t +1, 1t T -1, 1j N （2-12）i =1Step3终止： P (O | =t (i (2-13i =1N图2-6 描述了式2-12的迭代关系。 s 11(1o t +1s 22(23(3s 3N (N s Nt (i t +1(j 图

18、2-6 前向变量的归纳关系Figure 2-6 Inductive relationship of Prior variable后向算法 定义后向变量：T (i =P (o t +1, o t +2, , o T |q t =i , （2-14）t (i 的含义是，在给定模型，时刻t ，处在状态i ，并且部分观测序列为o t +1o t +2 o T 的概率。分三个步骤完成后向算法：Step1 初始化：t (i =1, 1i N （2-15） Step2 迭代计算：t (i =a ij b j (o t +1 t +1(j , 1t T -1, 1j N （2-16）i =1NStep3终止：

19、 P (O | =i b i (o 1 1(i （2-17）i =1N图2-7描述了式2-16的迭代关系。 o ts 1s 2s 3t (i s Nt +1(j 图2-7 后向变量的归纳关系Figure 2-7 Inductive relationship of Backward variable前向概率公式和后向概率公式巧妙将整个观测序列对HMM 模型的输出概率分成两个部分观测序列的输出概率的乘积，这样可以大大简化计算量。（2）韦特比算法（Viterbi Algorithm）韦特比算法是一种动态规划算法，被广泛应用于通信领域中。虽然利用全概率公式方法，可以得到系统的输出概率，但是无法找到一条

20、最佳的状态转移路径。为了弥补全概率公式的这点不足，引入Viterbi 算法。其不仅可以得到一条最佳的状态转移路径，而且可以得到该路径所对应的输出概率。定义维特比变量t (i 为，给定模型，在时刻t 处于状态i ，观测到o 1, o 2, o 3, , o t 的最佳状态转换序列为q 1, q 2, q 3, , q t 的概率，即t (i =max P (q 1, q 2, , q t , q t =i , o 1, o 2, o 3, , o t | （2-18）*, q 2, , q T 的步骤为： 求取最佳状态序列Q *=(q 1Step1 初始化：1(i =i b i (o 1, 1i

21、 N （2-19）1(i =0, 1i N （2-20）Step2 迭代计算：t (j =max 1i N t -1(i a ij b j (o t , 2t T , 1j N （2-21）t (j =arg max 1i N t -1(i a ij ,2t T , 1j N （2-22）*=arg max 1i N T (i （2-23） Step3终止： P *=max 1i N T (i q TStep4求取各状态序列为q t *=t +1(q t *+1, t =T -1, T -2, , 1 （2-24）其中，t (i 为t 时刻第i 状态的累积输出概率，t (i 为t 时刻第i 状

22、态的前续状态号，q t *为最优状态序列中t 时刻所处的状态，P *为最终的输出概率。由于P (Q *|O , P (Q |O , ，P *P (Q |O , ，所以可以用Viterbi 算法求似然概率P (O | 。（3）Baum-Welch 算法Baum-Welch 算法实际上是极大似然（ML ）准则的一个应用，它采用了一种多次迭代的优化算法。为解决利用观测序列训练HMM ，使P (O | 最大，首先人为估计一个初始模型0，利用0和观测序列O ，通过前向-后向算法计算出P (O |0 ，然后通过使期望值最大化再次进行模型的训练得到新的模型，如果新得到的，满足P (O | -P (O |0

23、收敛阈值，训练得到了预期效果，训练结束，否则令0=，进行反复迭代运算，直到达到收敛条件。具体描述如下：定义变量t (i , j t (i , j =P (q t =i , q t +1=j |O , （2-25）t (i , j 的含义是，给定模型和观测序列O ，在时刻t 处在状态i ，时刻t+1处在状态j 的概率。t (i , j 可以进一步写为： t (i , j =P (q t =i , q t +1=j , O | t (i a ij b j (o t +1 t +1(j =P (O | P (O |t (i a ij b j (o t +1 t +1(j (i a b (otijji

24、 =1j =1N Nt +1t +1(j （2-26）图2-8给出了式2-26所表达的前向变量t (i 、后向变量t +1(j 与概率t (i , j 之间的关系。 t+2t图2-8 t (i , j 与前向变量、后向变量之间的关系Figure 2-8 Relationship between t (i , j and Prior-Backward variables定义变量t (i ，令其表示在给定模型以及观测序列的情况下，t 时刻处在状态i 的概率，则有：P (q t =i , O | t (i t (i Nt (i =P (q t =i |O , =t (i , j （2-27）P (O

25、 | P (O | j =1tt =1T -1(i 表示观测序列O 中从状态i 出发的转换的期望次数，t (i , j 表示观测t =1T -1序列O 中从状态i 到状态j 的转换的期望次数。关于, A , B ，一种合理的估计方法如下 i =1(i （2-28）即i 表示在t =1时处在状态i 的期望次数。 a ij =(i , j t t =1T -1t =1T -1（2-29）(i t即a ij 等于从状态i 到状态j 的转换的期望次数除以从状态i 出发的转换的期望次数。 b j (k =t =1Tt(j (o t , v k t =1T（2-30）t(j 其中，当o t =v k 时，

26、(o t , v k =1当o t v k 时，(o t , v k =0即b j (k 等于在状态j 观测到v k 的期望次数除以处在状态j 的期望次数。 训练后，得到模型=(, A , B 。Baum 等人已经证明了P (O | P (O | ，即估算模型比估算前模型更好的解释了观测序列O 。为了增加HMM 模型的泛化特性，需要利用多个观测样本来训练HMM ，而不能使用单个的观测样本序列来训练模型，即单观测样本序列不利于模型参数的重估。这是因为模型的内部状态具有暂态本质，这限制了用于每一个状态的观测值数量。经典的Baum-Welch 算法中，参数重估公式是在假设只有一个观测序列的条件下推导

27、出来的。而在实际应用中，都是有大量观测序列参与训练的。因此，采用足够的数据集进行训练，可以提高模型参数的精度，利用多观测样本序列也就成为了训练HMM 的必然要求37。利用多观测序列来训练HMM 时，必须修正Baum-Welch 算法的重估公式。假设有K 个观测序列：O =O (1 , O (2 , O (3 , , O (K ，其中O (k =O 1, O 2, O 3, , O T k(k (k (k (k ，T k 表示第k 个观测序列的长度，在不影响训练效果的前提下，一般都取等长度观测序列，即所有T k =T ，并要求所有的观测序列相互独立。进行HMM 的训练，就是为了调整模型的参数，能

28、够使下列公式的值为最大:P (O | =k =1P (O (k | =k =1P k （2-31）KK在进行模型估计时，实现不知道观测数据的概率，重估公式是以观测事件出现的频率为输入参数的，所以将每一个观测样本出现的频率相加就可以得到多个观测样本的重估公式。假设有K 个观测样本参与模型训练，Baum-Welch 重估公式修正为：1(k (i 1(k (i i =, 1i N （2-32） (k | k =1P (OK a ij =k =1t =1K T K -1(k t k (k (k (i a ij b j (O t (+| 1 t +1(j /P (Ok =1t =1K T K -1, 1

29、i N , 1j N （2-33）(k t(i t (+k 1 (j /P (O (k |即 a ij =1k =1P KKT K -1t =1(k t k (k (i a ij b j (O t (+1 t +1(j 1k =1P KK T K -1t =1（2-34）(k t(i t (+k 1 (j b j (l =k =1t =1, o t =v l K T K -1K T K -1(k t (j t (k (j /P (O (k |, 1j N , 1l M （2-35）k =1t =1(k t (j t (k (j /P (O (k |即 b j (l =1k =1P K 1k =

30、1P KK KT K -1t =1, o t =v lT K -1(k t (j t (k (j （2-36）(j t (k (j t =1(k t利用这些改进的Baum-Welch 多观测样本重估公式，可以方便地解决实际问题。2 基于HMM 的安全计算机平台状态监测研究状态监测是健康管理技术的基础，是状态评估和故障诊断的前提。实现对安全计算机平台的状态监测，可以动态地分析系统的特征数据，全面、准确地了解安全计算机平台。为了研究的方便，本章根据CBTC 系统安全计算机平台的功能需求，利用通用计算机搭建安全计算机平台的仿真环境，模拟实际的安全计算机平台，提取有效的状态监测数据，进行平台的状态监测

31、研究。2.1 安全计算机平台的HMM 设计电子器件制造出来后，其性能会逐渐退化。然而电子系统的状态情况很难直接观测到（隐藏的），能够观测到的常常是电子系统表现出来的与状态相对应的信号特征，实际上只能依靠这些信号特征去推理系统的状态。安全计算机平台作为大量电子设备的集成，其健康状况的劣化过程与其它电子系统一致，因此用HMM 可以很好的描述安全计算机平台的状况变化情况。在传统的安全计算机平台故障诊断中把平台的状态划分为两类：正常态和故障态。而安全计算机平台的状态是一个逐渐劣化的过程。如果能将安全计算机平台的生命周期划分为正常态、若干中间态、故障态，就可以更准确地表达系统状态，也能进行更好的安全计算

32、机平台管理。这些中间态是无法直接观测的，只能通过观测到的信号特征推理得到。安全计算机的故障程度随着使用时间逐渐加深，从正常态到故障态具有不可逆性，因此采用从左到右型HMM 来进行状态监测和故障诊断。图3-1将安全计算机的状态分为四类：正常态(0，弱故障态(1，中间故障态(2，完全故障态(3。其中a ij (i , j =0, 1, 2, 3 是状态转移概率，O k (k =0, 1, 2, 3 表示与各状态对应的观测序列。可见，从左到右型HMM 可以真实反映平台健康状况不断劣化和故障发展的不可逆性并最终发展为完全故障的过程。 1122图3-1 安全计算机平台的HMM 结构 Figure 3-1

33、 Module diagram of SCP安全计算机在工作开始时，一般认为总处于正常工作状态下，从而初始概率分布为=1, 0, 0, 0，状态转移概率矩阵A 能够反映过程状态序列相关信息，在初始时刻一般设为均匀分布或非随机数，状态转移概率为：a 000A =00a 01a 11000a 12a 22000a 23 12.2 基于HMM 的安全计算机平台状态监测原理利用HMM 进行安全计算机平台的状态监测过程如图3-2所示13。 图3-2 基于HMM 的状态监测流程图 Figure 3-2 Flow chart of state monitor based on HMM整个监测过程包括三个方面

34、的内容： （1）状态观测数据的提取与预处理如何有效提取能够反映安全计算机平台健康状况的观测数据，是状态监测研究的重点。一般是从安全计算机平台的输出响应中，提取合适的观测数据。进行准确的状态监测，需要在同一状态下提取多次观测数据。由于提出的观测数据一般会具有冗余和高维的特点，直接进行状态监测，不但会增大计算量，而且会造成监测效率的降低。因此，往往需要对提取的原始观测数据进行预处理，实现更精确的状态监测目的。在状态监测过程中，需要提取正常态的状态观测数据作为参考。通过提取安全计算机平台当前状态的观测数据，推断出当前系统的状态情况。（2）正常态HMM 的训练对于离散型HMM ，为了增加训练得到的HM

35、M 稳定性，训练时采用多组观测序列重估算法，需要对多次观测数据进行重新组合，每L 次观测数据构成一个观测序列，这样会得到多组观测序列。从正常态的观测序列中，随机选取若干组，进行正常态HMM 的训练。模型参数=, A , B 由Baum-Welch 算法得到。（3）健康评估决策将从安全计算机平台提取的待测状态的观测序列，送入正常态的HMM 中，由此可以根据前向-后向算法或Veterbi 算法计算出正常态下产生待测观测序列的似然概率，根据似然概率的大小，可以判断系统当前状态的优劣。似然概率的绝对数值并没有太大意义，不同情况之间的似然概率相对值才更有说明价值。似然概率越大，健康状况越好，反之越差。假

36、如在状态评估阶段，设置合适的状态阈值点，可以推断出系统当前所处的具体状态。3 基于HMM 的安全计算机平台故障诊断研究故障诊断是指对系统运行状态和异常情况作出判断，并为系统故障恢复 提供依据的活动，包括故障检测和故障定位两个过程。准确定位故障，是健康 管理的另一个重要应用。 CBTC 系统安全计算机平台， 通过以太网实现各单元间的相互通信， 工作过程 中，不可避免会受到各种干扰。干扰会影响系统正常的通信，从而造成通信的阻 塞等问题，影响系统的正常工作时的周期时间。当影响达到一定程度时，正常工 作的微周期消耗时间会超过微周期的定时时间， 影响处理单元 PU1 和 PU2 的同步， 造成双机失步。本章以仿真安全计算机平台模拟实际的 CBTC 系统安全计算机平 台，从信号干扰的角度，模拟故障的发生，进行系统故障诊断的研究。 3.1 HMM 在安全计算机平台故障诊断中的优势 将广泛应用于语音识别领域的HMM，引入到安全计算机的故障诊断中，主要 是因为以下几个理由13： (1HMM适用于双重随机过程。HMM本身包含两个随机过程，不仅状态转移 是随机的，而且每个状态对应的观测值也是一个随机过程。在不知道状态变化过 程的情况下，可以通过观测序列去推导出状态的存在及其特性。通过上一章可知， 安全计算机