拉格朗日回归分析中的对偶型-逐次寻优方法

拉格朗日回归分析中的对偶型-逐次寻优方法

可靠性设计通常需要规定适当的可靠性因子。一般来说，预测性概率分布的类型，然后进行预测性检验，参数估计，然后得到分位值函数。在解决概率问题时，最大熵原理是避免概率分布，并精确规定分位值函数。这是解决这些问题的有力工具。文献针对上述问题,本文提出了对偶型-逐次寻优方法确定拉格朗日系数,并在此基础上提出了精度更高的改进对偶型最大熵分位值估计,算例表明,与经典最大熵分位值估计方法比较,本文提出的方法计算精度高,优化迭代的收敛性好.文中将由非线性最小二乘法确定拉格朗日系数的最大熵分位值估计称为经典型最大熵分位值估计;由对偶原理确定拉格朗日系数的最大熵分位值估计称为对偶型最大熵分位值估计.1概率分布函数1979年Greenwood提出了概率加权矩,与经典矩的统计相比,概率加权矩克服了小样本经典矩估计出现的大偏差问题.该方法已经在气象、水文、机械工程领域中得到了应用.设随机变量X和概率分布函数u(x)=P(X≤x),则X的概率加权矩如下其中i,j,k为任意实数.为了取得较好的统计特性,避免观测值的高次方造成的较大抽样误差,一般取i=1;为了计算方便,令j=0或k=0,概率加权矩可表示为其中M样本观测系列x其中x其中(i=1,2,…,n;j=0,1,…,n;k=0,1,…,n),对于小样本概率加权矩具有良好的无偏性.因此,利用样本的概率加权矩来估计概率统计量精度较高.2单元型最大熵的估计2.1对偶型最大熵分位值的求解设x(u)为随机变量X在概率累积值为u的分位值(u(x)=P(X≤x)).其不及概率分位值最大熵定义为其中b现有文献不及概率最大熵分位值函数的解析形式为其中λ其中目前普遍采用牛顿迭代寻优求解上式.但是,采用牛顿迭代寻优求解存在如下不足,即初值点对寻优结果比较敏感.其一,初值点选取不合理,寻优结果就不理想.其二,上述残差e是关于λ2)对偶型不及概率最大熵分位值估计根据式(8),本文重新构造拉格朗日函数T,且λ由驻值条件为了确定λ将式(14)代入式(13),得到拉格朗日对偶形式的寻优函数P为对式(16)进行寻优即可得到拉格朗日系数λ2.2对偶型超越概率最大熵分位值估计设x(q)为随机变量X超越概率值为q的分位值(q=P(X≥x(q))).x(u)为随机变量X在不及概率为u的分位值(u=P(X≤x(u))),且满足q=1-u,由概率权重矩可得则超越概率最大熵定义为其中a与不及概率分位值函数相似,超越概率最大熵分位值函数的解析形式为在确定分位值函数γ2)对偶型超越概率最大熵分位值估计根据式(18),本文重新构造拉格朗日函数R,且γ由驻值条件为了确定γ将式(22)代入式(21),得到拉格朗日对偶形式的寻优函数W为对式(24)进行寻优即可得到拉格朗日系数γ2.3改进的分位值函数最大熵解析法不及概率最大熵分位值估计在拟合百分位值函数时,其低概率累积分位点相对其他分位点误差大,而超越概率最大熵分位值函数估计在拟合百分位值函数时,其高概率累积分位点相对其他分位点误差大.将两者进行线性组合可以提高分位值函数的估计精度.设x(u)为随机变量X在概率累积值为u的分位值(u=P(X≤x(u))),由式(14)和式(22),则改进的分位值函数最大熵解析式为3优化算法及其实现为了进一步解决经典最大熵、对偶型最大熵以及改进的最大熵等分位值函数(即式(9)、式(14)、式(19)、式(22)和式(25))的求解过程中寻优计算拉格朗日乘子的初始点敏感性问题,即寻优结果精确不高、寻优不收敛和求解效率低等问题.本文提出采用逐次寻优的优化算法求解拉格朗日乘子.由于在Bayes分析及数据处理中,各阶样本矩b下面以不及概率最大熵分位值函数的计算实现过程为例,阐述本文提出的逐次寻优算法的步骤设拉格朗日乘子的总数为M,n=1,2,3,…,M-1,那么1)当n=1时,优化变量为V2)当n=2时,优化变量为V3)增加n值,如此往复,直至n=M-1步,得到最终的最优变量V4)由最终的拉格朗日系数λ4计算与评论4.1对偶型最大熵逐次寻优估计法u应用本文方法对常见的正态分布、对数正态分布,威布尔分布、指数分布等4种分布类型的不同概率分布分位值计算,以显示本文方法处理不同概率分布分位值的适应性.假设随机样本分别服从威布尔分布W(2,2,0.5)(形状参数为2,位置参数为2,尺度参数为0.5),正态分布N(1,0.2)(期望为1,标准差为0.2),对数正态分布lnN(对数期望为0,对数标准差为0.3),指数分布E(率参数为4).通过MonteCarlo方法生成1000个样本,采用本文的对偶型不及概率最大熵分位值估计法、超越概率最大熵分位值估计法以及改进最大熵分位值估计法分别对该4种分布类型的分位值进行计算,并取所计算样本的前10阶概率权重矩进行约束,得到对偶型最大熵分位值函数曲线与理论累积函数曲线的对比见图1.从图1可以看出,在大样本条件下,对偶型不及概率最大熵分位值估计法、超越概率最大熵分位值估计法以及改进对偶型最大熵分位值估计法的计算结果与理论概率累积函数结果均十分吻合,表明本文提出的对偶型最大熵分位值逐次寻优方法能够很好地模拟常见类型的概率分布;且公式表达形式统一、简单.4.2对偶型最大熵与经典最大熵分位值计算方法的对比通过MonteCarlo方法生成1000个样本,分别服从威布尔分布W(2,2,0.5)(形状参数为2,位置参数为2,尺度参数为0.5),正态分布N(1,0.2)(期望为1,标准差为0.2),对数正态分布lnN(0,0.3)(对数期望为0,对数标准差为0.3),指数分布E(4)(率参数为4).将本文的对偶型超越概率分位值最大熵估计、和经典超越概率分位值最大熵估计分别采用本文的逐次寻优算法和经典的拟牛顿算法计算分位值(不及概率分位值计算类同).取所计算样本的前10阶概率权重矩进行约束,得到最大熵分位值函数曲线与理论概率累积函数曲线的对比见图2,不同分位值函数估计方法产生的方均根误差(RMSE)见表1.从图2及表1的结果可以看到拟合曲线的精确程度从高到低的排序为:对偶型-逐次寻优法、对偶型-拟牛顿法、经典型-逐次寻优法、经典型-拟牛顿法.分析其原因为:经典型-拟牛顿法得出的拟合曲线与理论曲线相差很大,由于优化函数的高度非线性存在寻优困难,同时拟牛顿法的初始点选取十分重要.本算例中由于初始点的选取不合适,导致优化不收敛.而逐次寻优法避免初始点的选取不当造成的优化不收敛问题,使经典型-逐次寻优法比经典型-拟牛顿法有更高的计算精度.对偶型分位值函数简化优化函数,使其不再高度非线性,得到的计算曲线较经典型具有更高的精度.4.3改进的最大熵逐次寻优方法通过MonteCarlo方法生成1000个服从正态分布N(10,1)的样本,应用对偶型不及概率最大熵分位值估计法、超越概率最大熵分位值估计法以及改进的最大熵分位值估计法等3种,对概率累积函数进行计算,给出累积概率在[0,0.2],[0.8,1],[0,1]曲线结果进行对比见图3~图5,及各概率区间的分位值估计方均根方差RMSE见表2~表4(其他分布如对数正态分布,威布尔分布,指数分布等概率累积函数计算精度也有类似的结果).从图3~图5及表2~表4可以看出1)3种最大熵估计法都能很好地计算常见分布类型的累积函数曲线,随着约束条件阶数的增加(n阶约束对应的最大熵称为n阶最大熵估计),计算的曲线更加逼近理论概率累积函数曲线.2)从图3(a)和图3(b)及表2可以看出,超越概率最大熵分位值估计法得到的累积函数曲线在低可靠度的部分随着阶数增大其精度提高变化不大,在高可靠度的部分随着阶数增大其精度提高变化明显.从图4(a)和图4(b)及表3可以看出,不及概率最大熵分位值估计法得到的累积函数曲线在低可靠度的部分随着阶数增大其精度提高变化明显,在高可靠度的部分随着阶数增大其精度提高变化不大.3)从图5及表4可以看出,由于改进的最大熵分位值函数估计法是不及概率最大熵分位值估计法与超越概率最大熵分位值估计法上的线性组合,综合了两者的优点,并且避开了两者的不足,估计出的概率累积曲线较前两者方法精确.4.4随机变量x的估计最大熵分位值估计法不仅能方便地应用在常见的单峰随机变量,且对于多峰的复杂随机变量也能很好的适用.利用改进对偶型最大熵分位值估计法及经典最大熵分位值估计法对随机变量X进行积累函数估计,随机变量X的理论概率密度为从图6及表5可以看到,在一定的样本条件下,经典的最大熵分位值函数曲线与理论曲线相差较大.其原因在于经典最大熵法优化函数高度非线性且优化结果受初始点影响较大;而改进对偶型最大熵分位值逐次寻优方法得到的累积函数曲线与理论累积函数曲线吻合较好,精度达到工程的使用要求.5对偶型-逐次寻优算法1)基于拉格朗日乘子对偶法,推导建立了含有拉格朗日系数优化函数的对偶表达式,与经典的非线性最小二乘法相比,函数形式简单,非线性程度低,不论采用本文