应用随机过程课件 ch6 更新过程

应用随机过程第六章更新过程中国人民大学出版社PAGE应用随机过程第六章更新过程中国人民大学出版社PAGE22/83第六章更新过程第六章更新过程应用随机过程中国人民大学出版社本章内容本章内容1定义及例子1更新过程定义更新过程举例2更新过程的相关术语更新过程的性质2极限定理

更新方程与拉普拉斯变换更新定理基本更新定理布莱克威尔定理年龄和剩余寿命年龄和剩余寿命的长期期望值年龄和剩余寿命的分布N(t)的概率更新函数更新函数的性质更新方程

更新过程的变化形式更新奖赏过程3交替更新过程3更新过程定义更新过程定义更新过程定义定义及例子X1X2XnF（为避免平凡情形，这里假设(0)=P(i=0)<1,i=1,,...,n更新过程定义定义及例子Tn=X1+X2+···+Xn, n≥1, T0=0定义计数过程N(t)=max{n:Tn≤t}，并称N(t)为更新过程。通常称n为N()的第n个更新间隔inte-renewalinterva，也称第n个更新Tnn{Tn称作更新序列（renewale。更新间隔和更新时刻更新间隔和更新时刻定义及例子定义及例子更新过程定义N(t)N(t)=4X2X1X3X43210 T1 T2 T3 T4 t 时间更新过程与泊松过程更新过程与泊松过程更新过程定义定义及例子更新过程只假设了Xi,i=1,2,...,n更新过程定义定义及例子andidenticallydistributed,ii，并未限定其具体服从何种概率分布；而（指数分布由于更新过程未限定具体的概率分布，对其的研究需要基于强大数定律的相关性质。举例举例1：马氏链更新过程举例定义及例子记Xt是一个不可约、正常返的离散时间马氏链，假设X0=更新过程举例定义及例子Tn表示该马氏链第n次返回状态x的时刻。令相邻两次访问状态x的时间间隔为Xi，则有：Xi=Ti−Ti−1, i=1,2,...n根据强马氏性，我们可知：Xi,i=1,2,...n是相互独立且同分布的，因此截至时刻t，访问状态x的次数N(t)就是一个更新过程，其中：N(t)=max{n:Tn≤t}。举例举例2：机器修理问题更新过程举例定义及例子广si，发生故障后进行uiti=siuii轮“正常工作—ti就是独立N(更新过程举例定义及例子广说明N(T)=max说明

（n:

ni=1

ti\

≤T�这是一种包含了“正常工作”和“维修”两个状态的交替更新过程。这是一种包含了“正常工作”和“维修”两个状态的交替更新过程。举例举例3：M/G/1排队系统更新过程举例定义及例子假设有一个服务员的排队系统，顾客以速率为λ的泊松过程到达，这意味着顾客到达的时间间隔相互独立，并且服从速率为λ的指数分布。假设顾客接受服务的时间独立同分布，且均值为更新过程举例定义及例子在这里我们并未假设接受服务的时间服从指数分布，因此服务时间不具有指数分布的无记忆性。更新过程的相关术语更新过程的相关术语更新过程的相关术语定义及例子N(t)为更新过程，Xn为N(t)的第n个更新间隔，Tn为第更新过程的相关术语定义及例子N()的期望值M(t)称为更新函数renewalfunction，即：M(t)=E[N(t)]；在t时刻，距离上一次更新的时间间隔()称作（ag，即：A(t)=t−TN(t)；tY(t称作剩余寿命（residuallifY(t)=TN(t)+1−t年龄和剩余寿命年龄和剩余寿命定义及例子更新过程的相关术语A(t) 定义及例子更新过程的相关术语0 T1 T2

···

TN(t)−1 TN(t) t TN(t)+1X1 X2 XN(t) XN(t)+1A(t)与Y(t)之间存在如下对应的等式关系：A(t)+Y(t)=TN(t)+1−TN(t)=XN(t)+1如果图中描述的是一个电子元件的寿命，并且认为一次更新就意味着零件损坏，需要用新零件替换旧零件。A(t就是零件“已经工作的时（年龄(t)（剩余寿命，两者之和(t)+Y(t)（更新间隔。极限定理极限定理极限定理更新过程的性质µE(Xn)n1极限定理更新过程的性质对于更新过程N(t)，当n→∞时，下式以概率1成立：n 1Tn→µ, a.s.极限定理记µ=E(Xn),n≥1表示更新间隔的期望值，若P(Xi>0)>0，那么当极限定理t→∞时，下式以概率1成立：N(t) 1t →µ, a.s.极限定理的图形说明极限定理的图形说明更新过程的性质更新过程的性质极限定理N(t)ℓ3ℓ2ℓ1N(t)=43210 T1

t1T2

t2 T3 t3

T4 t 时间t1接近于1/µ。极限定理与泊松过程极限定理与泊松过程极限定理更新过程的性质泊松过程可看作更新过程的一个特例，因此若N(t)是泊松过程，则其更新间隔服从速率为λ的指数分布，相应µ=E(Xn极限定理更新过程的性质当t→∞时，下式以概率1成立N(t)注意：t →λ, a.s.注意：NN(t)/t反映了更新的速率，表示单位时间内更新的次数；而t/N(t)则反映了一次更新所需要的时间。例1极限定理更新过程的性质小王的办公室有一台使用中的打印机，一旦墨盒无墨，他需要花费（天数）(6090)例1极限定理更新过程的性质例例1：解答极限定理更新过程的性质两次更换墨盒的平均时间由µ=E(U1)+E(U2极限定理更新过程的性质U1∼U(60,90)，U2∼U(1,3)。因此：1E(U)=1(60+90)=75,12

E(U)=1(1+3)=2222因此：µ=75+2=77，从长远看，小王以速率1/77替换墨盒，即他需要每77天替换一次墨盒。例2极限定理更新过程的性质λ的泊松过程到达只有一个服务窗口的银例2极限定理更新过程的性质顾客进入银行的速率是多少？潜在的顾客最终进入银行的比例是多少？例例2：解答极限定理更新过程的性质记µG为平均服务时间，根据泊松过程的无记忆性，对于进入银行的顾客而言，其时间间隔的均值极限定理更新过程的性质因此进入银行的顾客速率为

1µ=λ+µG1 λ=µ 1+λµG另外，由于潜在顾客到达的速率为λ，因此进入银行的顾客比例为：1/µ=λ/(1+λµG)= 1λ λ 1+λµG定理极限定理定理极限定理更新过程的性质N(t)t1成立：N(t)→∞,a.s.NN(t)的概率N(N(t)的概率更新过程的性质N(t)≥n Tn≤t于是可以得到：P[N(t)=n]=P[N(t)≥n]−P[N(t)≥n+1]=P(Tn≤t)−P(Tn+1≤t)=Fn(t)−Fn+1(t)说明：这个公式非常简单但难以应用，因为Fn(t)的求解往往会非常棘手。其中：Fn(t说明：这个公式非常简单但难以应用，因为Fn(t)的求解往往会非常棘手。例：例：N(t)的概率N(t)的概率更新过程的性质Fn(t)=P(Xn≤t)=1−e−λt由于Tn=X1+X2+···+Xn服从Gamma分布，对应的概率密度函数如下：f t e−λt

(λt)n−1 tTn()=λ

(n−1)!, ≥0求：更新过程N(t)的概率P[N(t)=n]。例：解法例：解法1N(N(t)的概率更新过程的性质0≤x≤tP[N(t)=n]=0≤x≤trt00

P[N(t)=n|Tn=x]·P(Tn=x)r= P[N(t)=n|Tn=x]·fTn(x)dxrt0= P[Xn+1≥t−x]·fTn(x)dx0rrt (λx)n−1r00= e−λ(t−x)·λe−λx·

dx(n−1)!λne−λt=(n−1)!

txn−1dx=0

λne−λt tn(n−1)!·n

=e−λ

t(λt)nn!例：解法例：解法2N(t)的概率更新过程的性质rr利用P[N(t)=n]=Fn(t)−FN(t)的概率更新过程的性质rrFn(t)=P(Tn≤t)=

tfTn(s)ds=r0r

t·λe−λs·0

(λs)n−1ds(n−1)!λn =

e−λssn−1ds=

λnrt

e−λsdsn其中，

rt s

(n−1)!n

0tsnt

rtn−0−0

n! 0−λse−λds0

=e−λs

sde0rtFnFn+1(t)=

λn+1

=e−λttn+λe−λsde−λsdsn+1=00

e−λssnds0e−λssndse−λssndsn! n!0(n+1)!0(n+1)!0n!0例：解法例：解法2(cont.)N(t)的概率更新过程的性质＿P[N(t)=n]=Fn(t)−N(t)的概率更新过程的性质＿nt=λ e−λttn+λrnt

e−λssnds＿−

λn+1rt

e−λssndsrn! 0 n! 0r=e−λt

(λt)n

λn+1 t+

e−λssnds−

λn+1rt

e−λssndsn!−λt(λt)n

n! 0

n! 0注意：=e n!注意：最终得到的更新过程最终得到的更新过程N(t)服从泊松分布。更新函数的性质更新函数的性质对于分布函数Fn(t)=P(Tn≤t)，更新函数M(t)满足：M(t)= 对于分布函数Fn(t)=P(Tn≤t)，更新函数M(t)满足：M(t)= F(t)寸∞nn=1定理说明：Fn(t)的求解往往非常困难，特别是对于无穷多个Fn(t)的序列求和，通常得不到封闭表达式。因此还需要尝试使用其他的方法来求解更新函数。更新函数更新过程的性质更新过程的性质更新函数寸更新函数寸M(t)= Fn(t)证明思路n=1证明思路MM(t)=E[N(t)]= P[N寸∞n=1(t)≥n]{N(tn}与{T≤t}等价→= P(T≤t寸∞n寸∞n)= F(tn)n=1n=1拉普拉斯变换法求解拉普拉斯变换法求解M(t)更新函数更新过程的性质由于Fn(t)是Xi分布函数F的更新函数更新过程的性质n个n(t)=、∗F、···∗.,n个根据拉普拉斯变换的性质可知：nL{Fn(t)}=L{F}·L{F}···L{F}=[L{F}]n、 / .,即：n重卷积的拉普拉斯变换L{Fn(t)}，可转化为分布函数F的拉普拉斯变换L{F}的n次幂。n=1nn=1n=1L{M(t)}=寸L{Fn(t)}=寸[L{F}]n拉普拉斯变换法拉普拉斯变换法(cont.)更新函数更新过程的性质拉普拉斯变换法求解M(t更新函数更新过程的性质L{ } ,L{} L{ }对分布函数F进行拉普拉斯变换，得到L{F}；利用 M(t)=∞L{ } ,L{} L{ }n=1对L{M()}进行拉普拉斯逆变换（inverseLaplacetransfor，从而M(t)。1推论31推论3更新函数更新过程的性质若干定理若干定理对于t∈对于t∈[0,∞)，M(t)<∞。当t=0时，更新函数M(t)满足：M(0)= F(0)1−F(0)当t→∞时，M(t)→∞更新方程更新方程更新函数更新过程的性质假设更新间隔Xn的分布函数更新函数更新过程的性质f，则由更新函数M(t)构成的更新方程（renewalequation）如下：M(t)=F(t)+M(t)=F(t)+0M(t−x)f(x)dxM(t)=F(t)+0M(t−x)f(x)dx更新方程提供了计算更新函数的另一种思路。说明：例：例：更新函数更新过程的性质假设更新间隔Xn的分布函数F是[0,更新函数更新过程的性质F(t)=t, f(t)=1, t∈[0,1]将上式代入更新方程，可得：M(t)=t+=t−u=t−x→=t+

t0rrM(t−x)dx0rrt0rM(t−x)d(t−x)0rtM(u)du0例例(cont.)更新函数更新过程的性质对式子两端关于更新函数更新过程的性质M′(t)=1+M(t)令g(t)=1+M(t)，则g′(t)=M′(t)，于是：g′(t)=g(t)对于这个常微分方程，易得其通解为：g(t)=Cet，相应地M(t)=Cet−1由于M(0)=E[N(0)]=0，因此作为初始条件可得C=1，最终可得：M(t)=et−1, t∈[0,1]更新强度更新强度更新函数更新过程的性质假设更新函数M(t)可微，记m(t)=dM(t)/dt，称m(t更新函数更新过程的性质更新过程N(t)的更新强度m更新过程N(t)的更新强度m(t)满足：m(t)= f(t)寸∞nn=1其中：fn(t)是分布函数Fn(t)=P(Tn≤t)对应的密度函数。更新强度的性质对比：更新方程对比：更新方程更新强度的积分方程更新强度的积分方程更新函数更新过程的性质更新过程N(t)的更新强度m(t更新函数更新过程的性质m(t)=f(t)m(t)=f(t)+0m(t−x)f(x)dxm(t)=f(t)+0m(t−x)f(x)dx其中：f(x)是更新间隔Xn的密度函数。MM(t)=F(t)+ M(t−x)f(x)dxrt0更新方程与卷积更新方程与卷积M(t)=

t更新函数更新过程的性质rf(x)dx更新函数更新过程的性质r0

tr−M(t x)f(x)dxr−0L{F(t)}=L{f(t)}sL{[F∗G](t)}=L{F(t)}=L{f(t)}sL{[F∗G](t)}=L{F(t)}·L{G(t)}拉普拉斯变换（Laplacetransform）的性质根据拉普拉斯变换的性质，更新方程可转化为：L{M(t)}=1·L{f(t)}s 1−L{f(t)}更新方程与拉普拉斯变换更新方程与拉普拉斯变换更新函数更新过程的性质sL{M(t)}=L{f(t)}+L{M(t)}L{f(t更新函数更新过程的性质sL{M(t)}=s

L{f(t)}·1−L{f(t)}·

(*)如果求出了f(t)的拉普拉斯变换L{f(t)}，并将其代入式(*)，就可以得到L{M(t)}；再对L{M(t)}进行拉普拉斯逆变换，最终可以得到M(t)的表达式。例：例：更新函数更新函数更新过程的性质≥f(t)=1e−t+e−2t, t 02≥对其进行拉普拉斯变换，可得：1 1代入式(*)可得：

L{f(t)}=2(s+1)+s+24 1 1L{M(t)}=3s2+9s−9(s+1.5)对上式进行拉普拉斯逆变换，最终可得：392M()=t+1＿1−exp(−3t\＿392更新强度与拉普拉斯变换更新强度与拉普拉斯变换更新函数更新过程的性质0对m(t)=f(t)+rtm(t−x)f(x)d更新函数更新过程的性质0L{m(t)}=L{f(t)}+L{m(t)}L{f(t)}对上式进行整理可得：L{ }m(t)=L{f(t)}L{ }1−L{f(t)}

(**)基于式(**)的结果，对L{m(t)}进行拉普拉斯逆变换，最终可以得到m(t)的表达式。举例：举例：更新函数更新函数更新过程的性质f(t)=λe−λt, λ>0,t≥0L{ }对其进行拉普拉斯变换，可得： f(t)=λL{ }λ+s代入式(**)可得：L{m(t)}=

λλ+s =λλ s1−λ+s对上式进行拉普拉斯逆变换，最终可得：m(t)=λ停时定义说明：更新定理停时定义说明：更新定理更新过程的性质停时和瓦尔德定理停时和瓦尔德定理假设{假设{Xn}是随机变量序列，S是取值为正整数的随机变量，若∀n，事件{S≤n}由X1,X2,...,Xn唯一决定，则称S是{Xn}的停时。{SnX1X2Xn所决定。若观测到X1,X2Xn{SnS是停时，否则就不是。瓦尔德定理（瓦尔德定理（Wald’stheorem）更新定理更新过程的性质假设{Xn,n≥1}是独立同分布的随机变量序列，其期望值均为更新定理更新过程的性质S是定义于{Xn,n≥1}上的停时，并且E(S)<∞，则TS=X1+X2+···+XS满足如下等式：E(TS)=µE(S)瓦尔德定理的推论瓦尔德定理的推论推论更新定理更新过程的性质瓦尔德定理可用于对更新函数M(t推论更新定理更新过程的性质{N(t),t0Xi,i=12，Ti,i=12TN(t)+1t时刻以后的第一E(Xi)=µ<时，下式成立：E[TN(t)+1]=µ[M(t)+1]例题：例题：更新定理更新过程的性质某矿工身陷井下陋室。陋室有三门，他选择1号门需经过更新定理更新过程的性质进才会获得自由；选择2号门则经过4天的行进后还是回到这个陋室；36天的行进后还是回到这个陋室。假设在所有的时间他都等可能地选取三门中的任意一个，记这个矿工获得自由所用的时间T。用瓦尔德定理求E(T)i「N li计算E XN=ni=1(b)(b)E(T)例题：解答例题：解答更新定理更新过程的性质利用瓦尔德定理，可知：E(T)=E(Xi)E(N)，此处N是停时，表示的是矿工获得自由前所做的选择次数；Xi更新定理更新过程的性质E(Xi)=3

×(2+4+6)=4需要注意的是，由于三门当中，只有1号门可以最终离开矿井，其他两门均无法离开。因此，N服从的是几何分布，其成功的概率为p=1/3，失败的概率为2/3。由几何分布的特征，可得：E(N)=

n·∞n∞n

(33

(1\=33综合上面两个式子，可得：E(T)=43=12（天。3例题：解答例题：解答(cont.)更新定理更新过程的性质iXN=n=2(4+6)(n−1)+2=5n−3{N=n更新定理更新过程的性质iXN=n=2(4+6)(n−1)+2=5n−3E「NE

l 1ii=1运用条件期望的性质，对上式两端取期望，可得：（「N l�iE ii=1

XN=n =5E(N)−3EXi=5EXi=5×3−3ii=1ii=1E()=2天）基本更新定理（基本更新定理（ElementaryRenewalTheorem）更新定理更新过程的性质对于更新过程N(t)，记M(t)=E[N(t)],µ=E(Xn),n≥更新定理更新过程的性质t→∞时，下式以概率1成立M(t) 1t →µ, a.s.N(t)M(t)。极限定理与基本更新定理极限定理与基本更新定理更新定理更新过程的性质N(t)更新定理更新过程的性质N(t)1tM(t)→µ1t→µ, a.s. 基本更新定理)ωN(tω)/t，求解出的是时间平均更新速率time-averagerenewalrat；基本更新定理对M(t)/t的ωΩ，求解其总体的时间平均更新速率。简而言之，极限定理考查单个样本的渐近性质；基本更新定理则是考查所有样本的集成（ensemble）所具有的渐近性质。举例：举例：更新定理更新过程的性质一个工人连续干一些零活，每完成一个零活，就开始一个新的零f的随机时间独立地完成。然而会λ更新定理更新过程的性质长期来看，零活完成的速率是多少？举例：解答举例：解答更新定理更新过程的性质本问题中，将零活的完成看成一个更新过程。记更新的时间间隔为XE(X)W，发生触更新定理更新过程的性质| E(XW=w,S=s)=s+E(X), s<| 注意：w, s≥w注意：当当s<w时，发生触电意外，此时将开始新的零活，原零活的时间s仍需计算在内举例：解答举例：解答(cont.)更新定理更新定理更新过程的性质0rrE(X|W=w)=r∞E(X|W=w,S=s)λe−λsds0rrw= [s+E(X)]λe−λsds+rr0rr

∞wλe−λsdsrwrw= sλe−λsds+E(X)0

wλe−λsds+w0

∞λe−λsdswλλ=＿1−(w+1\e−λw＿+E()（1−e−λw）+we−λwλλ（− ） （− ）=E(X)1 e−λw+（− ） （− ）＿ ＿＿ ＿（− ）=E(X)+1 1 e−λwλ接下来，对上式两端取期望。举例：解答举例：解答(cont.)更新定理更新过程的性质由于E[E(X|W=w)]=E(X更新定理更新过程的性质λE()=＿E()+1＿r1−E(e−λw)＿λE(X)=

1−E(e−λw)λE(e−λw)因此，长期来看，零活完成的速率是 λE(e−λw)r1−E(e−λw)rE(e−λw)= ∞e−λwf(w)dw说明：E(e说明：E(e−λw)是随机变量w的矩母函数，其参数为−λ

，其中，格点随机变量格点随机变量定义：格点随机变量更新定理更新过程的性质若随机变量X只在常数d>0定义：格点随机变量更新定理更新过程的性质寸∞寸P(X=nd)=1n=0XddX的周期。布莱克威尔定理布莱克威尔定理更新定理更新过程的性质假设µ=E(Xi更新定理更新过程的性质若Xi不是格点随机变量，对于0≤a<b，当t→∞时，µM(b+t)−M(a+t)→b−a, 0≤a<bµ若Xi是格点随机变量，且有周期d，当t→∞时，µM(nd)−M(nd−d)→d, n=1,2,...µ剩余寿命剩余寿命Y(t)的展示图更新过程的性质年龄和剩余寿命N(t) 更新过程的性质年龄和剩余寿命X5X4X3X2X1 t0 T1 T2 T3 T4 T5 T6(a)Y(tY(t)X2X3X5X6X4t0 T1 T2 T3 T4 T5 T6(b)剩余寿命剩余寿命Y(t)的长期期望值年龄和剩余寿命更新过程的性质研究的重点在于t→∞年龄和剩余寿命更新过程的性质life）是多少。展示图(b)中，可以得到这些折线与横轴围成的面积S(t)，记作：S(t)=

trY(u)du=r0

N(t)2i=1

X2+

trr

Y(u)du, t∈

rTN(t),TN(t)+1）i平均的剩余寿命，就是S(t)与时间t的比值。根据大数定律，当t→∞i时，该比率S(t)/t→E[Y(t)]剩余寿命剩余寿命Y(t)的长期期望值(cont.)年龄和剩余寿命年龄和剩余寿命更新过程的性质E[Y(t)]=limt→∞E[Y(t)]=limt→∞tY(u)du=00

E(X2)2E(2E(X)0 2E(02E(X), a.s.平均剩余寿命的取值，取决于更新间隔X的一阶矩和二阶矩。, a.s.年龄年龄A(t)的展示图更新过程的性质年龄和剩余寿命N(t) 更新过程的性质年龄和剩余寿命X5X4X3X2X1 t0 T1 T2 T3 T4 T5 T6(a)A(A(t)X3X5X6X1X2X40 T1 T2 T3 T4 T5 T6(b)年龄年龄A(t)的长期期望值年龄和剩余寿命更新过程的性质类似于剩余寿命的分析，可以对应得到t年龄和剩余寿命更新过程的性质（time-averageage）的取值E[A(t)]=lim

1rt

A(u)du=

E(X2)

, a.s.t→∞t 0 2E(X)由于A(t)+Y(t)=TN(t)+1−TN(t)=XN(t)+1，可以得到平均更新间隔（time-averageinterval）的结果：E[XN(t)+1]=lim

1rt

XN(u)+1du=

E(X2)

, a.s.t→∞t 0 E(X)总结总结年龄和剩余寿命更新过程的性质假设X是更新过程N(t)的时间间隔，且期望为µ，方差为σ2年龄和剩余寿命更新过程的性质不是格点随机变量。每次更新的年龄A(t)和剩余寿命Y(t)分别记为：A(t)=t−TN(t), Y(t)=TN(t)+1−t于是有：E[Y(t)]=E[A(t)]=

E(X2)2E(X)E(X2)2E(X)

µ2+σ2=2µµ2+σ2=2µ

, a.s., a.s.E[X()+1]=

E(X2)E(X)=

µ2+σ2, a.s.µ年龄年龄A(t)的分布年龄和剩余寿命更新过程的性质具体研究当t年龄和剩余寿命更新过程的性质先研究年龄A(t)的分布，假设一个系统中某个零件具有独立同分布的寿命X1,X2,...。零件损坏后将立即更新，相应的更新过程记作N(t)。另外假设每个零件均有一个试用期y>0，若零件在试用期内没有损坏，则会进入正式工作期；若在试用期内损坏，则该零件将只有试用期而无正式工作期。Ti−1

ViA(t)y=UiiX t(Ti−1+y) A(t)y=Uii更新过程的性质Ti−1

ViA(t)y=Ui年龄和剩余寿命iX t(Ti−1+yA(t)y=Ui年龄和剩余寿命i记第i个零件的试用期为Ui，则：Ui=min(Xi,y)，对应的正式工作期为Vi=Xi−Ui,(Xi>y)。根据期望的性质，可得：E(Ui)=E[min(Xi,y)]=r∞P[(min(Xi,y)>s)]ds0=P(Xi0=P(Xi>s,y>s)ds00r{y>s}⊆{Xi>s}→=r=

yP(Xi>s)dsr0ryF(s)ds0更新过程的性质年龄和剩余寿命年龄和剩余寿命limP[A(t)≤y]=E(Ui)t→∞ E(Xi)由于Xi独立同分布，因此：E(Xi)=µ，最终可得：µ0µ0tlimP[A(t) y]µ0µ0tlimP[A(t) y]=→∞F(s)ds, y≥0因此当t很大时，年龄A(t)的分布函数FA(y)可用下式近似：FA(y)=E(Xi)F(FA(y)=E(Xi)F(s)ds, y≥00000对上式的两端关于y求导，可以进一步得到A(t)的密度函数fA(y)如下：fA(y)=F(y)E(Xi)

=P(Xi>y)µ剩余寿命剩余寿命Y(t)的分布年龄和剩余寿命更新过程的性质假设一个系统中某个零件具有独立同分布的寿命X1,X2,...，相应的更新过程记作N(t)。零件在损坏前有一个异常状态，此状态发生在零件损坏前的y小时。记Vi=min(Xi,y)，Ui=Xi−Vi,(Xi>Vi年龄和剩余寿命更新过程的性质Y(t)Ti−1

Ui(Ti−y)

y=Vit TiXi更新过程的性质Ti−1

年龄和剩余寿命U年龄和剩余寿命(Ti−y)

y=VitXi

Y(t)Ti根据期望的性质，可得：E(Vi)=E[min(Xi,y)]=根据强大数定律，易得：

yrF(s)dsr0limP[Y(t)≤y]=E(Vi)t→∞ E(Xi)更新过程的性质年龄和剩余寿命由于Xi独立同分布，并且E(Xi)=µ年龄和剩余寿命µ0µ0tlimP[Y(t) y]µ0µ0tlimP[Y(t) y]=→∞F(s)ds, y≥0因此当t很大时，剩余寿命Y(t)的分布函数FY(y)也可用下式近似：FY(y)=E(Xi)F(FY(y)=E(Xi)F(s)ds, y≥00000对上式的两端关于y求导，可以进一步得到Y(t)的密度函数fY(y)如下：fY(y)=F(y)E(Xi)

=P(Xi>y)µ例题：例题：年龄和剩余寿命更新过程的性质某台机器每次中断运行就换上一个同样类型的机器。如果机器的寿3年龄和剩余寿命更新过程的性质请问：该机器的寿命小于一年的概率是多少？例题：解法一例题：解法一年龄和剩余寿命更新过程的性质本问题求解的关键在于更新过程中年龄A(t年龄和剩余寿命更新过程的性质XiE(1/3)，相应地，有3E(i)=3, (s)=P(i≤s)=1−e−λs=1−exp(−\3因此：FA(1)=tlimP[A(t)≤1]=

1 1rF(s)dsrr(\→∞ E(Xi)0r(\=30

exp

1\−3sd\=−exp

(−3s(

10=1−exp0

(−1\

3=0.2833例题：解法二例题：解法二年龄和剩余寿命年龄和剩余寿命更新过程的性质−3×3P(T<1)=1−e−λt=1−exp−3×3

1\=1−exp(−\=0.283更新奖赏过程的定义更新奖赏过程的定义定义更新奖赏过程更新过程的变化形式正如泊松过程是更新过程的特例，复合泊松过程可看作更新奖赏过程（renewal-reward定义更新奖赏过程更新过程的变化形式Xn,n1N(t)，并假设每次更新发生时将接受一次奖赏reward，记i为第i次更新时得到的奖赏，假设iRiiXiR(t为更新奖赏过程，其表达式如下：寸N(t)寸R(t)= Rii=1其反映了到时间t为止的全部奖赏数额。更新过程的变化形式定理更新奖赏过程对于更新奖赏过程R(t)，Ri为第i次更新时得到的奖赏，Ti为第i次更新的时间，Xi为第i个更新间隔，则下式以概率1成立：定理更新奖赏过程R(t) E(Ri)简要证明t →E(Xi)简要证明当当t→∞时，t tN(t)RNi=(tt)1N(t)Rii=1·N(t)=),N(t)i=1Ri tN(t)i=1N(t)→E(Ri)E(Xi)更新过程的变化形式推论更新奖赏过程记R(t)是更新奖赏过程()中的奖赏函数rewardfunction，其更新E(X)<∞iRi满足E(|Ri|)<∞，因此：推论更新奖赏过程limt

1rt

R(τ)dτ=

E(Ri)

, a.s.→∞t 0 E(X)定理对于更新奖赏过程R(t)，Ri为第i次更新时得到的奖赏，Ti为第i次更新的时间，Xi为第i个更新间隔，若E(Ri)<∞，E(Xi)<∞，则当定理t→∞时，下式成立：E[R(t)] E(Ri)t →E(Xi), a.s.例例1：修车问题更新奖赏过程更新过程的变化形式h的随机变量，且如果老车损坏AT年，李师傅的更新奖赏过程更新过程的变化形式问：长期来看，李师傅在单位时间花费数额的期望值是多少？例例1：解答更新奖赏过程更新过程的变化形式对于此问题，首先要界定清楚何时修车、何时换车。假设每一次出Xi更新奖赏过程更新过程的变化形式Xi=s∧T。首先计算E(Xi)：0rrE(Xi)=E(s∧T)=r∞(s∧T)h(s)ds0rrT= sh(s)ds+r0r

∞Th(s)dsrTrT= sh(s)ds+T0

∞h(s)dsT例例1：解答(cont.)更新奖赏过程更新过程的变化形式对应的奖赏期望值E(Ri更新奖赏过程更新过程的变化形式rrE(Ri)=A·P(s<T)+B·P(s≥T)rrT=A h(s)ds+B0

∞h(s)dsT因此：单位时间花费数额的期望值是E(Ri)Ah(s)ds+BE(Ri)Ah(s)ds+Bh(s)ds E(Ri) A E(Ri)Ah(s)ds+Bh(s)dsrr=0TE(Xi)rr=0T

Tsh(s)ds+T0

∞h(s)dsT例例2：火车发车问题更新奖赏过程更新过程的变化形式µNn个旅客在等待，会引起更新奖赏过程更新过程的变化形式该问题中，发出一列火车，就意味着完成一次更新，而一次更新的时间间该问题中，发出一列火车，就意味着完成一次更新，而一次更新的时间间更新发生的时间间隔产生。因此该问题属于更新奖赏过程。提示：例例2：解答更新奖赏过程更新过程的变化形式由于到达时间间隔的均值是µ，只有当等待的旅客数凑够更新奖赏过程更新过程的变化形式E(Xi)=N·E(Ti)=N·µ记Tn表示第n位到达的旅客与第(n+1)位到达的旅客之间的时间间隔，于是：E(Ri)=E[c·T1+2c·T2+···+(N−1)c·TN−1]由于E(Ti)=µ，因此：2E(Ri)=c[µ+2µ+···