马尔柯夫过程及其在经济中的应用

1、马尔柯夫过程及其在经济中的应用马尔柯夫过程及其在经济中的应用第一节、随机过程及马尔柯夫链的概念1.什么是随机过程自然、社会和经济中的随机现象，可由一个或多个随机变量来描述，这是我们都已知道的（概率和数理统计），在实际中还需要研究有些随机现象随时间的变化规律性。随机过程的数学理论就是适应这一客观需要而产生的。例1以(t)表示某一 站在时间(0,T)中接到的呼叫次数，那么，对每一确定的t(0, ), (t)是一个随机变数，当t在(0,T)中的取值不断增大时， (t)就描述着呼叫次数随时间的变化过程，若以一天24小时间计，则(t)就是时间从0到24呼叫次数的随机的变化规律。例2 某商店一特定的商品在

2、一月内每天的售货量为一随机变量(t)，如果t从1变化到30，则(t)就是一月内此商品销售量的随机变化过程。以上两例中，我们研究的是随时间t变化的一族随机变量。我们将这样的一族随机变量，称为随机过程记为(t)t 0,T马尔柯夫过程是随机过程中的一种，它研究的是这样的一类随机现象，现象在变化的过程中，处于某种状态的概率，只与它在这之前的状态有关，而与它在很远的过去处在什么状态无关。二十世纪初1907年，俄国数学家马尔柯夫（A.A.Markov)研究了这类现象，并把这类现象归结为这样一种数学模式，现象在概率转换过程中，第n次试验的结果，常决定于n-1次试验的结果。以后，人们在研究时，就把具有由前项推

3、算出来的转移概率的随机变化过程，称为马尔柯夫过程；而把从整体上看到的一连串的转移过程称为马尔柯夫链。2.转移概率矩阵设一系统S有有限个互不相容的状态，A1，A2，An，每隔一个有限时间后状态就要变更一次，在时刻tk时（k=1,2,3 )系统S处于状态Ai（I=1,2,3n)在下一个时刻tk+1转而呈现出状态Aj(j=1,2,3 n)的概率恒等于一个不依赖于S在时刻t1,t2,tk-1状态的非负常数pij,利用通常的条件概率写法，可记为：) 1, 10()3 , 2 , 1(,|,1ijjkijjjippiktAtApp这里的pij(j,j=1,2,3 n)称为系统S的马尔柯夫链的一步转移概率。

4、由转移概率pij为元素构成的矩阵：nnnnnnnpppppppppAAAP21222121121121) 1, 10(ijijpp这个矩阵称为系统S的状态A1，A2，An的转移概率矩阵，也叫马尔柯夫链的转移矩阵。转移概率矩阵P的建立是以对问题的观察和试验为基础为。例3为了了解顾客对甲、乙、丙三种不同牌号的洗衣粉的购买倾向，我们结市志进行了调查。在本月购买乙、丙三种不同牌号的洗衣粉的顾客中，各找100人，分别了解他们下月的购买倾向情况如下：301060103060303040丙乙甲A此矩阵说明，在本月购买甲牌的100人中，有40人仍购买甲牌，30人转向购买乙牌，30人转向购买丙牌，在购买乙 牌的

5、100人中，有60人转向购买甲牌，30人仍购买乙牌,10人转向购买丙牌，在购买丙牌的100人中，有60人转向购买甲牌，有10人转向购买乙牌，有30人仍购买丙牌。这个矩阵就叫某系统状态的转移频数矩阵。用转移频数矩阵的各行和分别除以各对应的频数，就得到转移概率矩阵%30%10%60%10%30%60%30%30%40丙乙甲A定义1：一方阵P（pij)中，如果各行之各元素为非负数，且各行元素总和为1，则此方阵为转移概率矩阵。例4 判断下列矩阵是否是转移概率矩阵？032313161210103121434131313141214332031CBA3.转移概率矩阵的性质和正规转移概率矩阵定理1 如果A和

6、B皆为同阶的转移概率矩阵，则乘积AB亦为转移概率矩阵，当P为转移概率矩阵，m为有限时，pm亦为转移概率矩阵。定义若一转移概率矩阵P的某次方Pm的所有元素皆为正(pij(m)0),则p为一正规转移概率矩阵。例5 转移概率矩阵212110A是一正规转移概率矩阵。因为434121212121102A而单位矩阵E不是正规转移概率矩阵，因为E的任意次方都是单位矩阵，都有0元素，故单位矩阵不是正规转移概率矩阵。定义（固定向量）任一非零行向量U=（u1,u2, ,un)当乘以某方阵A后，若仍然固定为U，则称U为此方阵的固定向量，即有AU=U例6 试证U=（2，-1）为3212A的固定向量。证明：因为UUA)

7、 1, 2(30212) 1, 2(引理：设P为一正规转移概率矩阵，则（1）P恰有一个固定概率向量U，且U的所有元素皆为正。（2）P的各次幂组成的序列P，P2，P3 ，趋于方阵U，而方阵U的每一行均为固定概率向量u;4.状态的多步转移与转移概率矩阵P的乘幂（3）若V为任意一个行概率向量，则向量序列VP，VP2，VP3， ，趋于固定概率向量U前面讨论了某系统S的转移概率矩阵的乘幂，P的乘幂 反映了系统S中状态多步转移的概率变化规律。马尔柯夫链的主要功能就在于计算自i状态开始经R步转移至j状态的概率。例7 设000. 0288. 0712. 0598. 0014. 0388. 0600. 0398

8、. 0002. 0CBAA它满足条件) 3 , 2 , 1(11031ippjijij和其含义为从状态C一步转移到状态A的概率可能性最大，从状态A一步转移到状态C可能性次之。问题是在从P中能否推出状态A经过两步转移成什么状态的可能性最大？又经过两步转移成什么状态的可能性最小？由卡普曼柯尔莫哥洛夫方程（Chapman-Kolmogorov)Pk=Pmpk-m得Pk= Pk例：预测商品在未来期间的市场占有率例8 A、B、C、D、E五种商标的同类新产品在市场上同时销售。据市场调查，199名顾客的购买倾向所显示的转移频数矩阵如下：354638384201049121809613814011541111

9、01251114120EDCBAN各行和除以各行分量得到的转移概率矩阵0%6 .28%4 .11%7 .25%3 .34%1 .390%6 .19%13%3 .28%1 .21%8 .360%9 .28%2 .13%6 .10%9 .28%9 .280%6 .31%9 .11%2 .26%3 .33%6 .280EDCBAP以后经过五个月的情况预测可用五步转移矩阵得之：方阵主对角线表示各种品牌保有原来顾客的概率，以上矩阵，各种品牌保有原来顾客的概率为0，明显地显示了顾客对各种新产品都想试一试的心理。A=0 0.286 0.333 0.262 0.1190.316 0 0.289 0.289 0

10、.1060.132 0.289 0 0.368 0.2110.283 0.130 0.196 0 0.3910.343 0.257 0.114 0.286 0 A5ans = 0.2115 0.1906 0.1910 0.2302 0.1767 0.2129 0.1901 0.1895 0.2320 0.1755 0.2092 0.1939 0.1904 0.2322 0.1744 0.2125 0.1876 0.1932 0.2287 0.1779 0.2097 0.1929 0.1895 0.2329 0.1749 A10ans = 0.2113 0.1908 0.1908 0.2311

11、0.1760 0.2113 0.1908 0.1909 0.2311 0.1760 0.2113 0.1908 0.1909 0.2311 0.1760 0.2112 0.1909 0.1908 0.2311 0.1760 0.2113 0.1908 0.1909 0.2311 0.1760A15ans = 0.2113 0.1908 0.1909 0.2311 0.1760 0.2113 0.1908 0.1909 0.2311 0.1760 0.2113 0.1908 0.1909 0.2311 0.1760 0.2113 0.1908 0.1909 0.2311 0.1760 0.2113 0.1908 0.1909 0.2311 0.1760可见，在十六个月后顾客的购买倾向趋于稳定，A种牌号的市场占有率为21.13%问题：预测顾客流量，选择服务网点假定汽车出租公司在甲乙丙三个国际机场附近设立租车和还车处。经抽样调查，顾客在甲乙丙三处租车、还车的估计概率如下表 P=0.8 0.2 0;0.2 0 0.8;0.2 0.2 0.6P2ans = 0.6800 0.1600