thu15info-chiv part211星期四信息部分

第六限失真数据压第六限失真数据压离散无记忆信§1.1失真度函数和失真矩§率失真函数及其性率失真函数的计§§简单情参数方程法求1§连续无记忆信§连续无记忆信3.1率失真函数的定§§解的充要条差失真度量的计连续有记忆信§§率失真函数的定高斯连续有记忆信源的率失真函25.模拟信5.模拟信§§高斯模拟信源的率失真函限失真信源编码定理（香农第三定理3R(D){I(X;YR(D){I(X;Yaip(bj4 R(Dmin R(Dmin 图RD)XX1X2...X编码器输出为：YXX1X2...X编码器输出为：Y1平均失真：d(xy)d(x,)kkNkRN(D)min{I(X；Y)，E{d(x,y)}Q平均失真：E{d(xyp(x)q(yx)d(xy)1R(D)NRNN5限失真数据限失真数据压 R(D):给定允许失真D,表示一个信源符号可以被压缩R(D)比特D增大,R(D)减小,可以进一步提高压缩率离散无记忆信源的二进制限失真压缩X(X1X2...XN Z(Z1Z2...Zk NE[d(xi,yi)]N比特Z1Z2Zk表示k个信源符号X1X2XN的平均失真不大于6数据处理I(X;Y)RN(D)I(X数据处理I(X;Y)RN(D)I(XYI(Z;YH(Zk压缩后每个信源符号1RR(D)NNN例H(Y)log2KK1log(K1)R(1)log(2K)1log(2K1)227)XX1X2...XXX1X2...XY(Xi取值集合可以不同Nd(x,y)d(xk,ykk在相同s8 R(D(s))R(Dk D(s)Dkk k矢量量矢量量Rk到一包含N个输出（重构）C的映射，即QRk其中Cy1y2yNyRki1,2,...,N}。集合C量，为Rk中的矢量大小为N。码书的N个元素称为码字或码y yj1yj2...y矢量量91980年矢量量化器设计算法LBG量化过:11:4Q:y241980年矢量量化器设计算法LBG量化过:11:4Q:y24:kR33:5:NN胞腔：Rix:Q(x)yiRiiRk,RiRj,i 2N[R(D)]，这样码率RlogR(DR(D),而此时的平均失真DDN意义：存在信源编码（编码器），其平均失真D有限的失真测度。则对任意D0,0,0,以及任意足够长的码长N,一定存在一种信源编码C其码字的个数：MeN[R(D)],而编码后的平均失真DD 失真联合设XY空间的联合概率分布为 失真联合设XY空间的联合概率分布为p(xy)，其函数为d(x,y)。若对任意0有N长序列对（x,满1logp(x)H(X)N1logp(y)H(Y)N1logp(xy)H(XY)Nd(x,y)E[d(x,y)]1logp(xy)H(XY)Nd(x,y)E[d(x,y)]则称（xy）为失真联合典型序列（失真联合典型序列）（d用(XY(XY){(x,y)XY（d( （d定理设序列XX1X2...XNYY1Y定理设序列XX1X2...XNYY1Y2...YN,N（dP((x,y)（d(XY),即满足式(6.1),根据大数定理得1logp(x)依概率收敛于E[logp(xHXN于是对于任意小的正数0,0,limP[1logp(x)H(X)]NN即存在一个N1,当NN1Pr[1logp(x)H(即存在一个N1,当NN1Pr[1logp(x)H(X)]1N同理，存在N2N3N4,当NN2N3N4Pr[1logp(y)H(Y)]1N1logp(xy)H(XY)]1Pr[NPr[d(x,y)E[d(x,y)]]1选择Nmax(N1N2N3N4),(XY))P(证明：由失真联合典型序列的定义(x,y)（d，，证明：由失真联合典型序列的定义(x,y)（d，，XY),可以得到界p(xy)2N[H(XY)]；p(x)2N[H(X)]；p(y)2N[H(Y)2N[H(XY)2N[H(X)]2N[H(Y)q(yx)p(x)p(y)2N[I(X,Y)3则，p(y)q(yx)2NIX,Y)3对所有序列对（x,XY),成p(y)q(yx)2N[I(X,Y)3定理引理证明：设函数fy引理证明：设函数fyey1y,f(0此函数的一阶导数为fy)－ey＋10,当y所以，对于y0，fy)0,1yey,0y(1y)neny,0yeynyn(1xy)ng(x)(1x)g(0)xg (1x)1x(1y)n1xxeyn1xe对于0xy1,n0成立不等式(1xy)n1xeyn第三定理证明(二进制)：设信源序列XX1X第三定理证明(二进制)：设信源序列XX1X2...XN是独立同分布的随机序列，Xn的分布为p(x)d(x,y),率失真函数为设I(q(yx))需证明，对于任意RR(D)时，存在一种编码方式，使信源的信息传输率为R,平均失真DDN在Y空间中，按输出的概率分布p(y)pyn选取M2NR个随机序列作为码字。这M书C，用书C，用[1,2,...,2NR]作为M个码字的标号。将此码书呈现20将X空间中的所30在译码器的输出端再现序列y()若码书中存在一个标号为的码字，[1,2,...,2NR使(x,y(G(dXY),则x编码为对应的码字若码书中存在几个标号为的码字，[1,2,...,2NR]，使(x,y())G(d)(XY),则将x编码为一个最小的标号对应的码字若对于信源序列x,不存在一个，使x与y()构成失真联合典型序列，则将x编码为1对应的码字。40：平均将失真函数40：平均将失真函数对所有可能随机选取的码书统计平均D(C)E[d(x,对于某一固定的码书C和0,(1)所有x:在码书C中存在，使(x,y())G(dXY则d(x,y())D所以这些失真典型序列对的贡献最多为D中不))(dx:在码书(x,(XY，中不))(dx:在码书(x,(XY，(dXY)。设所有这些序概率为Pe,则这些信源序列对D(C)的贡献最多为D(C)DPeDmaxDmax)J(C){x(x,(d(XY则Pe是由信源序列xJ(C)引起的，于Pex:xJ(CC所有不能用码字来描述的信源序列的概率对所有不能用码字来描述的信源序列的概率对所可能产生的随机码书进行统计平Pep(x)C:xJ(Cx定义函(x,y)G(d)(XYK(x,y) (x,y)G(d)(XY0p{y:(x,y)G(d)p{y:(x,y)G(d)(XY)}p{y:K(x,y)1p(y)K(x,yp{y:(x,y)G(d)(XY)}YN中随机选取的码字不与信列x构成失真联合典型序列的概率p(C)[1p(y)K(x,C:xJ(CyPp(x)[1p(y)K(x,exyPp(x)[1p(y)K(x,ePp(x)[1p(y)K(x,exy由定理p(y)K(x,y)q(yx)2N[I(X;Y)3]K(x,yyxy2N[I(X;Y)3Pq(yx)2K(x,e[12N[I(X;Y)3]q(yx)K(x,y)]2NRy1q(yx)K(x,y)e2N[I(X;Y)3]yP1p(x)q(yx)K(x,y)e2N[RI(X;Y)3得e 选择试R(D)选择IX;Y)信道选择试R(D)选择IX;Y)信道p,充分小时，e2NRRD)3则当而(XY)}p(xy)K(x,y)p{(x,y)(dGxy则对任意0,当N,充分小时D(C)D所以，至少存在一种码书C，其码字的2N[R(D)为],而码的平均失D(C)D证明：NRH(YH(YH(YXI(XN证明：NRH(YH(YH(YXI(XNH(Xn)H(XNNNH(Xn)H(XnYn)I(Xn;YnNNNNNR(D)R(D)Dnnn对与任何平均失真小于D的率失真码（2NR,必有RR(D)对理论对理论的实质的理,Q qjexp(sd)，i1,2,...,K,j1,2,..., KKipiexp(sdij)1,(i1,2,...,K),当qj 0(类似于(类似于信道容量解的充要条件定理，应用Kuhn-Tucker定理其中 qjexp(sdijj 此时有：Dpqjexp(sd jKR(Ds)pilogiKs{(1,2,...,K):iKs{(1,2,...,K):ipiexp(sdij)对s0,s试验信道QK I(P,Q)sDlogiI(P,Q)sDlog j I(P,Q)slogpiqij j j qpq j KR(D) ＝(1,2,...,K) 基本不等pq[1ij q j 基本不等pq[1ij q j J1q1piqj) jjK得，I(PQ)sDpilogKR(D)sDpilogKmax{sDlogR(D)piKR(D)max{sDplogiiKR(D)sD由解的充要条件定理和sKR(D)sD由解的充要条件定理和s0,logKmax{sDplogR(D)即iiKR(D)max{sDplogiiQ×Q11)Q2,Q×D回 p exp(sdDjs j回 p exp(sdDjs jKR(Ds)pilogiR(D){I(X;Yq(y计算对于离散无记忆信源具有对称性，有解析参数方程迭代算KR(D) {pilogi＝(1,2,...,K K其 s{(1,2,...,K):i0，ipiexp(sdij)R(D)minI(X;YDR(D) {I(X;Yp(bjaiR[Dmin,Dmax 连续无记忆信 率失真函数的定(1)基本概连续无记忆信 率失真函数的定(1)基本概设连续无记忆信源,取值于整个实数域连续随机变量Y,取值于整个实数域。可定义X与Y实数dxy)为失真函数。其转移概率密度函数为qyx)I(X;Y)h(Y)X信道的互信息为确定一允许失真D满足DDBD{q(yx):DDE[d(x,y)]p(x)q(yx)d(x,p(x)infd(p(x)infd(x,yp(x)d(x,yR(D)[Dmin,DmaxR(D) {I(X;Yq(y d(x,y)(x d(x,y)xx d(x,y)x x d(x,y) x为D允许信道的充分必要条件是存在一个输出密度函数pyq为D允许信道的充分必要条件是存在一个输出密度函数pyq(yx)(x)p(y)exp(sd(x,(x)p(x)exp[sd(x,y)]dx(x)p(x)exp[sd(x,y)]dxpy0py0其中(x)p(y)exp(sd(x,对于s0,R(D)和D参数s表示为Ds(x)p(x)p(y)exp[sd(x,y)]d(x,R(Ds)sDsp(x)log(x)dx定理差失真度量定理差失真度量：dxy)x(如xy)xy)2或xy)xy由定理4，取xpxK(s)为与x无关为s的函数R(D) sup{sD p(x)log (s{(x):(x)p(x)exp[sd(x,y)1dx由于xs,即－K(s由于xs,即－K(sexp[sxK(s)－exp[s(xy)]dx令xydxy)xy)(s则得－exp[s()]d选择K(s)exp[s)]dexp[s()]d取K(s)K由定理4，R(DsD－pxlogKp(sDp(x)sDh(X)－sDh(X)－p(x)logKsDh(X)logKsDh(X)log－exp[s(定义RL(DssDhXlog－exp[s(为R(D)的下RL(Ds)关于s的一阶导数为RL(D,s)D－exp[s()](＋(D－gs()(() exp[s( ,显然＋g()d() exp[s( ,显然＋g()d其中ss－exp[s(则gs()是以s为参量的随机变量RL(Ds)对s的二阶导的概率密度函数()2()d()()dR(D,s)ggLssE[2()]E2[()]E[()E[()]]2则RL(Ds)是关于s的上凸函数，在满足RL(Ds的s点上达到极大值由R(Ds0得，gs()()dLR(D)supRL(D,R(D)supRL(D,s－gs()()dh(X)logexp[s(h(X)－[s()logexp[s()]d]gs(()logexp[s()]]g(＋gs(sh(X)－gs()loggs()dh(X)h(gs(gs( {g(gs( {g())g(D,g()}Dexp[s(h(gs())h(g(g(（使下界更小R(D)h(X)maxh(g(g((1959年h(X)maxh(g(g((x)1p(y)exp(sd(x, K(x)1p(y)exp(sd(x, K(x)p(x)Kp(y)exp(sd(x,p(y)K(s)exp(s(1K(s)exp(s( exp(s( dyp(x)p(y)gs(xp(exp(s(即对于给定的p(x)和s0，若存在满足上式的输出概率p(由定理4，就有R(DRLp(xpy)gs(xp(xpy)gs(xy)dy，p(x)是p(y)和gs(z)的卷积，p(x)p(y)gs(z)p(x已知，当()确定后，gs()也可以确定,py)设Px(Py(),Gs()分别为p(x)、py)和得Px(Py(Gs(x)的特征函数1)exp(y)dp(Py2P()Px Gs (x)p(x)p(y)exp[sd(x,y)]d(x, (x)p(x)p(y)exp[sd(x,y)]d(x,(x)p(x)exp[sd(x,y)][p(y)d(x,(p(y)(K(s)()]K(s)p(g(s则R(Ds)sDsp(x)log(x)dx求得py)和(x)后可以确定qyxqyx)py(xexp[sd(x,y)],即试验信道可例exp(s求得py)和(x)后可以确定qyxqyx)py(xexp[sd(x,y)],即试验信道可例exp(sssgs()exp(s)exp(s则2exp(s1ss1exp(s)dDs2s下面求gs()的Fourier变 (x设高斯信源X：p(x) 2 2设d(xyxysgG()()exp(j)djss2P(sgG()()exp(j)djss2P(得Py(Px(),求其Fourier反变换xG(sD2(y(y12[1 ]24则当y足够大时y)会变为负值只能求R(D)的下界值(D),R(D)RL(D)h(X)h(gs(1log2e2log2s1log2e2121log2e2log2s1log2e2122s2g()exp(s2则s2 (x设高斯信源X：p(x) 2 2设d(x,y)(xy)21()2dDgss21gs() 2(1))g()是的概率密度1()2dDgss21gs() 2(1))g()是的概率密度，而是一个均值为零，方差为s的高斯随机变量()exp(j)dexp(1D2gG()ss21P() D)P22是正态分G(yxsP()exp(1N(m,2jmx21) D)22Py1) D)22Py21(y2(2p(y)]2(2则D),y,p(y)2R(D)RL(D)h(X)h(gs( 2 log2 log2 差方失真下的率失真函数的设d(xyxy)2s2gs(差方失真下的率失真函数的设d(xyxy)2s2gs()exp(s2则exp(s211D()gs()d2s,gs()2Dexp(2D下界为hXh(g(hX1log(2eD1logPes22D1Pexp(2h(XeR(D)1log(Pe 定理5设一连续非正态分布信源X,方差为定理5设一连续非正态分布信源X,方差为2,微分熵为h(X失真函数定义为dxyxy)2,则其信息率失真函数满足h(X)1log2eDR(D)1log 证明上界设加性噪声高斯试验信道YKXN证明上界设加性噪声高斯试验信道YKXN其中X,N均值为exp((y1YK(XN),q(yx))2K2n2K22n2 N(2nDE[(xy)2]E[(K(xn)x)2]E[((K1)xKn)2(K1)2E[xDE[(xy)2]E[(K(xn)x)2]E[((K1)xKn)2(K1)2E[