北工大信息论第六章有噪信道编码14

1、4/1p4/ 1p4/3p4/3p0011信源信源（信源编码，信道编码）（信源编码，信道编码）译码译码（信源译码，信道译码）（信源译码，信道译码）信道信道信宿信宿sjAabFjj,.,2 , 1,*)( 注意注意: : 译码规则是人为定的译码规则是人为定的, ,对于同一个信道可有多个对于同一个信道可有多个不同的译码规则不同的译码规则0.80.20.10.9a1a2b1b2对于二元信道就可制定若干不同译码规则，如对于二元信道就可制定若干不同译码规则，如图所示图所示。1242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（：“

2、好好”的译码规则的标准是的译码规则的标准是：译码正确译码正确-如果接收到如果接收到bj，按，按 译成译成aj* ， 而输入的刚好是而输入的刚好是aj*()*jjF baAbj的译码正确概率为：的译码正确概率为： | )()|(*jjjjbbFPbYaXPbj的译码错误概率为：的译码错误概率为：| )(1| )()b|(jjjjjbbFPbYbFXPeP 译码错误概率的统计平均称为译码错误概率的统计平均称为记为记为PesjjjjsjjjebbFPbPbePbPP11| )(1)()|()(Pe 使使PePe式式1()1() |sejjjjPP bP F bb*) (|)eijijiYX aYX

3、aPP abP a P b a（当输入等概当输入等概: : raPbFPjj/1)(*1(|)ejiYX aPP bar上式可化为：上式可化为：11() () |sjjjjP bP F bb*111()1()ssjjjjjjP b F bP b a 参见下图，假设参见下图，假设P(a1)=0.4, ,分别求出分别求出4 4种译码规种译码规则所对应的平均差错率。则所对应的平均差错率。 0.80.20.10.9a1a2b1b21242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（： 9 . 01 . 02 . 08 . 06

4、 . 04 . 0|XYXPP 54.006.008.032.0XYP6.0)08.032.0(1)()(1),(1)(2111111baPbaPbbFPFPsjjje 11( ) ( |)( )1 ( )|ssejjjjjjjPP b P e bP bP F bb要减小要减小 ，必须减小各个接收符号的译码，必须减小各个接收符号的译码错误概率，或者增大各个接收符号的译码正确概错误概率，或者增大各个接收符号的译码正确概率。率。( | )jPe b ( )|jjP F bbAabaPbaPBbAabFFijijjjjj, )|()|()(*，：)()()|()()|()()|()|(*jijjji

5、jjjjjijjbaPbaPbaPbPbaPbPbaPbaPAabaPbaPBbAabFFijijjjjj, )()()(*，： 0.80.20.10.9a1a2b1b254.006.008.032.02121bbaaPXY2211)()(:abFabFF 14. 0)54. 032. 0(1)(11sjjjebbFPPAaabPabPBbAabFFiijjjjjj, )|()|()(*，：4 .03 .03 .05 .03 .02 .02 .03 .05 .0|XYP解：按转移概率最大原则确定极大似然译码规则如下：解：按转移概率最大原则确定极大似然译码规则如下： ),(,)()()(:322

6、31211aaabFabFabFF)|()|(*ijjjabPabP如果输入等概，则如果输入等概，则 )()(*ijaPaP)()()|()()|()(*jijjijijjjbaPbaPabPaPabPaP DMCXa1,a2Yb1,b2a1=0a2=1b1=0b2=11-p1-pp=0.01p=0.01DMSUu1,u25 . 05 . 01021uuPUU为：为：H H（U U）=logM=1=logM=1比特比特/ /符号符号：C=log2-H(0.99,0.01)=0.92C=log2-H(0.99,0.01)=0.92比特比特/ /符号符号99.001.001.099.02121|b

7、baaPXY信源与信道之间不加信道编码，则由于信道输入等概分布，则信源与信道之间不加信道编码，则由于信道输入等概分布，则极大似然译码规则就是最佳译码规则，根据信道转移矩阵极大似然译码规则就是最佳译码规则，根据信道转移矩阵确定极大似然译码规则为：确定极大似然译码规则为：2211)()(:abFabFF平均差错率为：平均差错率为：01. 02/ )01. 001. 0()|(1 )(|11*,1aXYijsjjjeabPrbFbPrP对信源符号进行对信源符号进行“重复重复2 2次次”编码编码: :,21uuU,.,8213X,.,8213Y,813X33|XYP111000111110101100

8、0110100010001111110101100011010001000081876543218276543211Fffuu11110000：fppppppppppppppppppppppppppppppPXY132222223322222238765432181|33，8887868415131211(）FFFFFFFF即：即： 1111111101010110001000100010008876415321FF42381103)62(211 )(|11pppFPrPiiie：信道编码信道编码平均错误率平均错误率 结论结论：码元比特/3/1/ )(NUHR 码元比特/1/ )(NUHR11

9、1,110,101,100011,010,001,00087654321 11011100100100100000:75311fppppppppppppppppppppppppppppppppppppppppppppppppppppppppppPXY123222232222332222232232232222223876543217531|33，7877565534331211(）FFFFFFFF 223811099. 1)44(411 )(|11pppFPMPiiie 两个等长符号序列两个等长符号序列x和和y之间的汉明距离，记为之间的汉明距离，记为D(x,y)，是是x与与y之间对应位置上不同

10、符号的个数。之间对应位置上不同符号的个数。 求汉明距离：求汉明距离：D(x,z)=z)=2;D(y,z)=3因此，因此，z与与x的相似程度的相似程度与与y的相似程度的相似程度 x=100111,=100111,y=111000,=111000,z=111111,=111111,比较比较z与与x和和y的相的相似程度。似程度。和”运算符。表示为“模式中为：之间的汉明距离可表示与则2),(1 , 0,.1 , 0,.12121NkkkkNkNyxYXDYXyyyyYxxxxX,.,21qcccC CccccccDjijiji,),(CccccccDdjijiji,),(minmin ,.,21Mss

11、s,.,.,221221NNNNBA个消息长二进制码字传送用次扩展信道MNccccccsssMFNMfMN,.,.,.,.,212212121NiijjjNjjjACccPcPBCcFF, )|()|()(*，：NNjjjjiiiibbbaaac. .2121)|().|()|().|.()|(22112121NNNNijijijiiijjjijabpabpabpaaabbbpcp码元错误概率为码元错误概率为p，正确概率为，正确概率为 pp1则有：则有：),(),(),()1()1 ()|(jijijicDNcDNcDijpppppcP极大似然译码规则极大似然译码规则为最小汉明距离译码规则为最

12、小汉明距离译码规则NijjjjNjjjACccDcDBCcFF,),(min),()(*，： 最小距离译码规则可在一般信道中采用，但不一定与极最小距离译码规则可在一般信道中采用，但不一定与极大似然译码规则等价，只有大似然译码规则等价，只有对于二元对称信道，它对于二元对称信道，它才与极大似然译码规则等价才与极大似然译码规则等价，并且当并且当输入等概输入等概时是最佳的时是最佳的。 对于二元对称信道，若对于二元对称信道，若输入等概输入等概，无论用什么规则确定，无论用什么规则确定译码函数，与之对应的平均差错率都可用译码函数，与之对应的平均差错率都可用汉明距离汉明距离表示：表示： jcDNcDjjjej

13、jjjppMcPMP),(),(*11 |11若信道是离散、无记忆、平稳的，且信道容量为若信道是离散、无记忆、平稳的，且信道容量为C C，只要待传，只要待传送的信息率送的信息率RCRCRC，就一定找不到一种信道编码方法，使得码长足，就一定找不到一种信道编码方法，使得码长足够大时，平均差错率任意接近于零。够大时，平均差错率任意接近于零。 信道编码定理告诉我们：信道编码定理告诉我们：RCRCRC时，无论如何编码，都不时，无论如何编码，都不可能使平均差错绿逼近零。因此，信道容量可能使平均差错绿逼近零。因此，信道容量C C是确保可靠性传是确保可靠性传输的信息传输率的上限。输的信息传输率的上限。 CC

14、54321cccccc21,cc543,ccc21514213 cccccccc 01001101001001110 005432152114321ccccccccccccc100110100100111H00TTCHHC或 I)()(knknQkkn )( IQH 100110100100111H215142132211 cccccccccccc),(21ccm1011011101GGmCnkCmGnk G PIG IkkP)(knk 00TTGHHG或GQPPQPQPIIQHGTTTT或0) (101110011100100111001G可知信息位有可知信息位有3 3位，则线性分组码为位，

15、则线性分组码为（7，3）分组码，生成矩阵生成的码字为：分组码，生成矩阵生成的码字为：11101001101001101001110011100111010010011100111010000000111110101100011010001000Cm PIG 101111100111PTPQ 110011111101Q1000110010001100101110001101) (IQH，; 1tminddtd个错误的充要条件是一个码能够检测出; 12tmincctd个错误的充要条件是一个码能够纠正1ttdmindccctdtt充要条件是个错误的出个错误，同时又能检测一个码能够纠正1011011101Ge),.,(0121cccccnn),.,(0121yyyyynn),.,(),.,(001122110121cycycycycyeeeeennnnnncyecey。，否则位发生错误时，当码字第01iieei，则进行校验，校验结果为对接收序列用一致性校验矩阵syH，则有错误存在。如果0sTTTeHHecyHs)(eyeycyc 得