近代信息论第四章

1、近代信息论第四章第1页，共23页，2022年，5月20日，18点47分，星期三主要内容第三节：编码方法与平均错译概率第四节： 汉明距离与编码原则第五节：离散信道编码定理第2页，共23页，2022年，5月20日，18点47分，星期三第三节：编码方法与平均错译概率recall0011输入分布一定,给定信道,可选择最大后验概率准则使得误码率最小0.990.99译码准则： F(0)=0; F(1)=1Pe=0.01 仅靠译码规则，一般Pe不能满足要求一般通信要求solutionPe与信道及译码准则有关，译码准则潜力已挖尽，考虑通过编码来改变信道特性。第3页，共23页，2022年，5月20日，18点47

2、分，星期三例：对于X:0 1 二元信源 ,编码：1111 0000 00110.990.99设等概输入，采用最大似然准则，即挑选每列中最大者来译码。译码规则：使：结论：可通过编码来改变信道特征，使得最小误码率减小back第4页，共23页，2022年，5月20日，18点47分，星期三第四节： 汉明距离与编码原则例：显然，相当于对应位异或后求和第5页，共23页，2022年，5月20日，18点47分，星期三汉明距离与最大似然准则的关系0011正确传递的概率错误传递的概率第6页，共23页，2022年，5月20日，18点47分，星期三另一方面依据最大似然准则，汉明距离最大似然准则可表示为0p0.5第7页

3、，共23页，2022年，5月20日，18点47分，星期三最大似然准则可表示为：当即：汉明距离与最大似然准则的关系时，有计算该准则下的误码率：or第8页，共23页，2022年，5月20日，18点47分，星期三编码原则在M个消息，码长N不变的前提下，在 个可能码符号序列中，选M个作为码字，不同的选法，有不同的 ，即不同的最小误码率。问题：如何选码，使得最小误码率最小。第9页，共23页，2022年，5月20日，18点47分，星期三在 个可用码符号序列中，选择M个码字，使得这M个码字中任两个不同码字间的距离尽量大。编码原则即：例：back第10页，共23页，2022年，5月20日，18点47分，星期三

4、第五节：离散信道编码定理Shannon第二定理定理表述：证明设某信道有r个输入符号，s个输出符号，信道容量C，当信道的信息传输率（码率）RC时，只要码长N足够长，总可在输入的集合中（含有 个长为N的码符号序列）找到 个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则，使信道输出的平均误码率Pemin达到任意小。第11页，共23页，2022年，5月20日，18点47分，星期三证明设单符号错误概率p(1|0)=p(0|1)=p(1)(2)示意图第12页，共23页，2022年，5月20日，18点47分，星期三示意图第13页，共23页，2022年，5月20日，18点47分，星期三译码方法

5、出错的原因于是， 第14页，共23页，2022年，5月20日，18点47分，星期三(3)由概率论及大数定理可递推法证明因此：第15页，共23页，2022年，5月20日，18点47分，星期三(4)随机编码例：N=2, M=2,如果按随机编码，Pe需对所有 种码取平均，方可得平均Pe第16页，共23页，2022年，5月20日，18点47分，星期三其中：(5)其中：第17页，共23页，2022年，5月20日，18点47分，星期三(6)二进对称信道：C=1-H(P)第18页，共23页，2022年，5月20日，18点47分，星期三(7)第19页，共23页，2022年，5月20日，18点47分，星期三(8)这时，以上为Shannon Theorem 2 的证明思路第20页，共23页，2022年，5月20日，18点47分，星期三离散信道编码逆定理设某信道有r个输入符号，s个输出符号，信道容量C，若选用码字个数 则，无论N多大，也不可能找到一种编码，使得平均误码率Pemin达到任意小。证明：反证法第21页，共23页，2022年，5月20日，18点47分，星期三(2)代