信息论编码 田宝玉chapter7

1、第7章有噪声信道编码。本章的主要内容如下：1 .概述2 .最佳决定和解码准则3。信道编码和最佳解码4。Fano不等式5。噪声信道编码定理6。纠错编码技术简介7。信道编码性能限制、7.1概述、信道编码(提高传输可靠性)信道解码：根据与编码器相同的数学规则从接收序列中删除重复符号并恢复源消息序列。一般来说，重复符号越多，纠错能力越强，但传输效率越低。因此，在信道编码中，传输效率和可靠性的矛盾很明显。本节主要内容：1。通道编码的基本概念2。决定和解码规则3。解码错误概率、7.1.1通道编码的基本概念、简化的通信系统模型图7.1.1中所示。图7.1.1通信系统模型图简化、源输出或信道编码器的输入消息集

2、是U，信道编码器是分组编码，输出代码字符是从符号集获取的子集。代码通过离散无内存通道发送。通道输出或解码器的输入为。其中每个符号都来自一组符号。解码器输出是恢复的消息，其集显示为V。、(1)讯息产生(2)色版编码：编码器将讯息对映至程式码单字，编码函数F: 1，2，MC=，(3)信道传输：N维矢量、代码字符集C、N次扩展信道的输入、N维矢量、信道输出(4)信道解码：解码器根据接收到的完成解码功能翻译函数。对于、离散通道，离散源的符号通过通道编码器长度为N其中H(X)是源的熵。在与源符号相同的概率下，(M，N)代码信息传输速率R为(7 .1.2)、对于时间连续信道，信息传输速率表示在单位时间内传

3、送的信息量。即，信息传输速率为比特(或内特)/幻灯片4，7.1.2判决和解码指令，对于图7.1.1中所示的模型，单个符号确定规则为(7.1.3)。(7.1.3)这意味着接收时被判定为发射器号。因此，每个通道输出必须有对应的通道输入。因此，判决规则是唯一结果的函数。7.1.3)表达式可以简单地说是“判决函数”。(。如果将频道的转移概率设置如下，在接受的条件下实际发送的话，判决正确，反之会发生错误。、条件错误率、解决方案(1)平均错误率：(2)平均错误率：很明显，当时；否则。此示例说明错误率与确定函数的选择相关。幻灯片4，7.1.3解码错误概率，如上所述，解码是通过接收序列恢复消息序列。恢复的消息

4、序列与发送序列不同时，称为解码错误。一般有两种错误概率的说明：错误率和错误率。比特率是传输代码元素错误的概率(也称为二进制比特率)。错别率是指符号者错误概率。本章研究的错误率就是错别率。与单个符号判断一样，条件错误率为(7.1.7)，平均错误率为(7.1.8)，如果出现、代码字错误，则多个位的传输可能是正确的。因此，对于相同的通信系统，错误率总是低于错误率。错误概率的大小首先与编码器的纠错性能相关，其次与代码规则选择和接收信噪比大小相关。应选择纠错性能好的编码和性能好的解码算法，以最小化平均错误概率。幻灯片2，本节主要内容：1。最大后验概率基准2。应使用最大相似标准、7.2最佳判决和解码标准、

5、7.2.1最大后概率标准、有效信道编码以外的适当解码准则以提高传输可靠性。本节介绍了最大后概率(MAP)准则和最大相似(ML)准则。(7.1.6)根据表达式，平均准确度可以这样记录。要最大限度地提高判决准确度或最小化判决错误率，必须为每个输出Y选择相应的事后检查概率最大的X。也就是说，在满足所有I的，(7.2.1)的情况下，选择决定函数时，此准则称为最大后概率(MAP，Maximum a Posteriori)准则，可以缩写为MAP准则。如果所有I的(7.2.3)样式为，选择确定函数为g(y)=a*。在这里，牛刀比，(7.2.3)式表示牛刀比检查。注：(1)地图准则是将平均错误率降至最低的准则

6、。(2)指导标准可以归结为似然比测试。示例7.2.1信道输入X等概率值1，-1，通过加值高斯信道发送，加值噪声Z平均为零，方差为零的高斯随机变量，信道输出Y=X Z，接收器根据MAP基准接收并确定决定函数。解决方案后概率密度为、当；当。当时，有；有时，有；因此，判决函数在输入7.2，(2)符号等时，最大似然标准等于最大后概率标准。示例7.2.1(续)接收器作为ML准则接收，以确定判决函数。解析似然函数可以获得与MAP相同的结果，以创建类似于MAP判决的情况。这是由于输入通道等的概率而预期的。但是，MAP和ML决定函数和平均错误率通常在通道输入概率不相等时不同，MAP标准是将平均错误率降至最低。

7、在给定、信道输入概率和传输概率矩阵的情况下，对于这两个准则，可以总结如下：MAP准则将传输概率矩阵的每一行乘以p(x)，得到组合概率矩阵。对于每个列(相当于Y固定)，查找与最大概率对应的X作为确定结果。所有判决结果对应的联合概率之和是正确的概率，其他矩阵元素之和是错误的概率。ML准则为传输概率矩阵中的每列选择与最大因素之一对应的X作为确定结果。所有频道输出和相应判决结果的联合概率之和是平均准确度，其他联合概率之和是平均错误率。幻灯片2，本节主要内容：1。线性群组码2。序列最大相似解码3。有几种类型的简单组码、7.3通道编码和最佳解码、7.3.1线性组码和通道编码。其中最重要的类是线性组码，重复

8、符号。本节讨论了使用简单线性组码的最优解码实现传输可靠性的方法。二进制(n，k)线性组码具有k个信息位，n-k个检查位，根据特定的数学关系构造总长度为n的代码词。比特率为k/n。线性组码中的数据位是信息位的线性组合。如果代码单词开头或结尾的K位是信息位，则称为系统代码；否则称为郑智薰系统代码。(n，k)线性组码具有代码字数。示例7。3.1查找二进制(N，K)线性组码的信息传输速率。解密(位/符号)(7.3.1) R=k/n通常称为比特率或编码效率。1。设定一个距离，两个二元码字。其中全部取自符号0，1，定义它们的一个距离为(7.3.2)。其中模块2加运算。例如，代码单词和代码单词的汉明距离为6

9、。，辅助清理7.3.1 x，y，z是长度为n的二进制矢量时，(1)d(x，y) 0(非负)(2) d (x，z)；用于表示。(N，K)线性组码的最小距离由(7.3.3)定义。其中表示代码单词之间的一个距离。，范例7 .3.2线性组码C=00000，01010，10101，1111获取该组码的最小距离。解释=W (01010)=2 7.3，为所有K选择了满足(7.3.5)时，将解码函数称为序列的最大相似解码指令。其中表示与代码单词相对应的消息。传输概率称为似然函数。可以缩写为ML解码。(7.3.6)与单个符号情况一样，在消息等几乎不知道概率或概率的情况下，使用最大似然解码指令。，这种解码方法称为

10、至少一人距离准则。对于没有定理7.3.1记忆的二进制对称信道(误差概率1/2)，最大似然译码标准与最小汉明距离标准相同。，根据二进制对称通道的特性，包括：，首先介绍错误向量的概念。将与代码单词长度相同的矢量E设置为错误矢量。每个分量的值为0或1，发送和接收矢量分别设置为x和y。然后，接收向量可以表示为y=x e。如果e的组件为1，则表示代码单词的位错误；如果为0，则表示代码单词的位传输正确。清理7.3.2最小距离为D的二进制组码为d 2t 1 (7.3.9)，示例7。3.3线性组码C=00000，1111，是求该代码最小距离的必要条件。这个组码可以纠正几个错误吗？解决方案=w(1111)=5 5=2 2 1，可以更正两个错误。7.3，7.3.3几个简单的组码，1 .重复代码重复代码是最简单的组码之一，只有一个信息位，n-1奇偶校验位(信息位的简单重复)，比