信息论与编码知识点总结

1、知识点总结这个是预习完之后，感觉应该掌握的些知识的总结。总共分成四个部分吧信息量与信源熵 公式背住，然后套公式，冗余度的概念信道和信道容量 概念，互信息的计算，简单信道容量的计算信源编码 概念，定长编码，变长编码，哈夫曼编码（应该是必考），农编码信道编码 挺难的，编码定理得看，纠错编译码的概念看看就，线性分组码必会，循环码，汉明码。卷积码应该不考知识点总结第章的些基本概念看书就完了，如信息、消息、通信模型等。信息量与信源熵背熟！背熟！背熟！因为是知识点总结，所以基本只给出公式，想加深了解可以看课本，当然也可以看看本博客的章先验概率：如，考完试你估算及格的概率是50%，这就是先验概率，你及格的概

2、率。后验概率：如，你估算完之后，你找个最差的同学问，他说他能及格，也就是在你已知他可能及格的条件下你及格的概率，就是后验概率。总结如果做题过程中，题问的是单个符号的信息量，那么我们就以下公式。如果题问的是离散信源的信息量，或者熵，就以下公式。各概念之间的关系补充些概念我们从信息量的传输度来看通信模型信源：发出信息量H(X)信道：信道中损失的信息量H(X|Y)信宿：接收端获得的信息量I(X;Y)H(X|Y)：疑义度，也可以叫损失熵，表由于信道上存在扰和噪声损失掉的平均信息量。H(Y|X)：噪声熵全损信道：扰很，难以从Y中提取X的有效信息，信源发出的所有信息都损失在信道中I(X;Y)=0 如：加密

3、编码损信道：没有扰，接收端能完全收到信源发出的信息。I(X;Y)=H(X)冗余度概念看看书。想要对这的深理解可以看下课本或者看下博客中离散信道的章。信道和信道容量信道的概念请看书记忆。总结定长码：若组码中所有码字的码长相同，则称为定长码变长码：若组码中所有码字的码长各不相同，则称为变长码奇异码：若组码中存在相同的码字，则称为奇异码。奇异码：若组码中所有码字都不相同，则称为奇异码。分组码：将信源符号集中的每个信源符号s映射为个固定的码字Wii唯可译码：任意串有限长的码序列符号只能被唯地译为对应的信源符号序列唯可译码充要条件：编码任意次扩展均为奇异码：码字与信源符号对应 / 码字序列与信源符号序列

4、对应等长奇异码定是唯可译码唯可译码可以分为即时码和即时码即时码：某个唯可译码在接收到个完整的码字时，需参考后续的码符号就能即译码，则为即时码奇异码定不是唯可译码奇异码不定是唯可译码Keaft不等式你可以这个公式去判断它不是即时码（或唯可译码），但是不能作为判断是的依据费诺码(Fano)将信源符号按概率从到的顺序排列将依次排列的信源符号按概率分成两组，使每组概率和 尽可能接近或相等给每组分配位码元0或1(分配式不同导致结果不唯)将每组再按同样的式划分，重复步骤2、3,直概率不再可分，结束。农编码(Shannon)重点将信源符号按概率从到的顺序排列求码长，其实就是信息量向上取整计算第i个符号的累加概率(第i个符号的累加概率是前i-1个符号概率之和)将累加概率P变换为进制数，取数点后l位作为第i个符号的码字（或者利公式P*rli，其中r为码元数，l为对应码长，将结果的iiii整数部分化为进制数)农编码结果唯p是累加概率 p 才是符号概率i霍夫曼码（Huffman）霍夫曼码是紧致码（必须会）就是以前数据结构中学过的哈夫曼树的写法注意：遇到合并后出现相同概率的，将合并后的作为概率。然后就是看题要求是概率路径写0还是写1信道编码（难点）线性分组码（难点重点）差错图样 接收码字减去发送码字（其实就是模2加）所以 模2加之后哪位是1，哪位就出错了