信息论基础联合信源信道编码定理

信息论基础联合信源信道编码定理1第一页，共四十六页，编辑于2023年，星期二4.5联合信源—信道编码定理

定理的提出联合信源—信道编码定理两步编码与一步编码2第二页，共四十六页，编辑于2023年，星期二定理的提出

通信的实质是信息的传输！3第三页，共四十六页，编辑于2023年，星期二将信源信息通过信道传送给信宿．怎样才能既做到尽可能不失真而又快速呢?定理的提出需要解决两个问题：在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率；

在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大.4第四页，共四十六页，编辑于2023年，星期二香农第一定理：要进行无失真数据压缩，必须R′>H；定理的提出5第五页，共四十六页，编辑于2023年，星期二香农第二定理：要在信道中可靠地传输数据，必须C>R；定理的提出6第六页，共四十六页，编辑于2023年，星期二香农第一定理：要进行无失真数据压缩，必须R′>H；香农第二定理：要在信道中可靠地传输数据，必须C>R；问题：若信源通过信道传输，要做到有效且可靠地传输，是否必须有C>H?定理的提出两步编码7第七页，共四十六页，编辑于2023年，星期二定理的提出一步编码方案！8第八页，共四十六页，编辑于2023年，星期二4.5联合信源—信道编码定理

定理的提出联合信源—信道编码定理两步编码与一步编码9第九页，共四十六页，编辑于2023年，星期二联合信源—信道编码定理设U1、U2、…是取值于有限字母表Ц的无记忆信源，有熵率H(Ц);[Ҳ,Q(y|x),Ұ]为无记忆信道，有信道容量C.（a）若H(U)<C，则对任ε>0，存在复(联)合信源—信道码(f,g)使Pe(n)<ε;（b）反之若H(U)>C，则Pe(n)>0.

10第十页，共四十六页，编辑于2023年，星期二证明：弱典型序列的性质联合信源—信道编码定理11第十一页，共四十六页，编辑于2023年，星期二12第十二页，共四十六页，编辑于2023年，星期二熵率的定义

熵、条件熵与互信息的关系

法诺不等式

信道容量的定义13第十三页，共四十六页，编辑于2023年，星期二定理表明使用一步编码方案可以使通信的误差概率任意小.对于同一个通信系统，现在有两种数据处理方案.

说明14第十四页，共四十六页，编辑于2023年，星期二4.5联合信源—信道编码定理

定理的提出联合信源—信道编码定理两步编码与一步编码15第十五页，共四十六页，编辑于2023年，星期二两步编码与一步编码用尽可能少的信道符号来表达信源，以减少编码后的数据的剩余度.16第十六页，共四十六页，编辑于2023年，星期二两步编码与一步编码对信源编码后的数据适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰.

17第十七页，共四十六页，编辑于2023年，星期二两步编码与一步编码思考:

在有噪信道中，当H<C时，用两步编码与一步

编码的处理方法传输信源信息均可使得误差概

率任意小.

对于给定的通信系统进行编码时，应该倾向于

那种编码方案？18第十八页，共四十六页，编辑于2023年，星期二两步编码与一步编码近代大多数通信系统都是数字通信系统.实际数字通信系统中，信道多是共同公用的二元数字信道.将语音、图像等首先数字化，再对数字化的信源进行不同的信源编码↔针对各自信源的不同特点，用最有效的二元码进行数据压缩；19第十九页，共四十六页，编辑于2023年，星期二两步编码与一步编码信道输入端只是一系列二元码↔信道编码只需针对信道特性进行，不用考虑信源的特性；以纠正信道带来的错误，做到有效又可靠地传输信息.大大降低通信系统设计的复杂度！20第二十页，共四十六页，编辑于2023年，星期二两步编码与一步编码经典的无线通信系统是将信源编码和信道编码分别进行的。信源编码主要考虑信源的统计特性，信道编码主要考虑信道的统计特性。

优点是设计简单、通用性好，可以分别形成标准。

缺点是没有充分利用各自的优势，因而不是最佳的。

无线系统的信源编码由于压缩比很高，对差错十分敏感；而信道编码面临十分恶劣的传播环境，但提供的带宽冗余度很小。

在这种背景下，需要将信源编码和信道编码综合考虑。这就是联合编码的基本思路。

在无线多媒体通信中，联合编码是抗衰落的一种十分有效的措施。

21第二十一页，共四十六页，编辑于2023年，星期二两步编码与一步编码国内主要研究方向（以博士毕业论文为例）：《基于Turbo码的联合信源信道编译码方法研究

》——中国科学院研究生院（2008）

《误码环境下的视频信源信道编码理论与技术研究

》《无线信道中的联合信源信道编码研究

》——西安电子科技大学（2006）

《信源信道联合解码算法研究及其在语音传输中的应用

》——东南大学（2005）《无线图像传输中的联合信源信道编码研究

》——上海交通大学（2007）《实现复杂度控制的信源信道联合编码研究

》——华中科技大学（2005）1993年法国教授Berrou、Glavieux和其缅甸籍博士生Thitimajshima在ICC会议提出；全球3G标准：WCDMA、TD-SCDMA和CDMA2000均使用了Turbo码

22第二十二页，共四十六页，编辑于2023年，星期二4.5联合信源—信道编码定理

定理的提出联合信源—信道编码定理两步编码与一步编码23第二十三页，共四十六页，编辑于2023年，星期二展望提高信息传输的可靠性和有效性，始终是通信工作所追求的目标；近几节课掌握的几个编码定理，已经明确指出在一定条件下总存在简单、有效编、译的“好码”.但是，都没有给出这类好码的编、译方法.24第二十四页，共四十六页，编辑于2023年，星期二4.6线性分组码

基础知识线性分组码的基本概念线性分组码的译码汉明码的编码与译码25第二十五页，共四十六页，编辑于2023年，星期二基础知识线性分组码的基本概念线性分组码的译码汉明码的编码与译码4.6线性分组码26第二十六页，共四十六页，编辑于2023年，星期二4.6线性分组码基础知识抽象代数基础线性代数基础27第二十七页，共四十六页，编辑于2023年，星期二4.6线性分组码基础知识抽象代数基础线性代数基础28第二十八页，共四十六页，编辑于2023年，星期二一、群

定义设G是非空集合，并在G内定义了一种代数运算，若满足：(1)封闭性：对任意a、b∈G，恒有a°b∈G；(2)结合律：对任意a、b∈G，有(a°b)°c=a°(b°c)；(3)存在单位元e：对任意a∈G，有e∈G，使a°e=e°a=a；(4)对任意a∈G，存在有a的逆元a-1∈G，使a°a-1=a-1°a=e则称G构成一个群.

29第二十九页，共四十六页，编辑于2023年，星期二定义中，G的运算“°”可以是通常的乘法或加法：若为乘法，则单位元记为1；若为加法，则单位元记为0；a的逆元记为-a.群中元素的个数，称为群的阶：若群中元素个数有限，称为有限群；否则，称无限群.若G的运算“°”满足交换律，称G为Abel群.30第三十页，共四十六页，编辑于2023年，星期二例G1：整数全体，按通常加法构成群，这是一个无限群.

例G2：二元集{0,1}，对其上定义的模2加法,构成一个群.

31第三十一页，共四十六页，编辑于2023年，星期二二、域域在编码理论中起着关键作用；域是定义了两种代数运算的系统.

定义非空元素集合F，若在F中定义了加和乘两种运算，且满足下述公理：32第三十二页，共四十六页，编辑于2023年，星期二(1)F关于加法构成阿贝尔群，其加法单位元记为0；(2)F中非零元素全体对乘法构成阿贝尔群.

其乘法单位元记为1；(3)

满足分配律：a(b+c)=ab+ac(b+c)a=ba+ca则称F是一个域.33第三十三页，共四十六页，编辑于2023年，星期二例F1

实数全体对加法、乘法构成域，称为实数域.例F20、1两个元素按模2加和模2乘构成域.该域中只有两个元素，记为GF(2).有限域34第三十四页，共四十六页，编辑于2023年，星期二4.6线性分组码基础知识抽象代数基础线性代数基础35第三十五页，共四十六页，编辑于2023年，星期二一、线性空间定义如果域F上的n重元素集合V满足下述条件时：(1)V关于加法构成阿贝尔群；(2)对V中任何元素v和F中任何元素c，cv∈V.称V中元素v为矢量(向量)，F中元素c为纯量或标量，称乘c运算为数乘；36第三十六页，共四十六页，编辑于2023年，星期二(3)分配律成立，对任何u，v∈V，c，d∈F恒有：

c(u+v)=cu+cv

(c+d)v=cv+dv(4)若c，d∈F

，v∈V，有：

(cd)v=c(dv)，1·v=v，1∈F则称V是域F上的一个n维线性空间或矢量空间，一般用VFn表示.37第三十七页，共四十六页，编辑于2023年，星期二例L1实数域R上的n重数组全体：{(x1，x2，…，xn)；xi∈R}组成一线性空间VRn.例L2GF(2)上的n重数组全体：{xn=(x1，x2，…，xn)；xi∈GF(2)}是一线性空间GF(2)n.n维向量空间38第三十八页，共四十六页，编辑于2023年，星期二定义设x1，x2，…，xk是线性空间V中的一组非全零向量，当且仅当存在有一组不全为零的数c1，c2，…，ck(ci∈F；i=1，2，…，k)使

c1x1+c2x2+…+ckxk=0成立时，则称这组向量线性相关；否则，称这组向量线性无关.39第三十九页，共四十六页，编辑于2023年，星期二

定义线性空间V中的每一向量，如果可以由其中的一组向量集S′中的向量线性组合生成，则说S′生成了