信息论与编码关于turbo码的讨论

1、信息论与编码结课论 文班级：通信131姓名：刘伟学号：201300484310摘要信息论与编码研究的是整个通信的最基本的问题，可以说信息论是我们专业的大纲，从香农1948年发表通信中的数学原理到现在60余年的时间，信息论对整个行业的发展有着不可替代的指导意义。信息论中最著名的是香农的四大定理（国内一般称三大定理），第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一，比如4G或LTE中广泛用到的MIMO（多输入多输出，或多天线

2、）技术，其理论本质是David Tse提出的该容量与天线数成线性递增的关系（这句话是概述，我凭印象写的）；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题，所以现在做信源编码的可以是一部分人，做信道编码的可以是另一部分人。 这门课是比较难，而且国内对信息论的引进也比较晚，更不用说国内学者对信息论的重视程度（几乎没有在该领域出名的国内的学者），但这门课确实是通信的基础，就像欧几里得的几何原本影响了西方学界近2000年一

3、样，信息论在未来几百年内也必将影响通信的发展。 回到实际，要说这门课和专业哪方面联系得比较紧密的话，我觉得，研究物理层（主要是无线通信）、编码（信道编码或图像视频编码）、密码学有必要仔细研究下信息论，其他比如网络层、搞硬件设计、光纤通信等二级学科的话，学习这门课只要了解这四大（或三大）定理即可。一：信道编码理论1.信道编码目的在数字通信系统中由于信道内存在加性噪声及信道传输特性不理想等容易造成码间串扰同时多用户干扰、多径传播和功率限制等也导致错误译码。为了确保系统的误比特率指标通常采用信道编码。信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码

4、元，使码字具有一定的抗干扰能力。2.信道编码概述由于移动通信存在干扰和衰落，在信号传输过程中将出现差错，故对数字信号必须采用纠、检错技术，即纠、检错编码技术，以增强数据在信道中传输时抵御各种干扰的能力，提高系统的可靠性。对要在信道中传送的数字信号进行的纠、检错编码就是信道编码。通常纠错码分为两大类，即分组码和卷积码。在移动通信系统中另一种纠错方法就是信令重发，解码时先存储再逐位判决，如重发五次，三次或三次以上均为1，则判1。信道编码之所以能够检出和校正接收比特流中的差错，是因为加入一些冗余比特，把几个比特上携带的信息扩散到更多的比特上。为此付出的代价是必须传送比该信息所需要的更多的比特。二.信

5、道编码技术数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些

6、泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000个玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。纠错编码数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错(FEC)编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成(204，188)RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，

7、又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。前向纠错码(FEC)的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统(单向传输系统)都采用这种信道编码方式。三. 纠错码的各种类型纠错码的各种类型RS编码RS码即里德-所罗门码，它是能够纠正多个错误的纠错码，RS码为(204，188，t=8)，其中t是可抗长度字节数，对应的188符号，监督段为16字节(开销字节段)。实际中实施(255，239，t=8)的RS编码

8、，即在204字节(包括同步字节)前添加51个全"0"字节，产生RS码后丢弃前面51个空字节，形成截短的(204，188)RS码。RS的编码效率是:188/204。卷积码卷积码非常适用于纠正随机错误，但是，解码算法本身的特性却是:如果在解码过程中发生错误，解码器可能会导致突发性错误。为此在卷积码的上部采用RS码块，RS码适用于检测和校正那些由解码器产生的突发性错误。所以卷积码和RS码结合在一起可以起到相互补偿的作用。卷积码分为两种:(1)基本卷积码:基本卷积码编码效率为，=1/2,编码效率较低,优点是纠错能力强。(2)收缩卷积码 如果传输信道质量较好，为提高编码效率，可以采样

9、收缩截短卷积码。有编码效率为:=1/2、2/3、3/4、5/6、7/8这几种编码效率的收缩卷积码。编码效率高，一定带宽内可传输的有效比特率增大,但纠错能力越减弱。Turbo码 Turbo 码1993年诞生的Turbo码，单片Turbo码的编码/解码器，运行速率达40Mb/s。该芯片集成了一个32×32交织器，其性能和传统的RS外码和卷积内码的级联一样好。所以Turbo码是一种先进的信道编码技术，由于其不需要进行两次编码，所以其编码效率比传统的RS+卷积码要好。GSM系统中的信道编码GSM系统把20ms语音编码后的数据作为一帧，共260bit，分成50个最重要比特、132个次重要比特和

10、78个不重要比特。在GSM系统中，对话音编码后的数据既进行检错编码又进行纠错编码。如图5所示。首先对50个最重要比特进行循环冗余编码(CRC)，编码后为53bit;再将该53bit与次重要的132bit一起进行约束长度为K=5，编码效率为R=1/2的卷积编码，编码后为2(53+132+4)=378bit;最后再加上最不重要的78bit，形成信道编码后的一帧共456bit。IS-95系统中的信道编码(1)正向链路上的信道编码在IS-95系统中，正向链路上是以不同的沃尔什(Walsh)函数来区分不同的物理信道的。在用沃尔什函数进行直接扩频调制之前，要对话音数据或信令数据进行编码效率R=1/2、约束

11、长度为K=9的信道编码。由于CDMA系统是受自身干扰的系统，各业务信道上的发射功率受到严格的限制。当系统中使用同一频率信道的用户较多时，对每个用户而言，接收信噪比就降低。所以，CDMA系统的话音编码被设计为多速率的。当接收信噪比较高时，采用较高速率的话音编码，以获得较好的接收话音质量;当接收信噪比较低时，就采用较低的话音编码速率。较低速率的话音编码数据经卷积编码后，可进行字符重复。语音编码数据速率越低，卷积编码后字符可重复的次数越多，使得在较差信道上传输的信号获得更多的保护。(2)反向链路上的信道编码IS-95系统中，反向链路上是用不同的长伪随机序列来区分不同的物理信道的。在用长伪随机序列进行

12、直接扩频调制之前，要对语音数据或信令数据进行编码效率R=1/3(速率集1)或R=1/2(速率集2)、约束长度为K=9的信道编码。由于同样的原因，语音编码同样被设计为多速率的。当接收信噪比较低时。可采用较低的话音编码速率、字符重复的方法，提高在信道上传输时的抗干扰性能。交织在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效(如RS只能纠正8个字节的错误)。为了纠正这些成串发生的比特差错及一些突发错误，可以运用交织技术来分散这些误差，使长串的比特差错变成短串差错，从而可以用前向码对其纠错，例如:在DV

13、B-C系统中，RS(204,188)的纠错能力是8个字节，交织深度为12，那么纠可抗长度为8×12=96个字节的突发错误。实现交织和解交织一般使用卷积方式交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错的可抗长度字节。纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。一般来说，对数据进行传输时，在发端先对数据进行FEC编码，然后再进行交积处理。在收端次序和发端相反，先做去交积处理完成误差分散，再FEC解码实现数据纠错。

14、另外，从上图可看出，交积不会增加信道的数据码元。根据信道的情况不同，信道编码方案也有所不同，在DVB-T里由于由于是无线信道且存在多径干扰和其它的干扰，所以信道很"脏"，为此它的信道编码是:RS+外交积+卷积码+内交积。采用了两次交积处理的级联编码，增强其纠错的能力。RS作为外编码，其编码效率是188/204(又称外码率)，卷积码作为内编码，其编码效率有1/2、2/3、3/4、5/6、7/8五种(又称内码率)选择，信道的总编码效率是两种编码效率的级联叠加。设信道带宽8MHZ，符号率为6.8966Ms/S，内码率选2/3，16QAM调制，其总传输率是27.586Mbps,有效

15、传输率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保护间隔的插入所造成的开销，有效码率将更低。在DVB-C里，由于是有线信道，信道比较"干净"，所以它的信道编码是:RS+交积。一般DVB-C的信道物理带宽是8MHZ，在符号率为6.8966Ms/s，调制方式为64QAM的系统，其总传输率是41.379Mbps,由于其编码效率为188/204，所以其有效传输率是41.379*188/204=38.134Mbps。在DVB-S里，由于它是无线信道，所以它的信道编码是:RS+交积+卷积码。也是级联编码。伪随机序列扰码进行基带信号传输的缺点是其频谱会

16、因数据出现连"1"和连"0"而包含大的低频成分，不适应信道的传输特性,也不利于从中提取出时钟信息。解决办法之一是采用扰码技术,使信号受到随机化处理，变为伪随机序列，又称为"数据随机化"和"能量扩散"处理。扰码不但能改善位定时的恢复质量，还可以使信号频谱平滑，使帧同步和自适应同步和自适应时域均衡等系统的性能得到改善。扰码虽然"扰乱"了原有数据的本来规律，但因为是人为的"扰乱"，在接收端很容易去加扰，恢复成原数据流。实现加扰和解码，需要产生伪随机二进制序列(PRBS)再与输入数据

17、逐个比特作运算。PRBS也称为m序列，这种m序列与TS的数据码流进行模2加运算后，数据流中的"1"和"0"的连续游程都很短，且出现的概率基本相同。利用伪随机序列进行扰码也是实现数字信号高保密性传输的重要手段之一。一般将信源产生的二进制数字信息和一个周期很长的伪随即序列模2相加，就可将原信息变成不可理解的另一序列。这种信号在信道中传输自然具有高度保密性。在接收端将接收信号再加上(模2和)同样的伪随机序列，就恢复为原来发送的信息。在DVB-C系统中的CA系统原理就源于此，只不过为了加强系统的保密性，其伪随机序列是不断变化的(10秒变一次)，这个伪随机序列又叫

18、控制字(CW)。现在出现一种新的信道编码方法。LDPC编码。LDPC编码是最接近香农定理的一种编码。 Turbo码的编译码原理及仿真Turbo码的编码原理 Turbo码的编码器的组成Turbo码由2个循环系统卷积码并行级联而成：译码采用迭代的串行译码交织器是Turbo 码所特有的，它可以使得信息序列随机化，增加各码字间的重量，从而提高码的保护能力 。下面就Turbo码编码原理 、交织器的选择和译码原理进行讨论：Turbo码的典型编码器如下图所示，Turbo码编码器主要由分量删余矩阵、交织器、编码器以及复接器组成。分量码一般选择为递归系统卷积(RSC，Recursive Systematic c

19、onvolutional)码，当然也可以是分组码(BC, Block Code)、非递归卷积(NRC，Non-Recursive Convolutional)码以及非系统卷积(NSC，Non-Systematic Convolutional)码，但从后面的分析将看到，分量码的最佳选择是递归系统卷积码。通常两个分量码采用相同的生成矩阵，当然分量码也可以是不同的。 Turbo码的编码器结构 Turbo码的交织器 交织器的作用是改变信息结构将传输过程中出现的突发错误进行的分散化和不规则化。码字的重量分布决定了Turbo 码的纠错译码性能 。交织器可以改变Turbo 码的重量分布，因此，交织器对Tur

20、bo 码性能的好坏有着重要作用 。 在Turbo 码中，交织器使输入码元符号的顺序尽可能随机分布，使码元符号之间的相关性减弱，从而使进入各个子译码器的信息序列之间不相关。这使得各个子译码器彼此独立的工作，互相利用软判决信息，判决结果也因此逐渐准确。 但是，同样由于Turbo 码是以帧的形式编码，交织器的存在使得Turbo 码存在时延，帧越长，时延越大。所以，只有允许较大时延的系统，才可以充分发挥Turbo码的作用。 简单分组交织器Turbo码的性能仿真及设计4.1 Turbo码仿真系统的实现Turbo码是经过模拟仿真来的，而不是根据既定的设计准则得到的。许多研究者正寻找其工作机理以便更好为Tu

21、rbo码的构造提供理论依据。至到现在Turbo码的研究成果很大一部分是通过对各种参数的模拟性能结果中得到的。模拟仿真时，衡量其编码性能的好坏主要以误码率BER(Bit Error Rate)来的。本章将会对Turbo码的性能作较为详细的论在加性高斯白噪声信道环境下，比较不同译码算法的不同性，与此同时为进一步的仿真和分析提供理论依据。仿真中使用加性高斯白噪声信道(AWGN)模型，因为它易于构建，也是具有代表性的信道模型之一，同时假设使用BPSK调制方式。根据Turbo码系统的结构特点，本文将整个Turbo编译码系统合理地划分成多个模块，使用MATLAB通过模块化设计实现了可以用于计算机模拟的Tu

22、rbo编译码系统。系统所包涵的模块具体划分为：主程序、信道模型子程序、交织子程序、RSC编码子程序、使用不同的算法进行译码的译码子程序等。仿真中使用加性高斯白噪声信道(AWGN)模型，因为它易于构建，也是具有代表性的信道模型之一，同时假设使用BPSK调制方式。根据Turbo码系统的结构特点，本文将整个Turbo编译码系统合理地划分成多个模块，使用MATLAB通过模块化设计实现了可以用于计算机模拟的Turbo编译码系统。系统所包涵的模块具体划分为：主程序、信道模型子程序、交织子程序、RSC编码子程序、使用不同的算法进行译码的译码子程序等。主程序控制着整个系统的流程。主程序首先完成对系统的先期设置

23、，包括分量RSC的生成矩阵、是否删余、帧大小(即交织器的大小)、迭代次数、使用何种译码算法等等。然后，随即生成信息源，调用各子程序完成编码、传输以及译码的过程。仿真中使用加性高斯白噪声信道(AWGN)模型，因为它易于构建，也是具有代表性的信道模型之一，同时假设使用BPSK调制方式。根据Turbo码系统的结构特点，本文将整个Turbo编译码系统合理地划分成多个模块，使用MATLAB通过模块化设计实现了可以用于计算机模拟的Turbo编译码系统。系统所包涵的模块具体划分为：主程序、信道模型子程序、交织子程序、RSC编码子程序、使用不同的算法进行译码的译码子程序等。主程序控制着整个系统的流程。主程序首

24、先完成对系统的先期设置，包括分量RSC的生成矩阵、是否删余、帧大小(即交织器的大小)、迭代次数、使用何种译码算法等等。然后，随即生成信息源，调用各子程序完成编码、传输以及译码的过程。交织子程序供主程序调用，主要完成对信息比特序列进行位置的随机置换，并提供给RSC2进行编码。对每帧进行置换的格式将保存下来，以便在译码过程中进行正确的解交织。RSC编码子程序供主程序调用，完成编码。网格图生成子程序供译码子程序调用，用于生成给定生成矩阵对应的网格图。对一帧编码的子程序供RSC编码子程序调用，用于对一帧的信息比特编码。对一位信息比特编码子程序供对一帧编码的子程序调用，用于对单个输入比特进行编码。信道模

25、型及复用调制子程序供主程序调用，用于生成信道模型，将两个RSC分量编码器编码序列和信息序列进行复用，根据需要的码率组成整个编码器的编码结果，然后使用AWGN信道模型将编码序列进行调制，模拟进入信道传输。译码前解复用子程序供主程序调用，用于从模拟信道接收观测序列，并将观测序列解复用，分解成系统比特序列和两个校验序列。译码子程序同主程序调用，用于实现具体的译码算法，对观测序列进行译码。 Turbo码编码流程图 Turbo码译码流程图 Turbo码的仿真结果及分析影响Turbo码性能的参数很多，这里分别就不同码率、不同的译码算法、迭代次数、交织长度对Turbo码性能的影响进行分析，给出仿真结果 不同

26、码率对Turbo码的性能影响给出了Turbo 码在不同的编码率下的仿真结果。码率分别为1/2，1/3。两个分量码的生成多项式为(7, 5)8 。采用随机交织，交织长度为640。译码算法采用Log-MAP，译码迭代次数为3。 Turbo码码率与误码率的关系由图的仿真结果可知，不同的码率明显影响了Turbo码的性能。图中1/3码率的Turbo码的误码率始终低于1/2 码率的Turbo 码。在误码率为104时，码率为1/3 的Turbo 比码率为1/2 的Turbo 码信噪比提高2dB 左右。Turbo 码中存在一定的冗余，这些冗余信息对迭代译码起重要作用，删余使冗余信息减小降低了校验信息的可靠性，

27、因此，1/2 码率的Turbo 码比1/3 码率的Turbo 码性能要差。但是由于经过打孔的1/2 码率的Turbo 码的校验比特相对较少，因此传输所用的时延比1/3 码率的Turbo 码小。在实际应用过程中，要考虑具体的情况选择Turbo 码的码率。不同译码算法对Turbo 码的性能影响给出了采用不同译码算法下的Turbo 码仿真结果。Turbo 码码率为1/2，Log-Map算法和MAX-Log-Map 算法译码迭代次数为3。从图中可以观察到Log-MAP 译码算法性能明显要优于MAX-Log-MAP 和SOVA。在误码率为104 时，Log-MAP 译码算法比MAX-Log-Map 译码

28、算法好0.4dB，比SOVA 好2dB 以上。Max-Log-MAP 算法用到了近似公式，故性能比Log-MAP 有所下降。验证了译码算法性能MAP>Log-MAP>MAX-Log-MAP>SOVA 的结论。SOVA 算法虽然性能是几种算法中最差的，但复杂性较低易于实现。在实际运用中，要结合具体的情况，权衡硬件的复杂度和性能要求，选择合适的译码算法。 不同译码算法对Turbo码的影响 迭代次数 迭代次数对Turbo码的影响给出了不同迭代次数下，Turbo码的误比特率与信噪比的关系曲线，采用MAX-Log-MAP算法，码率为。所示的仿真结果可以看出，随着迭代次数的增加，Turb

29、o码的误比特率曲线不断降低并趋于收敛；而且随着信噪比的增加，迭代对误比特率性能的影响越来越明显。这是Turbo码通过迭代译码充分利用冗余信息来提高编译码性能这一特点的反映。最初，迭代译码的增益较高，但随着迭代次数的增加，译码增益增长相对缓慢，虽然继续增加迭代次数可以提高Turbo码的性能，但权衡迭代所需要的时间、性能改善的幅度，我们通常都选取合适的迭代次数。 交织长度 交织长度对Turbo码的影响图给出了不同交织长度下，Turbo码的误比特率与信噪比的关系曲线。从图中可以看出，交织长度越大，性能就越好，而且交织长度对性能的影响是很大的，这是由于交织器的存在所产生的所谓交织增益，使得Turbo码

30、的性能随交织长度的增长而改善且在交织长度足够长时接近信道容量。交织长度是决定Turbo码性能的一个重要因素。但是与Turbo码不同，卷积码的一个优点在于只要帧长远大于码的约束长度，其性能就与帧长没有关系，另外，Turbo码性能的另一个重要因素是迭代译码所产生的译码复杂度，所以我们有必要在短帧的情况下，将Turbo码与采用最大似然译码算法的卷积码纠错性能和复杂度作一个比较。在高斯信道环境下作了仿真比较，得到在同样信噪比的条件下，要达到级BER的要求时，卷积码的复杂度小于Turbo码，在瑞利衰落信道下，结论也相似。短帧传输有着广泛的应用，诸如在移动通信中，话音和控制信息通常采用小于300比特的短帧

31、，通常话音和信令的误码率要求在到之间。由上述结论可知，在对帧长有要求的移动通信系统中，在一定的误码率要求下，Turbo码并不是最佳的准则，在考虑译码复杂度的情况下，卷积码反而比Turbo码具有更好的性能。反之，对于帧长较长的情况下，采用Turbo码将更有优势。同时，我们还应该注意到交织深度和编译码时延之间还存在着一个兼顾的问题。Turbo码的时延包括编码时延、码组传输时延、译码器时延及交织和解交织时延。交织长度越长，时延也越大。通信系统中，时延是个很重要的因素，实时的通信系统中总是对时延提出了较高的要求。在实际的应用中，需要根据时延的要求来确定最佳的码长。 在 Turbo 码的基本概念与工作原理的基础上，对Turbo 码各个参数在AWGN 信道中进行了仿真。并且详细分析和说明了仿真过程中，不同码率、译码算法、迭代次数、交织器类型、交织长度等参数对Turbo 码的影响。Turbo 码的性能是非常优异的，从仿真曲线图中可以看出，当交