管理信息-第4章

2023/2/7第四章信息传输与信息编码4.1信息传输的概念4.2信息传输模型4.3信息传输的有效性4.4信息传输的抗干扰性4.5限失真信源编码定理2023/2/74.1

信息传输的概念4.1.1

信息传输与语法信息4.1.2

信息传输与信号

2023/2/7

所谓信息传输就是把人们需要的信息从空间中的一点传送到另一点，其核心问题是如何准确、迅速、安全、可靠地完成传输任务。

从传输内容上说，所谓信息传输，其实只是语法信息的传输，且主要是概率语法信息的传输，只要传递了语法信息，语义信息和语用信息也就必然隐含在其中了。

4.1.1信息传输与语法信息

2023/2/7

信息可以脱离其源事物独立存在，这种脱离可表现为两种状态。一是时间上的脱离，时间上的脱离需要对信息进行存储才能使信息继续存在；二是空间上的脱离，事物运动的状态和方式在脱离源事物的同时，就必然附着于另一事物（即载体）。

信息传输的实质：某信息脱离源事物而附着于另一个事物（物理载体）并通过后者的运动将信息在空间中从一点传送到另一点。4.1.2信息传输与信号：载体2023/2/7

载体的性质：载体既要能够在空间中转移，从一点运动到另一点，又要有能力表示所传输的信息。

实际上，信息在空间中传送的过程，可能要经过多次变换，要变更多种不同的载体。为了便于描述，把这些变换称为n级变换，而把这些载体称为n级载体。

4.1.2信息传输与信号：信息变换2023/2/7载体有能力对所传输的信息进行表示就是指能够把源事物的运动状态和运动方式用载体自身的某种物理量表示出来，而载体的某种物理量的各种取值及这些取值之间的关系，必须与所传递的源事物的运动状态以及这些状态之间的关系一一对应。信号：在自己的某种物理量与所附着的信息之间建立一一对应关系的物理载体。或者说，就是用自己的某种物理量的变化来表示相应信息的物理载体。

4.1.2信息传输与信号：信号2023/2/74.1.2

信息传输与信号：传输方式

因此从传输形式上来看，信息的传输就是通过信号在空间的移动来完成，信号的某个或某些物理量与所传递的语法信息之间应当建立适当的映射关系。古代以实物或声音来表示信息：结绳记事、烽火狼烟和击鼓传音等。现代通信技术：电信号、无线电信号、微波和光信号等(传输距离更远、传输速度更迅速、抗干扰性更好)。2023/2/7

4.2

信息传输模型4.2.1

信息传输的基本模型4.2.2

信息传输的一般模型2023/2/7

YV信源变换信道还原变换信宿信息传输的基本模型信息U信号X噪声N4.2.1

信息传输的基本模型2023/2/7信息传输至少必须包含如下一些事物、环节和过程：(1)信源信号变换(4)信道(5)信宿4.2.1

信息传输的基本模型2023/2/7换能器编码信息传输的一般模型噪声调制换能器译码解调信道技术阶段技术阶段信号信宿信源4.2.2

信息传输的一般模型2023/2/7因此，信息传输讨论的主要问题是：

(1)信源的性质及其产生信息的能力；(2)信道的性质及其通过信息的能力；(3)信源与信道的关系以及实现这两者在性质上相互匹配的原理和方法。

4.2.2

信息传输的一般模型2023/2/74.3.1

信源及信源编码4.3.2

变长无失真信源编码定理4.3.3哈夫曼编码4.3

信息传输的有效性2023/2/7

信源输出的信息常常以一个个符号的形式出现，例如英文字母、汉字等。如果这些符号的取值是有限的或可数的，这样的信源称为离散信源。

如果信源只输出一个符号，称为单符号信源，如果输出的是一个符号序列，则称为多符号信源。例如，“HefeiUniversityofTechnology”就是由多个英文字母以及标点符号组成的一个序列。

4.3.1

信源及信源编码2023/2/7可以把信源的每次输出看作是一个随机事件。对于多符号离散信源而言，可以用一个随机变量序列描述信源发出的信息。X=X1X2X3…其中每个随机变量Xi(i=1,2…)都有N个输出状态，每个状态出现的可能性大小用概率P(Xi)来描述。该信源中，如果每一个随机变量Xi

(i=1,2…)的概率分布P(Xi)都相同，那么这种信源称为多符号离散平稳信源（简称离散平稳信源）。4.3.1

信源及信源编码2023/2/7为了方便起见，假定信源输出的符号长度是有限的，并且如果任意两个符号之间都没有相互依赖关系，即每一次符号输出都是一个独立的随机事件，那么该信源称为离散无记忆平稳信源。从前面介绍的信息传输的基本模型中可以看出，由于信源发出的信息不适合直接在信道中传输，所以要经过一系列的变换。其中的一个变换环节就是对信源编码，使其能够满足信道特性，也就是适合于信道传输的符号序列（一般称为码序列），来代表信源输出的信息。4.3.1

信源及信源编码2023/2/7例如，离散无记忆平稳信源的输出是X=X1X2X3…XL其中每一个Xl的可能状态为

。通过编码，将信源输出的符号序列变成码序列

Y=Y1Y2Y3…YK其中每一个Yk的可能状态为

。4.3.1

信源及信源编码2023/2/7例：信源有四种输出状态，表中给出了两种信源编码方法。这两种编码的共同之处是它们都是用二元符号集{0,1}对信源进行编码，称为二元码。它们的不同之处在于编码1的每个码字长度都是相同的，它是等长码；而编码2中码字的长度不相同，它是不等长码，或称为变长码。信源符号出现概率信源编码1信源编码2x11/2001x21/40101x31/810001x41/8110004.3.1

信源及信源编码2023/2/7

信源编码实际上是一个对信源进行改造的过程。在通信过程中，我们总是希望信息传输的效率尽可能高，但是信源X的自然性质往往不能直接满足高效率传输信息的要求。

因此，我们要通过信源编码过程，使信源X信息含量效率不高的情形变为编码后的Y信息含量较高或尽可能高的情形，从而可以做到单位时间或单位符号所传输的信息量尽可能大。

那么，要怎样对信源进行改造才能达到这一目的呢？4.3.1

信源及信源编码2023/2/7设信源X有N个可能的状态x1,x2,…,xN。这些状态相应的先验和后验概率分别为P={p(xn)|xnX}P*={p*(xn)|xnX}观察者R从该通信中获得的信息量为：若P*是确定型的0-1分布，则

4.3.1

信源及信源编码2023/2/7若再有信源各状态的先验概率分布是均匀分布，即则显然4.3.1

信源及信源编码2023/2/7对于任何一个给定的实际信源和接收者系统

，定义

其中，

为信息含量效率。显然有

，并且当且仅当

时，

。

4.3.1

信源及信源编码2023/2/7上述结果让我们很容易想到：各种实际信源的信息含量效率是不同的，有的高一些，有的低一些，因为事物是多样性的、有差异的。

我们改造信源的具体方法，就是尽可能实现

，使信源的各种状态出现的概率满足均匀的先验概率分布，从而压缩信源的冗余，提高信息传输的效率。

这也就是在不考虑噪声影响情况下的离散无记忆平稳信源的有效编码问题。4.3.1

信源及信源编码2023/2/74.3.2

变长无失真信源编码定理

如果用M元符号表对离散无记忆平稳信源X的K次扩展信源XK编码，则总可以找到一种无失真编码方法，使每个信源符号对应的码字的平均长度满足：2023/2/7例：已知Y={0,1}计算X中各元的最有效编码长度，比较等长编码与不等长编码的性能；并构造一Huffman码。4.3.2

变长无失真信源编码定理2023/2/7

解：用Y的两个码元来对X的8元状态进行编码，显然必须采用Y的码元的重复来实现。如果用Y对X进行编码的码字长度都相等，则对8个元进行编码，至少要3位。例如：于是码字长度皆为3，

信源的信息熵为

每个码元的平均熵则为：

比特/符号

比特/码元

4.3.2

变长无失真信源编码定理2023/2/7

这也就是按等长原则编码之后平均每个码元的信息含量。而Y的概率分布为：计算结果说明，等长编码Y的概率分布极其不均匀。4.3.2

变长无失真信源编码定理2023/2/7Huffman码构造步骤将信源符号出现的概率按递减的顺序排列。从最小概率的两个消息开始编码，并给予一定的编码规则，如下支路(小概率)为0，上支路(大概率)为1(反之亦可)；若概率相等，仍按相同规则进行。将已编码的两个符号对应概率求和，合并成一新的信息符号，并与剩下的信源符号重新按概率大小排列。重复步骤(2)(3)，直至合并概率达到1.0为止。画出由根结点(概率为1.0)到每个信源符号的路径，记下沿路径的0或1，形成的串即为变长编码。4.3.3哈夫曼编码2023/2/71.0011111111/260000001/251/241/231/221/2信源符号概率码字x11/2x21/22x31/23x41/24x51/25x61/26x71/27x81/27101001000100001000001000000100000004.3.3哈夫曼编码例题1：2023/2/7计算平均码字长度:(