信息论 第六章 信道编码(2)

第六章信道编码

思维世界的发展，在某种意义上说，就是对惊奇的不断摆脱。

-爱因斯坦（美国）

第六章信道编码6.2.16.2.26.2.36.2.46.2.56.2.66.2.76.2.86.2.96.2.10一般概念一致监督方程和一致监督矩阵线性分组码的生成矩阵线性分组码的编码线性分组码的最小距离、检错和纠错能力线性分组码的译码线性分组码的性能汉明码由已知码构造新码的方法线性分组码的码限6.2线性分组码

第六章信道编码线性分组码的编码：线性分组码的编码过程分为两步：把信息序列按一定长度分成若干信息码组，每组由k位组成；编码器按照预定的线性规则(可由线性方程组规定)，把信息码组变换成n重(n>k)码字，其中(n－k)个附加码元是由信息码元的线性运算产生的。信息码组长k位，有2k

个不同的信息码组，则有2k

个码字与它们一一对应。6.2.1一般概念6.2线性分组码

第六章信道编码名词解释线性分组码：通过预定的线性运算将长为k位的信息码组变换成n重的码字(n>k)。由2k

个信息码组所编成的2k个码字集合，称为线性分组码。

码矢：一个n重的码字可以用矢量来表示

C=(Cn－1,Cn－2,…,C1,C0)所以码字又称为码矢。(n,k)线性码：信息位长为k，码长为n的线性码。编码效率/编码速率/码率/传信率：R=k/n。它说明了信道的利用效率，R是衡量码性能的一个重要参数。6.2.1一般概念6.2线性分组码

第六章信道编码(1)一致监督方程编码就是给已知信息码组按预定规则添加监督码元，以构成码字。在k个信息码元之后附加r(r=n－k)个监督码元，使每个监督元是其中某些信息元的模2和。举例：k=3,r=4，构成(7,3)线性分组码。设码字为

(C6,C5,C4,C3,C2,C1,C0)

C6,C5,C4为信息元，C3,C2,C1,C0为监督元，每个码元取“0”或“1”监督元可按下面方程组计算6.2.2一致监督方程和一致监督矩阵6.2线性分组码(6.2.1)

第六章信道编码一致监督方程/一致校验方程：确定由信息元得到监督元规则的一组方程称为监督方程/校验方程。由于所有码字都按同一规则确定，又称为一致监督方程/一致校验方程。由于一致监督方程是线性的，即监督元和新信源之间是线性运算关系，所以由线性监督方程所确定的分组码是线性分组码。6.2线性分组码6.2.2一致监督方程和一致监督矩阵信息组对应码字00000000000010011101010010011101101110101001001110101101001111011010011111110100

第六章信道编码(2)举例

信息码组(101)，即C6=1,C5=0,C4=1

代入(6.2.1)得：C3=0,C2=0,C1=1,C0=1

由信息码组(101)编出的码字为

(1010011)。其它7个码字如表6.2.1。表6.2.1(7,3)分组码编码表6.2线性分组码6.2.2一致监督方程和一致监督矩阵(6.2.1)

第六章信道编码(3)一致监督矩阵

为了运算方便，将式

(6.2.1)监督方程写成 矩阵形式，得 式(6.2.2)可写成

H.CT=0T或

C.HT=0

CT、HT、0T分别表 示C、H、0的转置 矩阵。6.2.2一致监督方程和一致监督矩阵6.2线性分组码I4=

第六章信道编码系数矩阵H的后四列组成一个(4×4)阶单位子阵，用I4表示，H的其余部分用P表示(6.2.5)P4×3H(7,3)=[P4×3I4]所以6.2.2一致监督方程和一致监督矩阵6.2线性分组码

第六章信道编码推广到一般情况：对(n,k)线性分组码，每个码字中的r(r=n－k)个监督元与信息元之间的关系可由下面的线性方程组确定6.2.2一致监督方程和一致监督矩阵6.2线性分组码(6.2.6)=

第六章信道编码令上式的系数矩阵为H，码字行阵列为C6.2.2一致监督方程和一致监督矩阵6.2线性分组码或(6.2.8)式(6.2.6)可写成(6.2.7)C0]称H为(n,k)线性分组码的一致监督矩阵，简称监督矩阵。Hr×nC1×n=[Cn−1Cn−2=

第六章信道编码(4)一致监督矩阵特性对H各行实行初等变换，将后面r列化为单位子阵，于是得到下面矩阵，行变换所得方程组与原方程组同解。监督矩阵H的标准形式：后面r列是一单位子阵的监督矩阵H。H阵的每一行都代表一个监督方程，它表示与该行中“1”相对应的码元的模2和为0。6.2.2一致监督方程和一致监督矩阵6.2线性分组码(6.2.9)Hr×n

第六章信道编码H的标准形式还说明了相应的监督元是由哪些信息元决定的。例如(7,3)码的H阵的第一行为(1011000)，说明此码的第一个监督元等于第一个和第三个信息元的模2和，依此类推。H阵的r行代表了r个监督方程，也表示由H所确定的码字有r个监督元。为了得到确定的码，r个监督方程（或H阵的r行）必须是线性独立的，这要求H阵的秩为r。若把H阵化成标准形式，只要检查单位子阵的秩，就能方便地确定H阵本身的秩。6.2线性分组码6.2.2一致监督方程和一致监督矩阵

第六章信道编码(1)线性码的封闭性线性码的封闭性：线性码任意两个码字之和仍是一个码字。定理6.2.1：设二元线性分组码CI(CI表示码字集合)是由监督矩阵H所定义的，若U和V为其中的任意两个码字，则U+V也是CI中的一个码字。

[证明]：由于U和V是码CI中的两个码字，故有

HUT=0T，HVT=0T

那么H(U+V)T=H(UT+VT)=HUT+HVT=0T

即U+V满足监督方程，所以U+V一定是一个码字。 一个长为n的二元序列可以看作是GF(2)(二元域)上的n维线 性空间中的一点。长为n的所有2n

个矢量集合构成了GF(2)

上的n维线性空间Vn。把线性码放入线性空间中进行研究，将使许多问题简化而比较容易解决。(n,k)线性码是n维线性空间Vn中的一个k维子空间Vk。6.2.3线性分组码的生成矩阵6.2线性分组码

第六章信道编码(2)线性分组码的生成矩阵在由(n,k)线性码构成的线性空间Vn

的k维子空间中，一定存在k个线性独立的码字：g1,g2,…,gk,。码CI中其它任何码字C都可以表示为这k个码字的一种6.2.3线性分组码的生成矩阵6.2线性分组码G是一个k×n阶矩阵。线性组合，即

C=mk-1g1

+mk-2

g2

+…+m0

gk

mi∈GF(2),i=0,1,k−1。写成矩阵形式得

m=[mk-1mk-2

…

m0

]是待编码的信息组（6.2.10）

(6.2.11)

第六章信道编码G中每一行gi=(gi1,gi2,…,gin)都是一个码字；对每一个信息组m，由矩阵G都可以求得(n,k)线性码对应的码字。生成矩阵：由于矩阵G生成了(n,k)线性码，称矩阵G为(n,k)线性码的生成矩阵。(n,k)线性码的每一个码字都是生成矩阵G的行矢量的线性组合，所以它的2k

个码字构成了由G的行张成的n维空间的一个k维子空间Vk。6.2.3线性分组码的生成矩阵6.2线性分组码(6.2.11)=

第六章信道编码线性系统分组码 通过行初等变换，将G化为前k列是单位子阵的标准形式6.2.3线性分组码的生成矩阵6.2线性分组码(6.2.13)(6.2.12)j=1,2,,n−ki=1,2,…,k,…,C0)=(mk-1

,mk-2

,

…,m0

)Gk×n,得将上式代入C1×n=(Cn

−1,Cn

−2=[IkQk×r]Gk×n…

第六章信道编码线性系统分组码：用标准生成矩阵Gk×n

编成的码字，前面k位为信息数字，后面r=n－k位为校验字，这种信息数字在前校验数字在后的线性分组码称为线性系统分组码。当生成矩阵G确定之后，(n,k)线性码也就完全被确定了，只要找到码的生成矩阵，编码问题也同样被解决了。6.2线性分组码6.2.3线性分组码的生成矩阵

第六章信道编码(3)举例6.2.3线性分组码的生成矩阵6.2线性分组码=(1010011)

C1×7=m1×4G4×7(7,4)线性码的生成矩阵为

G4×7=若m1×4=(1010)，则由于生成矩阵G的每一行都是一个码字，所以G的每行都满足Hr×nCTn×1=0Tr×1，则有Hr×nGTn×k=0Tr×k

或Gk×nHTn×r=0k×r线性系统码的监督矩阵H和生成矩阵G之间可以直接互换。(4)生成矩阵与一致监督矩阵的关系6.2.3线性分组码的生成矩阵例:

已知(7,4)线性系统码的监督矩阵为对偶码：一个(n,k)线性码CI，如果以G作监督矩阵，而以H作生成矩阵，可构造另一个(n,n－k)线性码CId

，称码CId为原码的对偶码。(7,3)码的监督矩阵H(7,3)是(7,4)码的生成矩阵G(7,4)

(7,4)码的监督矩阵H(7,4)是(7,3)码的生成矩阵G(7,3)(n,k)线性码的编码就是根据线性码的监督矩阵或生成矩阵将长为k的信息组变换成长为n(n>k)的码字。利用监督矩阵构造(7,3)线性分组码的编码电路：设码字矢量为C=(C6C5C4C3C2C1C0)码的监督矩阵为线性分组码的编码根据方程组可直接画出(7,3)码的并行和串行编码电路。汉明距离、汉明重量和汉明球汉明距离：在(n,k)线性码中，两个码字U、V之间对应码元位上符号取值不同的个数，称为码字U、V的汉明距离。例：(7,3)码的两个码字U=0011101,V=0100111之间第2、3、4和6位不同。因此，码字U和V的距离为4。线性分组码的一个码字对应于n维线性空间中的一点，码字间的距离即为空间中两对应点的距离。因此，码字间的距离满足一般距离公理：线性分组码的最小距离、检错和纠错能力最小距离dmin：在(n,k)线性码的码字集合中，任意两个码字间距离的最小值，叫做码的最小距离。若C(i)和C(j)

是任意两个码字，则码的最小距离表示为码的最小距离是衡量码的抗干扰能力（检、纠错能力）的重要参数。码的最小距离越大，码的抗干扰能力就越强。汉明球：以码字C为中心，半径为t的汉明球是与C的汉明距离≤t的向量全体集合SC(t)

任意两个汉明球不相交最大程度取决于任意两个码字之间的最小汉明距离dmin。

汉明重量W：码字中非0码元符号的个数，称为该码字的汉明重量。在二元线性码中，码字重量就是码字中“1”的个数。最小重量Wmin

：线性分组码CI中，非0码字重量的最小值，叫做码CI的最小重量：Wmin=min{W(V),V∈CI,V≠0}最小距离与最小重量的关系：线性分组码的最小距离等于它的最小重量。

[证明]：设线性码CI，且U∈CI,V∈CI，又设U－V=Z，由线性码的封闭性知，Z∈CI

。因此，d(U,V)=W(Z)，由此可推知，线性分组码的最小距离必等于非0码字的最小重量。

第六章信道编码(2)最小距离与检、纠错能力一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检、纠错能力越强。检错能力：如果一个线性码能检出长度≤l个码元的任何错误图样，称码的检错能力为l。纠错能力：如果线性码能纠正长度≤t个码元的任意错误图样，称码的纠错能力为t。6.2线性分组码6.2.5线性分组码的最小距离、检错和纠错能力最小距离与纠错能力：(n,k)线性码能纠t个错误的充要条件是码的最小距离为

[证明]：

设发送的码字为V；接收的码字为R；U为任意其它码字；则矢量V、R、U间满足距离的三角不等式，

d(R,V)+d(R,U)≥d(U,V)

又设信道干扰使码字中码元发生错误的实际个数为t’，且t’≤td(R,V)＝t’≤t

由于d(U,V)≥dmin=2t+1，代入上式得：

d(R,U)≥d(U,V)－d(R,V)=2t+1－t’>t

第六章信道编码上式表明：如果接收字R中错误个数t’≤t，那么接收字R和 发送字V间距离≤t，而与其它任何码字间距离都大于t，按最 小距离译码把R译为V。此时译码正确，码字中的错误被纠正。几何意义：6.2.5线性分组码的最小距离、检错和纠错能力6.2线性分组码t

dmin图6.2.3dmin=5,码距和纠错能力关系示意图最小距离与检错能力：(n,k)线性码能够发现l个错误的充要条件是码的最小距离为

dmin=l+1或l=dmin－1

[证明]：设发送的码字为V；接收的码字为R；U为任意其它码字；则矢量V、R、U间满足距离的三角不等式，

d(R,V)+d(R,U)≥d(U,V)

又设信道干扰使码字中码元发生错误的实际个数为l’，且l’≤ld(R,V)＝l’≤l

由于d(U,V)≥dmin=l+1，代入上式得：

d(R,U)≥d(U,V)－d(R,V)=l+1－l’>0

第六章信道编码上式表明：由于接收字R与其它任何码字U的距离都大于0， 则说明接收字R不会因发生l’个错误变为其它码字，因而必能发 现错误。几何意义：6.2.5线性分组码的最小距离、检错和纠错能力6.2线性分组码l

dmin图6.2.4dmin=4,码距和检错能力关系示意图

第六章信道编码最小距离与检、纠错能力：(n,k)线性码能纠t个错误，并能发现l个错误(l>t)的充要条件是码的最小距离为

dmin=t+l+1或t+l=dmin－1(6.2.23)[证明]：因为dmin>2t+1，根据最小距离与纠错能力定理，该码可 纠t个错误。 因为dmin>l+1，根据最小距离与检错能力定理，该码有检l个 错误的能力。

纠错和检错不会发生混淆：设发送码字为V，接收字为R，实际错误数为l’，且t<l’≤l。这时R与其它任何码字U的距离(6.2.24)

d(R,U)≥d(U,V)－d(R,V)=t+l+1－l’>t+1>t因而不会把R误纠为U。6.2线性分组码6.2.5线性分组码的最小距离、检错和纠错能力

几何意义：当(n,k)线性码的最小距离dmin

给定后，可按实际需要灵活安排纠错的数目。例如，对dmin=8的码，可用来纠3检4错，或纠2检5错，或纠1检6错，或者只用于检7个错误。

第六章信道编码(3)线性码的最小距离与监督矩阵的关系定理6.2.2：设H为(n,k)线性码的一致监督矩阵，若H中任意S列线性无关，而H中存在(S+1)列线性相关，则码的最小距离为(S+1)。（矩阵H的秩为S）定理6.2.3：若码的最小距离为(S+1)，则该码的监督矩阵的任意S列线性无关，而必存在有相关的(S+1)列。定理6.2.4：在二元线性码的监督矩阵H中，如果任一列都不是全“0”，且任两列都不相等，则该码能纠一个错误。6.2线性分组码6.2.5线性分组码的最小距离、检错和纠错能力

第六章信道编码(1)伴随式和错误检测①用监督矩阵编码，也用监督矩阵译码：