量子信息学导论 课件 第3章 量子信息论基础

第3章量子信息论基础3.1熵与量子信息的测度3.2最大信息的获取3.3量子无噪声编码定理3.4带噪声量子信道上的信息

信息论是通信的数学基础，它通过数学描述与定量分析来研究通信系统的有效性、安全性和可靠性，包括信息的测度、信道的容量、信源和信道编码理论等问题。经典通信的基础是香农信息论，香农信息论已发展得比较成熟；量子通信的数学基础是量子信息论，而量子信息论还处在发展过程中。

3.1熵与量子信息的测度

熵的概念来自热力学与统计物理学。热力学中最重要的定理是热力学第二定理，它指出任何一个孤立系统的热力学过程总是向熵增加方向进行。熵作为系统混乱度的量度，在统计物理中，近独粒子系统的熵与粒子速度分布函数f(υ)的关系可表示为

3.1.1经典香农熵

香农熵是经典信息论中的基本概念。对于随机变量X，它具有不确定性，可以取不同值：x1，x2，…xn。X的香农熵即测到X的值之前关于X的不确定性的测度，也可以视为测到X值之后我们得到信息多少的一种平均测度。

定义3.1设对随机变量X，测到其值为x1,x2,…xi，…，xn，概率分别为P1，P2，…，Pi，…，Pn，则与该概率分布相联系的香农熵定义为

其中Pi是测到xi的概率。

必须强调的是，这里对数是以2为底的，因此熵的单位是比特，且约定为01b0=0；另外，概率满足

例如，投掷两面均匀的硬币，每面出现的概率为1/2，其相应熵为

若投掷均匀的四面体，则熵为

一般地，如果随机变量取两个值，概率分别为p与1-p，则给出熵为

人们称它为二元熵。

二元熵函数与概率P的关系如图3.1所示。可以看出，当P=1/2时，H2(P)取最大值，为1。图3.1二元熵函数与概率P的关系

二元熵为理解熵的一些性质提供了一个容易掌握的实例。例如，可以用它来讨论两个概率分布混合时系统的行为。

设想Alice有两个硬币，一个是美元，另一个是人民币，两硬币都不均匀，两面出现的概率不是1/2，设美元正面出现的概率为PU，人民币正面出现的概率为PC，假定Alice投美元的概率为Q，投人民币的概率为1-Q，Alice告诉Bob正面或反面，平均而言Bob获得多少信息？其获得的信息会大于或等于单独投美元和人民币获得的信息，数学表示为

定义3.2如果一个实函数f满足以下关系：

其中，0≤P，x、y≤1，则称函数具有凹性。

一般信息熵都具有凹性。若不等式(3.4)反过来，则称函数f具有凸性。下面介绍有关熵的几个重要概念，它涉及几个概率分布关系。

1)相对熵

定义3.3对同一个随机变量X有两概率P(x)和Q(x)，P(x)到Q(x)的相对熵定义为

相对熵可以作为两个分布间距离的一个度量。可以证明相对熵满足H[P(x)

Q(x)]≥0，即是非负的。

定理3.1设X是具有d个结果的随机变量，则H(X)≤1bd，且当X在d个结果上分布相同时取等号。

证明：设P(x)是X的一个具有d个结果的概率分布，令Q(x)＝1/d，则有

因为

即

2)联合熵与条件熵

定义3.4设X和Y是两个随机变量，X和Y的联合熵定义为

其中P(xy)是X取值x及y取值y同时发生的概率。

联合熵是测量XY

整体不确定性的测度，若从该熵中减去Y

的熵就得到已知Y

条件下X的条件熵表示，即

它是在已知Y值条件下，平均而言对X值的不确定性的测度。

3)互信息

定义3.5将包含X信息的H(X)加上包含Y信息的H(Y)，再减去联合信息H(XY)，就得到X和Y的共同信息H(X：Y)，称为互信息，即有

将条件熵和互信息联系起来有

各种熵之间的关系可以用一个图形来表示，如图3.2所示。此图也称为维恩图，利用它可以帮助我们理解各种熵之间的关系，但此图对量子熵不适用。

下面集中给出香农熵的几点性质。

图3.2互信息和各类熵之间的关系

3.1.2量子冯·诺依曼熵

将香农经典熵推广到量子状态，就是用密度算符代替熵中概率分布。

定义3.6若量子系统用密度算符ρ描述，相应量子熵定义为

量子熵最早由冯·诺依曼引入，故又称冯·诺依曼熵。若λn

是ρ的特征值，则冯·诺依曼熵又可以写为

在具体计算中，式(3.16)用得多。例如：

定义3.7若ρ和σ是密度算符，ρ到σ的量子相对熵定义为

定义3.8若A、B组成复合系统，其密度矩阵为ρAB，定义A和B的联合熵为

定义3.9在已知B条件下A的条件熵定义为

3.1.3冯·诺依曼熵的强次可加性

二量子系统的次可加性和三角不等式可以推广到三量子系统，结果为强次可加性，它是量子信息论中重要的结论之一。

对任意的三量子系统A、B、C，以下不等式成立：

式(3.31)表示A、B两系统的不确定性之和不大于AC和BC

两联合系统不确定性之和；式(3.32)表示

A、B、C三系统联合不确定性加上B系统的不确定性小于等于AB和BC

联合系统不确定性之和。这两个结果要进行严格证明是很困难的，下面给出一个简单的论证。

3.2最大信息的获取

设Alice有一个信源，按概率P1，P2，…，Pn产生随机变量X的值，Alice选择量子态ρｘ发给Bob，Bob对状态进行量子测量，结果为Y，然后根据测量结果Y给出X值的最好猜测——获取的最大信息。

3.2.1

Holevo限

定理3.4设Alice以概率P1，P2，…，Pn制备量子态Px，其中x=1，2…，n，Bob进行正定算符值测量，其POVM元为{Ey}={E1，…，EM}，测量结果为Y，Bob进行任何此类测量所得信息上限为

式(3.41)右边称为Holevo限，有时记为χ。因此，Holevo限给出了可获取信息的一个上限。

为联合分布，则有

3.2.2Holevo限的应用

利用混合量子状态熵的上限定理

并联合Holevo上限定理得

当ρx对应正交支集时取等号。

`图3.3

Holevo限与θ/π的关系

3.3量子无噪声编码定理

3.3.1香农无噪声信道编码定理

香农无噪声信道编码定理量化了由经典信源产生的信息在无损耗信道中其编码压缩的程度。经典信源有多种模型，一个简单有用的模型是随机变量序列x1，x2，xn，构成的源。随机变量的值表示该源的输出，设源持续发出随机变量x1,x2,…xn，若各随机变量彼此是独立的，并且有相同的概率分布，则称这样的信源为IID信息源。

考虑二值IID源产生比特x1，x2，…xn，每比特以概率P出现0，而以概率(1-P)产生1。香农定理的关键是把随机变量

x1，x2，…xn的值x1的可能序列分为两类，经常出现的序列称为典型序列，而很少出现的序列称为非典型序列。利用IID源的独立性假设，典型序列概率为

式(3.53)第一个等式来自独立性假设，总概率为独立概率之积；第二个等式来自同概率分布，每个取0的概率为P，而取0的个数为nP，取1的概率为1-P，其数目为(1-P)n。

两边取对数得

其中n是随机变量数，也是比特数。

H(X)=-P1b(1-P)1b(1-P)是二元熵，是每个随机变量的熵，称为信源的熵率，因此典型序列概率为P(x1,x2,…xn)≈2-nH(X)。由于典型序列总概率不会超过1，则典型序列个数最多为2nH(X)。

定义2.11对给定ε>0，若IID元产生的x1,x2,…xn序列概率满足

则称序列x1,x2,…xn为典型序列，有时也称ε典型，序列数目为T(nε)。

为了引出香农无噪声信道编码定理，先要证明典型序列定理，该定理的含义是：在随机变量数n充分大时，信源输出的大多数序列是典型序列。

定理3.5(典型序列定理)

(1)固定ε>0，对任意的δ>0和充分大的n，一个序列为ε典型的概率至少是1-δ，即

(2)对任意固定的

ε>0和δ>0及充分大的n，ε典型序列的数目T(nε)满足：

定理3.6(香农无噪声信道编码定理)设{Xi}是一个具有熵率为H(X)的IID信源，R为编码压缩率。若R>

H(X)，则存在一种可靠的编码压缩方案，使编码压缩为新序列只

需nR比特表示；反之，若R<

H(X)，则不存在可靠的编码压缩方案。

所谓可靠编码压缩方案，是指通过解码后可将压缩后新序列以接近1的概率还原为原来的序列。

3.3.2量子舒马赫无噪声信道编码定理

在量子信息论中将量子状态视为信息，这是量子信息论概念上的突破。本节将定义量子信源，并研究该信源产生的信息——量子状态在多大程度上可以被编码压缩。

图3.4量子数据编码压缩

定理3.7(量子典型子空间定理)

(1)固定ε>0，对任意δ>0和充分大的n，有

(2)对任意固定的ε>0、δ>0和充分大的n，子空间的维数T(nε)满足

证明由经典典型序列定理类比得到

测试(3.63)可以直接从典型序列定理中的式(3.56)得到；典型序列的数目即为子空间的维数以及式(3.62)结论(3.64)可直接由典型序列定理中的式(3.57)得到。

有了典型子空间定理就不难得到量子无噪声信道编码定理，该定理也称舒马赫无噪声信道编码定理。

定理3.8(舒马赫无噪声信道编码定理)

令{H，ρ}是IID量子信源，若R>S(ρ)，则对该源存在压缩率为R的可靠编码压缩方案；若R>S(ρ)，则压缩率为R的任何压缩方案都是不可靠的。

3.4带噪声量子信道上的信息3.4.1带噪声经典信道上的信息

噪声是通信信道无法回避的问题，纠错码可以用来对抗噪声的影响。对一个特定的带噪声的信道，信息论的一个基本问题是要确定信道Ｎ可靠通信的最大传送率，即信道的容量。香农带噪声信道编码定理是对这一问题最明确的回答。无论是量子的还是经典的带噪声信道编码的许多重要思想都可以通过研究二元对称信道来了解。

所谓二元对称信道是针对一个单比特信息的带噪声信道而言的，设想人们通过带噪声经典信道从Alice发送一个比特给Bob，信道中由于噪声作用使传输比特信息以概率P>0发生翻转(如从0到1)，使比特无差错传输的概率为1-P，这样的信道就称为二元对称信道，如图3.5所示。

每次使用二元对称信道可以可靠传送多少信息，在使用纠错码的情况下，通过论证其信息可以可靠传输的最大比率为1-H(P)，其中H(P)是香农熵，有关论证略。

图3.5二元对称信道

香农带噪声信道编码定理是将二元对称信道的容量结果推广到离散无记忆信道。信道无记忆是指每次使用信道时它的作用都相同,并且不同的使用之间是独立的。离散无记忆信道具有有限的输入字母表A和有限的输出字母表Ｂ，对二元对称信道，输入字母和输出字母表为A=B={0，1}。信道的作用将由条件概率P(y|x)来描述，它表示在给定输入是x的条件下，从信道输出不同y的概率，其中x

∈A，ｙ∈

B。条件概率满足下列两个条件：

经典信息在带噪声信道中的传送如图3.6所示。N表示带噪声经典信道，Alice从2nR个可能的消息中产生一个消息M并用映射(Map)Cn进行编码，即{1，2，…，2nR}→An；映射为Alice的每条消息分配一个输入串，输入串通过噪声信道N以n次使用而传给Bob，Bob对信道的输出用映射Dn进行编码，即{Bn→1，2，…，2nR}；然后输出映射的信号，每个可能输出分配一个消息D(Y)。

图3.6经典信息在带噪声信道中的传送

定义3.12对于给定的编码／解码对CnDn，差错概率定义为输出消息Dn(Y)不等于消息Ｍ的最大概率，即

定义3.13如果编码／解码对

CnDn存在，且满足n→∞时P(CnDn)→0，则称相应比率R是可达到的。一个给定的带噪声信道Ｎ的容量C(N)，定义为信道可达到的比率的上确界。

要通过计算P(CnDn)而给出信道容量C(N)显然是很困难的，而香农通过引入互信息回答了这个问题，这就是香农带噪声信道编码定理。

定理3.9(香农带噪声信道编码定理)

3.4.2带噪声量子信道上的经典信息

假设Alice和Bob使用带噪声量子信道进行通信，即Alice有某个消息M期望传给Bob，她不用经典算随机数方法编码，而是用量子状态进行编码，并经过带噪声量子信道传送，人们期望得到计算带噪声量子信道上传送经典信息容量的方法。

考虑量子信道ε，Alice将消息利用量子态直积方式编码ρ1

ρ2…，其中每个密度矩阵ρ1，ρ2,…都是信道ε的输入，人们将带有这个限制的容量称为直积状态容量，记为C(1)(ε)，表示输入态中不使用纠缠态。有人认为纠缠态不增加容量，但无证明，直积状态容量的上限由HSW定理给出。

定理3.10(HSW定理)设ε是一个保迹的量子运算，定义Holevo量

其中最大值是在所有输入态ρj的全部系统{

Pj

ρj}中取值，则χ(ε)是信道ε的直积状态容量，即

C(1)(ε)是量子信道所能传送的最大经典信息容量。所取系综包括d2个元，其中d是信道输入的维数。定理2.10表示若Alice想从集合{1，2，…，3nR}中选取一个消息M发给Bob，她将消息利用ρM1

ρM2

…

ρMn编码，其中比率R存在一个上限，由χ(ε)确定。

定理证明应包括两方面：

(1)证明对任何小于Holevo量χ(ε)

的比率R，总可以使用直积状态进行编码，从而使信息能通过信道ε传输，证明略；

(2)证明另一方面，当比率R大于Holevo限χ(ε)

时，Alice不可能通过信道ε以此比率向Bob发送信息。

下面证明第(2)点。

证明的策略是：设Alice均匀随机从集合{1，2，…，2nR}中选取消息M，若其比率R大于定义的χ(ε)，则其平均出错概率必大于0，故最大出错概率也大于0，这是不行的。

设Alice把消息Ｍ编码为ρM

=ρM1

ρM2

…

ρMn，而相应输出用σ代替ρ，Bob用正定算符值测定进行解码，并假定每个M包含一个EM，使得则平均差错概率为

对经典信息，比率

R<1bd，其中d是信道输入的维数，由于利用Holevo界可以论证n量子比特不能用于传送多于n比特的经典信息，因此{EM}中包含dn+1个元。

3.4.3带噪声量子信道上的量子信息

1.熵交换与量子费诺不等式

我们将量子信源视为处于混合态ρ的系统与别的量子系统纠缠的量子系统，量子信息通过量子运算ε传输的可靠性测量是纠缠保真度F(ρε)用Q表示ρ所在系统，R表示初始纯化

Q的参考系统，这样，纠缠保真度就是在系统Q上的ε作用下保持Q和R之间纠缠程度的一种测度。

量子运算作用到量子系统Q的状态ρ会引起多少噪声，一个测度方法是扩展到系统Q，它开始处在纯态，在量子运算i作用下变成混合态。定义运算i在输入ρ态上的熵交换为S(ρε)=S(R′Q′)，R′Q′是运算的系统。对熵交换S(ρε)大小有一个上限，它由量子费诺不等式给出。

定理3.11(量子费诺不等式)令ρ为一量子状态，ε为一个迹的量子运算，相应熵交换为

这个表达式称为量子费诺不等式，其中F(ρε)是纠缠保真度，H2(o)是二元香农熵，d是Q的维数。

从量子费诺不等式看出，如果一个