信息论及通信、密码、信息隐藏(一)

1、五、五、Shannon信息论在研究方法上的启示信息论在研究方法上的启示参考文献参考文献 信信 道道等效离散信道等效离散信道信信 源源信信 源源编码器编码器纠纠 错错编码器编码器调制器调制器干扰源干扰源信信 源源译码器译码器纠纠 错错译码器译码器信信 宿宿解调器解调器等效信宿等效信宿信道编码器信道编码器信道译码器信道译码器等效离散信源等效离散信源 细化的通信系统模型细化的通信系统模型 消息或数据中含有信息、内容、知识。消息或数据中含有信息、内容、知识。 I yxp yxyjkjkj(;)log(|)() );(ikyxI)()|(logkjkaxqyxp 被称作是事件与事件之间的被称作是事件与事

2、件之间的互信息量互信息量。上式正反。上式正反映了互信息的映了互信息的对称性对称性。两个事件之间的互信息量可正、。两个事件之间的互信息量可正、可负、也可能为可负、也可能为0 0。 )(kxI)(log)(1logkkxqxq)()(1log)()(1log);(jjkkjkyIyxIxqyxI 它是对信源输出它是对信源输出直接直接做观察（不经传输、存储和处做观察（不经传输、存储和处理，没有干扰和失真下）所能获得的理，没有干扰和失真下）所能获得的最大最大信息量。它由信息量。它由信源本身的统计特性所决定，因此称之为信源本身的统计特性所决定，因此称之为信源输出符号信源输出符号的自信息的自信息。 自信息

3、量自信息量I(xk)是为了确定事件是为了确定事件xk的出现所必须提供的出现所必须提供的信息量，它也是任何其它事件所能提供的关于事件的信息量，它也是任何其它事件所能提供的关于事件xk的最大信息量，即任何两个事件之间的互信息量不可能的最大信息量，即任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。大于其中任一事件的自信息量。 由由0q(xk)1可得，可得， I(xk)0，即自信息量即自信息量是非负的。是非负的。 自信息量还可解释成出现事件自信息量还可解释成出现事件xk的的先验不确定性先验不确定性的的大小。一个事件不常出现，它的概率就小，当我们知道大小。一个事件不常出现，它的概率就小，当我

4、们知道该事件出现时获得的信息就多，它的自信息就大，反之该事件出现时获得的信息就多，它的自信息就大，反之就小。所以自信息可以认为是随机事件的一种固有特征。就小。所以自信息可以认为是随机事件的一种固有特征。)(log)()()()()(xqxqxIxqxMIXHXx 集X的平均自信息量平均自信息量，又称作是集X的信息熵信息熵，简称作熵熵。描述集X中事件出现的平均不确定性平均不确定性。 某次通信所获得的信息量通常是非平均的，它可以是某次通信所获得的信息量通常是非平均的，它可以是正面的，有助于对某一特定事件做出判定；也可以是负面正面的，有助于对某一特定事件做出判定；也可以是负面的，使我们更难对某一特定

5、事件做出判定。的，使我们更难对某一特定事件做出判定。 对于通信系统设计来说，关心的是对信源输出对于通信系统设计来说，关心的是对信源输出集集的传的传输和处理，因此需要研究统计平均量。输和处理，因此需要研究统计平均量。 Shannon Shannon信息论研究的是消息或数据的群体行为，信息论研究的是消息或数据的群体行为，而不是孤立的个别消息或数据的行为，正如我们从宏观而不是孤立的个别消息或数据的行为，正如我们从宏观来看物质或材料时，我们所关心的是大量原子或分子的来看物质或材料时，我们所关心的是大量原子或分子的群体行为一样。群体行为一样。 当我们关心个别消息的传输问题时，或当我们不掌当我们关心个别消

6、息的传输问题时，或当我们不掌握整个消息空间的统计特性时，我们就需要求助于其他握整个消息空间的统计特性时，我们就需要求助于其他的信息定义或理论了。的信息定义或理论了。 热熵热熵 在在1919世纪，统计力学的奠基者们发展了后来称为世纪，统计力学的奠基者们发展了后来称为热熵热熵的知识，以解释热力学的诸定律。乍一看，热力学和信息的知识，以解释热力学的诸定律。乍一看，热力学和信息论是两个分离的范畴：一个用来描述蒸汽机，另一个使通论是两个分离的范畴：一个用来描述蒸汽机，另一个使通信最优化；然而，熵这个热力学量又正比于物质内由分子信最优化；然而，熵这个热力学量又正比于物质内由分子的位置与速度所记录的比特数。

7、的位置与速度所记录的比特数。 2020世纪的量子力学将这一发现置于坚实的定量基础世纪的量子力学将这一发现置于坚实的定量基础之上，并使科学家具有明确的量子信息概念。组成宇宙的之上，并使科学家具有明确的量子信息概念。组成宇宙的各比特值是量子力学比特，或称各比特值是量子力学比特，或称 “昆比特昆比特”（qubitsqubits），），较之于普通比特，它具有远为丰富的性质。较之于普通比特，它具有远为丰富的性质。 非负性非负性 I I( (X X；Y Y) ) 0 0 当且仅当集合当且仅当集合X X和集合和集合Y Y统计独立时，上式等号成立。统计独立时，上式等号成立。 对称性对称性 I I( (X X；

8、Y Y)=)=I I( (Y Y；X X) ) 平均互信息可用平均互信息可用熵和条件熵之差表示熵和条件熵之差表示如下如下: : I I( (X X；Y Y)=)=H H( (X X) )H H( (X X| |Y Y) ) = =H H( (Y Y) )H H( (Y Y| |X X) ) = =H H( (X X)+)+H H( (Y Y) )H H( (YXYX) ) xyXxqyxpyxpyxIMyXI)()(log)()();(|； 当把当把X X 作为系统的输入集，作为系统的输入集，Y Y 作为系统的输出集时，作为系统的输出集时，互信息互信息I I( (X X；Y Y) )等于输入集

9、的平均不确定性等于输入集的平均不确定性H H( (X X) )减去在观减去在观察到输出察到输出Y Y后，集后，集X X还保留的不确定性还保留的不确定性H H( (X X| |Y Y) )。H H( (X X| |Y Y) )常称常称作作含糊度含糊度、疑义度疑义度或或存疑度存疑度。在给定集。在给定集X X下，含糊度越大，下，含糊度越大，得到的信息量就越小。得到的信息量就越小。 注意，互信息是注意，互信息是熵差熵差，而不是熵。熵是不确定性的，而不是熵。熵是不确定性的量度，而量度，而熵差熵差经过通信所解除的不确定性才是所能经过通信所解除的不确定性才是所能得到的信息量。得到的信息量。 熵熵是潜在的是潜

10、在的可以产生可以产生和和可以提取可以提取的最大信息量。的最大信息量。凸函数与互信息的凸性凸函数与互信息的凸性 互信息的定义式互信息的定义式 它是输入分布它是输入分布q q( (x x) )及转移概率分布及转移概率分布p p( (y y| |x x) )的函数。的函数。 当条件分布当条件分布( (或条件密度或条件密度) )给定时，平均互信息是输入给定时，平均互信息是输入分布分布( (或密度或密度) )的凸的凸函数。函数。 当集当集X X的概率分布的概率分布( (或概率密度或概率密度) )保持不变时，平均互保持不变时，平均互信息量是集信息量是集R R上所有条件概率分布上所有条件概率分布( (或密度

11、函数或密度函数) )的凸的凸函函数。数。 xyyxypxypxqYXI)()(log)()()(；),(vudEd );()(minVUIDRDijPP 由由I(X; Y)是集是集R R上所有条件概率分布上所有条件概率分布( (或密度函数或密度函数) )的凸的凸函数知此极值存在。函数知此极值存在。R R( (D D) )不小于不小于0 0，但小于，但小于H H( (U U) )。 有失真时的有失真时的逆信源编码定理逆信源编码定理：当速率：当速率R R小于率失真函小于率失真函数时；我们无论采用什么编译码方式，其平均失真必大数时；我们无论采用什么编译码方式，其平均失真必大于于D D。 有失真时的离

12、散无记忆有失真时的离散无记忆信源编码定理信源编码定理：给定失真给定失真D D，令令P P* *为使且为使且I I( (P P) )达到极小的条件概率，则存在长度为达到极小的条件概率，则存在长度为N N的的分组码分组码C C，它的平均失真，它的平均失真d d( (C C) )满足满足),(0)(DRNEedDCd),(DRE*),;(max01PRE它当它当R R R R( (D D) )时恒大于零。定理表明，随着分组长度时恒大于零。定理表明，随着分组长度N N 的增加，我们总能找到一种编码方式，它在速率时可使的增加，我们总能找到一种编码方式，它在速率时可使失真任意接近失真任意接近D D。 Sh

13、annon的率失真理论在连续消息和离散消息之间的率失真理论在连续消息和离散消息之间架上了一座桥梁，从而给数字化提供了一个基础和有效架上了一座桥梁，从而给数字化提供了一个基础和有效的工具。的工具。(Shannon 1959, Berger 1971)。 关键理论进展关键理论进展：关键理论进展的十个里程碑：关键理论进展的十个里程碑Kieffer 1993 (1) 无扰信源编码的诞生无扰信源编码的诞生(1948, C. E. Shannon, B. S. T. J. Vol.27, pp.379-423 pp.623-656. 1948)。 (2) Huffman算法的发现算法的发现(1952, D

14、. A. Huffman, Proc. IRE, Vol.40 pp.1098-1101, 1952)。 (3) 建立建立Shannon-McMillan定理定理(1953, B. McMillan, Ann, Mach. Stat. Vol.24, pp.196-219, 1953)。 (4) 发现发现Lloyd算法算法(1957, S. P. Lloyd 1957年写出，年写出，1982年发表在年发表在IT-28, pp.129-137, 1982)。 (5) 率失真理论系统化率失真理论系统化(1959, C. E. Shannon, IRE Nat, Conv, Rec, Part.4

15、pp.142-163, 1959)。 (6) Kolmogorov Complexity概念诞生概念诞生(1964, A. N. Kolmogorov, Problem of Information Transmission, Vol . 1, pp.4-7, 1965)。 (7) 通用信源编码理论系统化通用信源编码理论系统化(1973, L. D. Davission, IT-19, pp.783-795 1973)。 (8) 多端信源编码理论诞生多端信源编码理论诞生(1973, D. Slepian和和J. K. Wolf, IT-19, pp. 471-480, 1973)。 (9) 第

16、一个实际的算术编码方案第一个实际的算术编码方案(1976, J. Rissannen和和R. Pasco 1976博士论文博士论文, IBM Res Dev, Vol.20 pp.198-203, 1976)。 (10) 发现发现Lempel-Ziv码码(1977, J. Ziv和和A. Lempel, IT-23 pp.337-343 1977)。 技术进展和标准技术进展和标准 技术进展：解决了传输和存储资源所需要的数据压技术进展：解决了传输和存储资源所需要的数据压缩方案。缩方案。 (1) 未压缩时各类信号所需的数据率。参见表未压缩时各类信号所需的数据率。参见表1 表表1 未压缩时各类信号所

17、需的数据率未压缩时各类信号所需的数据率类类 型型 频频 率率 范范 围围 采采 样样 速速 率率 bit/样点或象元样点或象元 未压缩未压缩bit率率语音语音 窄带语音窄带语音 2003200 Hz 8 khz 16 128 kb/s 宽带语音宽带语音 507000 Hz 16 kHz 16 256kb/s声频声频 CD声频声频 2020000 Hz 44.1 kHz 162路路 1.41Mb/s静止静止 FAX 17002200 1 3.74 Mb/页页 VGA 640480 8 2.46 Mb/页页图像图像XVGA 1024768 24 18.87 Mb/页页 NTSC(4:3) 4804

18、83 29.97帧帧/s 16# 111.2 Mb/s电电 PAL(4:3) 576576 25 帧帧/s 16 132.7 Mb/s CIF(4:3) 352288 14.98 帧帧/s 12# 18.2 Mb/s QCIF(4:3)176144 9.99 帧帧/s 12 3.0 Mb/s视视 HDTV(16:9)1280720 59.94 帧帧/s 12 622.9 Mb/s HDTV(16:9) 19201080 29.97 帧帧/s 12 745.7 Mb/s * 基于基于4:2:2彩色子样格式，每彩色子样格式，每4个亮度采样中对个亮度采样中对Cb和和Cr各有两个各有两个色度样点色度样

19、点 # 基于基于4:1:1彩色子样格式，每彩色子样格式，每4个亮度采样对个亮度采样对Cb和和Cr各有一个各有一个色度样点色度样点 (2) 已制定的有关话音编码标准和压缩后已制定的有关话音编码标准和压缩后bit率率 PCM(G.711)，64 kb/s高质量话音编码。高质量话音编码。 ADPCM(G.726, G.727)，32 kb/s话音编码。话音编码。 宽带编码器宽带编码器(G.722)，2-band ADPCM，用于，用于7 kHz带宽话路，高质量低延时带宽话路，高质量低延时, 64, 56和和48 kb/s。 LD-CELP(G.728)，低时延、编码激励、线性预，低时延、编码激励、线

20、性预测声码器，测声码器，3个差分线性预测器，第个差分线性预测器，第50阶预测下一个采阶预测下一个采样值，第样值，第10阶引导量化过程，一个感知加权滤波器用来阶引导量化过程，一个感知加权滤波器用来选择声带激励信号，选择声带激励信号，16kb/s。 CS-ACELP(G.729)，共轭结构、代数，共轭结构、代数CELP，为，为前 向 自 适 应 分 析前 向 自 适 应 分 析 / 综 合 声 码 器 。综 合 声 码 器 。 8 k b / s ， 用 于， 用 于SVD(Simultaneous Voice and Data)Modem。 MPC-MLQ(G.723.1)，多脉冲编码，最大似然

21、译，多脉冲编码，最大似然译码，自适应分析码，自适应分析/综合声码器，但速率较综合声码器，但速率较G.729低，为低，为6.4和和5.3 kb/s，已用于，已用于Internet电话中。电话中。 VSELP(IS-54)矢量和激励线性预测声码器，前向矢量和激励线性预测声码器，前向自适应分析自适应分析/综合声码器，是北美数字蜂窝电话编码标综合声码器，是北美数字蜂窝电话编码标准，准，8 kb/s。 这些标准的恢复语音质量如图这些标准的恢复语音质量如图1所示。其中纵座标所示。其中纵座标为为MOS (Mean Opinion Scores)值，从图值，从图1可以看出，自可以看出，自1980年到年到199

22、0年话音压缩声码器的质量有相当大的进步。年话音压缩声码器的质量有相当大的进步。目前目前2.4kb/s的声码器已有多家产品，如的声码器已有多家产品，如Qualcomm的的Q 4413，可从，可从1000b/s到到13.3 kb/s，固定速率为，固定速率为6.2 kb/s和和13.3 kb/s，全双工，全双工，4.8 kb/s以上达长话水平。又如以上达长话水平。又如DVSI(Digital Voice System, Inc)的的IMBE-1000 TM可提可提供供2.49.6 kb/s，MOS达达3.4左右左右(1995年年)。 GOOD(4) G723.1 IS-127 G.726 G.711

23、 G.729 FAIR(3) MELP FS1016 1990 FS10 POOR(2) BAD (1) 1980 1 2 4 8 16 32 64 图图2 话音编码的主观质量与话音编码的主观质量与bit率的关系率的关系 (3) 声频编码标准和压缩后数据率声频编码标准和压缩后数据率 MPEG-1声频编码器，采用感知编码法，单声道声频编码器，采用感知编码法，单声道信号信号96 kb/s时可提供高质量恢复信号。时可提供高质量恢复信号。 MPEG-AAC声频编码器，每路为声频编码器，每路为8 kb/s192 kb/s在在64 kb/s时的立体声编码可以达到原始声频信号的时的立体声编码可以达到原始声频

24、信号的CD质量。质量。 (4) 图像编码标准和压缩后数据率图像编码标准和压缩后数据率 Group 3 FAX，采用游程长度编码，逐行扫描。，采用游程长度编码，逐行扫描。一维编码，一维编码，200 dpi，压缩比为，压缩比为20:1，Group 4 FAX，采，采用游程长度编码，二维编码，较用游程长度编码，二维编码，较G3 FAX改善改善25%。 JBIG-1，根据局部相邻元进行像元预测，采用算，根据局部相邻元进行像元预测，采用算术编码法，有动态自适应性，用于术编码法，有动态自适应性，用于FAX可与可与G4 FAX相相竞争。竞争。 JBIG-2分段软图样匹配方式，用于字母图像组合分段软图样匹配方

25、式，用于字母图像组合文件。文件。 JPEG，采用，采用DCT、感知量化、熵编码，、感知量化、熵编码，8(像像素素)8(像素像素)组，保证恢复图像质量好的条件下，压缩组，保证恢复图像质量好的条件下，压缩比可达比可达32:1。 JPEG-2000，已有软件产品，可提供低，已有软件产品，可提供低bit率图像，率图像，质量优于已有质量优于已有JPEG标准。标准。 (5) 电视标准电视标准 H.261(p64，p为正整数为正整数)，H.262和和H.263，采，采用动态补偿帧内编码，用动态补偿帧内编码，H.261为基准为基准(baseline)编码器。编码器。变长编码器的熵编码。变长编码器的熵编码。 M

26、PEG-1分组传递和压缩声频视频和数据。类似分组传递和压缩声频视频和数据。类似于于H.26X，主要差别是采用了全向和双向运动补偿。用，主要差别是采用了全向和双向运动补偿。用于于CDROM媒体存储动态图像，媒体存储动态图像，1.4 Mb/s。 MPEG-2，可适应于多信道，宽带网传送多媒体，可适应于多信道，宽带网传送多媒体信号。信号。 MPEG-4，面向对象的、适用于多媒体信号传送，面向对象的、适用于多媒体信号传送的压缩和处理的标准。各对象可独立编码、交互组合、的压缩和处理的标准。各对象可独立编码、交互组合、综合集成于一体。综合集成于一体。Video的码速率可从的码速率可从8k b/s1 Mb/

27、s。 MPEG-7，增加了多媒体大型数据库中对于对象，增加了多媒体大型数据库中对于对象的搜索、索引和认证的能力，尚在修订过程中。的搜索、索引和认证的能力，尚在修订过程中。 信道容量定义为信道容量定义为 C=Max I(X; Y) p(x) 即即C为改变输入分布时，使每个符号所能含有的平为改变输入分布时，使每个符号所能含有的平均互信息量的最大值。相应的输入分布称为最佳分布。均互信息量的最大值。相应的输入分布称为最佳分布。 I(X；Y)是输入分布的凸是输入分布的凸函数，因而上述极大值函数，因而上述极大值一定存在。一定存在。 信道容量表示了信道传送信息的最大能力，这个量信道容量表示了信道传送信息的最

28、大能力，这个量在信息论研究中有重要意义。在信息论研究中有重要意义。 信道编码定理信道编码定理：传送的信息速率：传送的信息速率R R 必须小于信道容必须小于信道容量量C C，否则传送过程中将会造成信息损失，出现错误。，否则传送过程中将会造成信息损失，出现错误。若若R R 和和|1表示的一个矢量表示的一个矢量 |0+ |1，其中，其中| |2| |2=1。一个有一个有N个不相同的两状态存储单元的系统可由个不相同的两状态存储单元的系统可由N个不同个不同的二维的二维Hilbert空间的张量积实现，故可引出矢量空间的张量积实现，故可引出矢量其中其中V=V=Z Z2 2N N，。当，。当 |0+|0+ |

29、1|1是相对于基是相对于基|0|0和和|1|1的度量时，的度量时，量子量子bitbit在特定状态被发现的概率就是相应幅度绝对值的在特定状态被发现的概率就是相应幅度绝对值的平方。一个孤立的量子系统就以这种方式保持其叠加性、平方。一个孤立的量子系统就以这种方式保持其叠加性、不可区分性，数学上用酉不可区分性，数学上用酉(unitary)(unitary)或幺正变换或幺正变换( (即线性和即线性和内积保持内积保持) )，HilbertHilbert空间则类似于欧氏空间中的刚体旋转。空间则类似于欧氏空间中的刚体旋转。酉变换和叠加性是量子力学的中心原理。酉变换和叠加性是量子力学的中心原理。|vv V 量子

30、硬币量子硬币(QCFquantum coin flip)： |0 |1 |0 1 1 系数系数1：破坏性干涉：破坏性干涉(interfere destructively) |1 1 1 系数系数0：建设性干涉：建设性干涉(interfere constructively) 而普通硬币连续抛掷等价于一次掷硬币。图而普通硬币连续抛掷等价于一次掷硬币。图4给出抛给出抛两次量子硬币的结果，两次量子硬币的结果，(QCF)2=NOT。 |1 |0 |1 |0 |1 |0 |1 1/2 1/2 1/2 1/2图图4 抛掷两次量子硬币的结果抛掷两次量子硬币的结果 12/ 12/1 2/2/ 11 2/1 2/

31、1 2/1 2/ IBM的的T. J. Watson研究室的研究室的Rolf Landauer和和Charles Bennett最先将信息论与量子力学联系起来，其最先将信息论与量子力学联系起来，其背景是背景是Moore定律：在过去定律：在过去50年中，计算机的速度每两年中，计算机的速度每两年翻一番，而元器件的体积每两年缩小一倍。当器件的年翻一番，而元器件的体积每两年缩小一倍。当器件的尺寸小到可以用量子力学描述时就遇到了量子效应造成尺寸小到可以用量子力学描述时就遇到了量子效应造成的障碍。的障碍。Bennett和和Landauer想搞清楚器件可以做得多小，想搞清楚器件可以做得多小，运转所需的能量要

32、多大。运转所需的能量要多大。1994年年Peter Shor发现量子重叠发现量子重叠可用于寻求快速分解整数的算法。这是表明量子计算机可用于寻求快速分解整数的算法。这是表明量子计算机可比经典计算机更强有力。量子计算的有效性基于相关可比经典计算机更强有力。量子计算的有效性基于相关量子叠加性或纠缠性，它可以同时处理指数量级的特例。量子叠加性或纠缠性，它可以同时处理指数量级的特例。但是量子系统不可能完全从其它现实世界孤立出来，它但是量子系统不可能完全从其它现实世界孤立出来，它与环境的相互作用造成散屑，即环境测量量子系统使波与环境的相互作用造成散屑，即环境测量量子系统使波包塌陷包塌陷(collapsin

33、g)。 经典计算机采用重复纠错码提高可靠性，而量子经典计算机采用重复纠错码提高可靠性，而量子bit不能克隆不能克隆(clone)因因而不能用类似方法提高可靠性。量子而不能用类似方法提高可靠性。量子计算首先需要考虑海森堡测不测原理计算首先需要考虑海森堡测不测原理(HUPHeisenberg Uncertainly Principle)，在量子系统中无论采用多么精细，在量子系统中无论采用多么精细的操作，都不可能获得观测以前系统的完整信息。例如的操作，都不可能获得观测以前系统的完整信息。例如我们不可能通过放大单个量子为许多它的复本来获取有我们不可能通过放大单个量子为许多它的复本来获取有关它的极性的更

34、多信息。关它的极性的更多信息。HUP正是在对复制正是在对复制(daughter)光光子的极性中引入足够随机性，使为测量而制作的更多个子的极性中引入足够随机性，使为测量而制作的更多个光子所带来的任何优点化为乌有。起初人们相信量子的光子所带来的任何优点化为乌有。起初人们相信量子的非克隆定理非克隆定理(quantum no-cloning theorem)可使量子可使量子bit加加倍。但事实并非如此，它仅仅是排除了重复码。奥妙之倍。但事实并非如此，它仅仅是排除了重复码。奥妙之处在于量子叠加散屑效应不会得到有关原来叠加的任处在于量子叠加散屑效应不会得到有关原来叠加的任何信息，因而也得不到被测散屑的信息

35、。有关量子纠错何信息，因而也得不到被测散屑的信息。有关量子纠错码的研究可参看码的研究可参看Calderbank等等1998。 量子理论认为，量子理论认为，离散是自然的本性；一个自然系统离散是自然的本性；一个自然系统可以用有限的比特值来描述。在系统内，每个粒子的行可以用有限的比特值来描述。在系统内，每个粒子的行为正像一台计算机的逻辑门。它的自旋为正像一台计算机的逻辑门。它的自旋 “轴轴”能指向两能指向两个方向中的一个，因此可以编码一个个方向中的一个，因此可以编码一个量子力学量子力学比特，比特，或或称称 “昆比特昆比特”（qubitsqubits），），并且可以翻转，由此执行一并且可以翻转，由此执

36、行一个简单的计算操作。个简单的计算操作。 昆比特较之于普通比特，它具有远为丰富的性质。昆比特较之于普通比特，它具有远为丰富的性质。 量子物理观还认为，量子物理观还认为，系统在时间上也是离散的。系统在时间上也是离散的。Normam Margolus声称，传递一个比特所需的时间声称，传递一个比特所需的时间 t 依依赖于所施与的能量赖于所施与的能量E，施加的能量越多，则需时可能越，施加的能量越多，则需时可能越短。数学表达式是短。数学表达式是Th/4E其中其中h是普朗克常数是普朗克常数(量子理论的方根参数量子理论的方根参数)。实验量子计。实验量子计算机用质子来在存储信息比特，而用磁场来翻转各比特算机用

37、质子来在存储信息比特，而用磁场来翻转各比特值。值。 物理学与信息论（源于量子力学的中心原理）合流物理学与信息论（源于量子力学的中心原理）合流了。了。 在最近几年内，越来越多的物理学家认为，在最近几年内，越来越多的物理学家认为，所有自然所有自然系统都是计算机。岩石、原子弹及星系可能不运行系统都是计算机。岩石、原子弹及星系可能不运行LinuxLinux程序，但它们也记录和处理信息。每个电子、光子及其他程序，但它们也记录和处理信息。每个电子、光子及其他基本粒子都存储数据比特值。大自然与信息是纠缠在一起基本粒子都存储数据比特值。大自然与信息是纠缠在一起的，正如美国普林斯顿大学的物理学家的，正如美国普林

38、斯顿大学的物理学家John WheelerJohn Wheeler所说，所说，“它来自比特它来自比特” 物质、黑洞和宇宙都可看作是量子计算机。黑洞的本物质、黑洞和宇宙都可看作是量子计算机。黑洞的本质、时空的精细尺度结构、宇宙暗能量的行为以及自然界质、时空的精细尺度结构、宇宙暗能量的行为以及自然界的某些终极的规律等无不以量子力学为基础。宇宙不仅是的某些终极的规律等无不以量子力学为基础。宇宙不仅是一个巨型计算机，正如意大利帕多瓦（一个巨型计算机，正如意大利帕多瓦（PadovaPadova）大学的物）大学的物理学理学Paola ZizziPaola Zizzi所说，所说，“它来自量子比特它来自量子比

39、特”。 普通的掌上计算机普通的掌上计算机：速度为速度为10109 9；存储量为；存储量为10101212。 终终极掌上计算机极掌上计算机：达到普通物质的计算能力极限的计：达到普通物质的计算能力极限的计算机。取占有一升体积的一千克物质，如果将这些物质按算机。取占有一升体积的一千克物质，如果将这些物质按公式公式E=MC2所转换成的能量全数投入到翻转的比特位中，所转换成的能量全数投入到翻转的比特位中，可达可达10105151次运算，熵正比于能量除以温度，相应地达到一次运算，熵正比于能量除以温度，相应地达到一个新的水平比特的信息量。实现的是并行计算。个新的水平比特的信息量。实现的是并行计算。 黑洞计算

40、机黑洞计算机：黑洞的尺寸：黑洞的尺寸(称为称为Schwarzschild半径半径)正正比于它的质量，一千克质量的黑洞有着大约比于它的质量，一千克质量的黑洞有着大约1010-27-27米（为塞米（为塞米米Xennometer级级 ）的半径）的半径(一个质子的半径是一个质子的半径是1010-15-15米米) 。执行。执行10105151次运算。次运算。Bekenstein计算一千克质量的黑洞计算一千克质量的黑洞能够记录大约能够记录大约10101616个比行的信息。个比行的信息。 它传递一个比特的时间是它传递一个比特的时间是1010-35-35秒，等于光从计算机一秒，等于光从计算机一边传到另一边的时

41、间。因此，较之高度并行的极端掌上计边传到另一边的时间。因此，较之高度并行的极端掌上计算机，黑洞是个串行计算机，它的行为如同一个独立的单算机，黑洞是个串行计算机，它的行为如同一个独立的单元。元。 信息的逃逸呈纠缠态信息的逃逸呈纠缠态(entanglement)两个或多个两个或多个系统的性质能跨越时空而相关联的一种量子现象。纠缠可系统的性质能跨越时空而相关联的一种量子现象。纠缠可以离物传态以离物传态 (teleportation)，信息被高度可靠地从一个粒，信息被高度可靠地从一个粒子传送到另一个粒子；这一传输是超越光速的。子传送到另一个粒子；这一传输是超越光速的。 宇宙计算机宇宙计算机：黑洞的各种

42、性质是与时空的性质相互纠：黑洞的各种性质是与时空的性质相互纠缠在一起的。因此如果黑洞能够被认为像一台计算机，那缠在一起的。因此如果黑洞能够被认为像一台计算机，那么时空自身也应可以这样看待。量子力学预言时空与其他么时空自身也应可以这样看待。量子力学预言时空与其他的自然系统一样都是离散的。距离与时间不能被测量到无的自然系统一样都是离散的。距离与时间不能被测量到无限的精度，在很小的尺度上，时空是一些泡沫。限的精度，在很小的尺度上，时空是一些泡沫。 物理学家推测时空泡沫单元的尺度是普朗克长度物理学家推测时空泡沫单元的尺度是普朗克长度(lp)，即即1010-35-35米。这些泡沫单元实际上要大得多，而且

43、的确没有米。这些泡沫单元实际上要大得多，而且的确没有固定的尺寸：时空区域越大，它的构成单元也越大。固定的尺寸：时空区域越大，它的构成单元也越大。 绘制时空几何图形的过程就是一种计算，在这种计算绘制时空几何图形的过程就是一种计算，在这种计算中，通过传递和处理信息，距离得以规范。中，通过传递和处理信息，距离得以规范。 计算的原理，不仅应用于最致密的计算机计算的原理，不仅应用于最致密的计算机(黑洞黑洞)和最和最微小的可能计算机微小的可能计算机(时空泡沫时空泡沫)。最大的计算机：整个宇宙。最大的计算机：整个宇宙。 把可见物质、暗物质以及引宇宙加速膨胀的所谓能量把可见物质、暗物质以及引宇宙加速膨胀的所谓

44、能量等都考虑进去。宇宙能量密度大约是每立方米等都考虑进去。宇宙能量密度大约是每立方米1010-9-9焦耳，焦耳，宇宙包含的能量为宇宙包含的能量为10107272焦耳。宇宙每秒钟可执行高达焦耳。宇宙每秒钟可执行高达1010106106次运算，自宇宙诞生以来它总共已完成了次运算，自宇宙诞生以来它总共已完成了1010123123次运算。次运算。 这些粒子是指中微子和光子，它们的熵密度正比于其这些粒子是指中微子和光子，它们的熵密度正比于其温度的立方。粒子的能量密度温度的立方。粒子的能量密度(决定它能完成的运算数决定它能完成的运算数)表表现为其温度的现为其温度的4次幂。信息比特的总数恰是其运算数的次幂。信息比特的总数恰是其运算数的3/4次方。次方。信息的感知属性信息的感知属性感知信息感知信息感知的信息感知的信息理论；理论；信息的美学属性信息的美学属性美学美学信息信息信息的信息的美美学学理理论。论。五、五、Shannon信息论在研究方法上的启示信息论在研究方法上的启示 1理论与实际的关系理论与实际的关系。五十年信息论发展的历史证。五十年信息论发展的历史证明，理论必须结合明，理论必须结合(扎根于扎根于)实际才有旺盛的生命力，实际实际才有旺盛的生命力，实际可以帮助人们正确地提出问