通信与信息理论基础_第1章绪论.

1、1通信与信息理论基础通信与信息理论基础 罗明星罗明星 信息科学与技术学院信息科学与技术学院 2013年年9月月西南交通大学西南交通大学2参考书目参考书目l教材：教材： Robert J. McEliece(美美)著著.The Theory of Information and Coding(第第2版版) -北京北京:电子工业出版社电子工业出版社,2003.1l参考书参考书u沈连丰等编著信息论与编码，科学出版社，第1版，2004.3主要内容主要内容l 绪论绪论 l 信息的度量信息的度量 l 信道及其容量信道及其容量 l 无失真信源编码无失真信源编码 l 率失真理论与有失真信源编码率失真理论与有失

2、真信源编码 l 信道编码概述信道编码概述 l 线性分组码线性分组码 l 循环码循环码 4补充内容补充内容l MIMO系统信道容量系统信道容量 l 网络编码网络编码l 多用户信息论多用户信息论5第第1 1章章 绪绪 论论1.1 通信系统模型通信系统模型1.2 信息论与编码理论的主要内容信息论与编码理论的主要内容 1.3 信息论与编码理论的形成与发展信息论与编码理论的形成与发展 1.4 信息论与编码理论的应用信息论与编码理论的应用 61.1 通信系统模型通信系统模型l 通信系统模型通信系统模型 71.2 信息论与编码理论的主要内容信息论与编码理论的主要内容 l 问题：问题：设想有两个人，一个是发送

3、者A，另一个是接收者B，发送者A需要将消息尽可能准确地传输给接收者B。l 二元对称信道二元对称信道(BSC: the binary symmetric channel) （0 p 0.5） 81.2 信息论与编码理论的主要内容信息论与编码理论的主要内容 l 简单传输方案简单传输方案： 发送者A将需要传输的每个符号直接发送一次，接收者B接收到任何一个符号后，都判定为发送者A发送的是该符号，那么这种“译码方案”出现错误的概率是p。 91.2 信息论与编码理论的主要内容信息论与编码理论的主要内容 l 编码传输方案编码传输方案：u编码编码 A将需要传输的每个符号重复发送多次，例如三次，即传输符号0时，

4、就发送符号序列000；传输符号1时，就发送符号序列111。 u译码译码 接收者B接收到三个符号后，选择其中出现次数最多的符号，就判定为发送者A发送的是该符号 u译码错误概率译码错误概率 232323 3(1)32.eppppppppp个符号出错个符号出错 提高了信道的可靠度提高了信道的可靠度 ! 降低了传输效率降低了传输效率! 10l 有效性有效性u问题：怎样才能传输更多的消息u通信的实质：信息u研究思路：信息度量、信源编码l 可靠性可靠性u信道出错概率： e=p(cc)u问题：怎样降低信道出错概率e？u研究思路：信道编码 e=p(u u) e=p(c c) 1.2 信息论与编码理论的主要内容

5、信息论与编码理论的主要内容 信息论与编码理论主要目的信息论与编码理论主要目的: 研究通信系统中信息传输的有效性与可靠性研究通信系统中信息传输的有效性与可靠性111.2 信息论与编码理论的主要内容信息论与编码理论的主要内容 l 信息的定义与度量信息的定义与度量l 数据压缩数据压缩: 信源编码信源编码 l 信道的最大容量信道的最大容量l 通信的可靠性通信的可靠性 : 信道编码信道编码 12l 1820-1830: 法拉第法拉第(M. Faraday)发现电磁感应规律发现电磁感应规律l 1832: J.Henry发明电报发明电报l 1838: 莫尔斯莫尔斯(F.B.Morse)发明电报码发明电报码(

6、 信源编码的先驱信源编码的先驱) l 1864: 麦克斯韦麦克斯韦(Maxwell)预言电磁波的存在预言电磁波的存在l 1876: 贝尔贝尔(A.G.Bell)发明电话发明电话l 1885: 凯尔文凯尔文(L. Kelvin)研究一条电缆的极限传信率问题研究一条电缆的极限传信率问题l 1888: 赫兹赫兹(H.Hertz)用实验证明了电磁波的存在用实验证明了电磁波的存在l 18951896: 英国的马克尼英国的马克尼(G. Marconi)和俄国的波波夫和俄国的波波夫发明了无线电通信发明了无线电通信l 1904: Fleming发明二极管发明二极管l 1906: DeForest发明三极管发明

7、三极管1.3 信息论与编码理论的形成与发展信息论与编码理论的形成与发展 13l 1904: Fleming发明二极管发明二极管l 1906: DeForest发明三极管发明三极管l 1907: 弗雷斯特弗雷斯特(L.Forest)发明电子管发明电子管(电磁波放大电磁波放大)l 1917: (G.A.Campbell)发明滤波器发明滤波器l 1922: 卡逊卡逊(J.R.Carson)研究调幅信号的频谱结构研究调幅信号的频谱结构,开始开始明确上下边带的概念明确上下边带的概念l 1924: 奈奎斯特奈奎斯特(H.Nyquist)与曲夫缪勒独立指出与曲夫缪勒独立指出: 信号信号传输速率与信道带宽成正

8、比传输速率与信道带宽成正比l 1925-1927: 建立电视系统建立电视系统l 1928: 奈奎斯特奈奎斯特(H.Nyquist)建立了限带信号的采样定理建立了限带信号的采样定理1.3 信息论与编码理论的形成与发展信息论与编码理论的形成与发展 14l 1928: 哈特莱哈特莱(R.V.Hartley)对信息量作了定义对信息量作了定义(H=Nlogs)l 1930: 维纳维纳(N.Wiener)研究随机信号研究随机信号l 1936: V.D. Landon发表有关噪声的研究论文发表有关噪声的研究论文l 1936: E.H.Armstrong提出频率调制提出频率调制 l 1939: 达德利达德利(

9、H.Dudley)发明声码器发明声码器( 信源编码的先驱信源编码的先驱) l 1939: H.Reeve提出脉冲编码调制提出脉冲编码调制l 1948: 香农香农(C.E. Shannon)创立信息论创立信息论 1.3 信息论与编码理论的形成与发展信息论与编码理论的形成与发展 15C. E. Shannon（香农（香农: 1916-2001）l Education: uBS, Mathematics and electrical engineering , University of Michigan, 1936.uMS, Electrical engineering, MIT, 1938uPh

10、.D, Mathematics, MIT, 1940.l Working Experienceu1940-1941, Princeton Universityu1941-1972, Bell Lab.u1956-1980, MIT, Professor16C. E. Shannon（香农（香农: 1916-2001）l Information & coding C. E. Shannon, A mathematical theory of communication theory（通信的数学理论）, Part 1&2, Bell Syst. Tech. J., Vol.27,

11、pp.379-423,623-656, 1948.l Cryptography C. E. Shannon: “Communication theory of secrecy systems,” （保密系统的通信理论） Bell Syst. Tech. J., Volume 28, 656-715, 1949.17lThe fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another po

12、int Shannon, 1948lShannon channel coding theorem: Arbitrarily reliable communication is possible at any rate below channel capacity.18信息论之父信息论之父Understanding, before almost anyone, the power that springs from encoding information in a simple language of 1s and 0s, Dr. Shannon as a young man wrote tw

13、o papers that remain monuments in the fields of computer science and information theory.Shannon was the person who saw that the binary digit was the fundamental element in all of communicationThat was really his discovery, and from it the whole communications revolution has sprung.1919CDMA之父之父“Advan

14、ces in digital communication in the latter half of this century were guided by the lessons of information theory but fueled by the progress in solid state electronics. ”-Viterbi信息论的贡献信息论的贡献2020信息论的贡献信息论的贡献MIMO容量容量B3G/4G, LTE空时编码空时编码/预编码预编码理论成果理论成果技术创新技术创新系统变革系统变革信源编码定理信源编码定理1G2G数据压缩技术数据压缩技术信道编码定理信道编

15、码定理RS/CC/Turbo/LDPC码码2G3G多用户信息论多用户信息论CDMA/多用户检测多用户检测2G/3G21 信息论与其它学科的关系信息论与其它学科的关系22信息论研究组织及期刊、会议信息论研究组织及期刊、会议l 组织：组织：IEEE Information Societyl 期刊：期刊：IEEE Transactions on Information Theoryl 会议：会议：uInformation Theory Symposium （ISIT）uInternational Symposium on Information Theory and its Applications

16、 (ISITA) 23l Shannon founded information theory in 1948lThe Shannon Award honors consistent and profound contributions to the field of information theoryDavid S. Slepian (1974)Robert M. Fano (1976)Peter Elias (1977)Mark S. Pinsker (1978)J. Wolfowitz (1979)W. Wesley Peterson (1981)Irving S. Reed (1982)Robert Gallager (1983)Solomon W. Golomb (1985)William L. Root (1986)James L. Massey (1988)Thomas M. Cover (1990)Andrew J. Viterbi (1991)Elwyn R. Berlekamp (1993) Aaron D. Wyner (1994) G. David Forney, Jr.(1995) Imre Csiszar (1996) Jacob Ziv (1997) Neil J. A. Sloane (1998) Tadao K