信息论 第一章

信息论第一章第一页，共十九页，2022年，8月28日参考书目1朱雪龙<<应用信息理论基础>>

清华大学出版社20012常迥<<信息理论基础>>

清华大学出版社TP14/333吴伟陵<<信息处理与编码>>

人民邮电出版社

4章照止林须端<<信息论与最优编码>>

上海科学技术出版社1993TN9112/25信息论基础TN911/1.2第二页，共十九页，2022年，8月28日第一章绪论1.1信息的概念1.2信息论研究的对象

目的和内容1.3信息论发展简史与信

息科学第三页，共十九页，2022年，8月28日1.1信息的概念1.1.1信息的概念1.1.2概念区别：信息、情报、知识、消息1.1.3统计信息的测度1.1.4香农信息定义的优缺点1.1.5信息的属性第四页，共十九页，2022年，8月28日1.1信息的概念1.1.1信息的概念统计信息定义：信息是事物运动状态或存在方式的

不确定性的描述。1.1.2概念区别：信息、情报、知识、消息广义信息已包含了情报、知识、消息消息是把客观物质运动和主观思维活动的状态表达出来。第五页，共十九页，2022年，8月28日消息表达方式文字—书信符号—电报数据—股市语言—汉语音符—歌曲图象—电视节目第六页，共十九页，2022年，8月28日信息量不确定性消除程度概率不确定性随机性随机事件概率论随机过程1.1.3统计信息的测度第七页，共十九页，2022年，8月28日举例1：三个随机变量X,Y,Z的密度矩阵为等概率分布时，随机变量的不确定性程度最大。第八页，共十九页，2022年，8月28日举例2：两个随机变量X,Y的密度矩阵为均等概率分布时，样本数多的不确定性程度最大。第九页，共十九页，2022年，8月28日自信息样本空间：某事物所有可能选择的消息集合概率空间：样本空间和它的概率测度。先验概率：某消息的自信息：后验概率：条件概率第十页，共十九页，2022年，8月28日收到消息后，发送端是否是的不确定性：互信息表示收信者收到消息后，已知消除的不确定性，即先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。第十一页，共十九页，2022年，8月28日（1）如果信道无干扰（2）若，则，无信息（3）若，则，信息量大第十二页，共十九页，2022年，8月28日1.1.4香农信息定义的优缺点

优点：(1)科学的定义，有明确的数学模型，可进行定量计算；

(2)与日常信息的含义一致；

(3)

计算结果客观。缺点：(1)有些事物取值的概率模型难以建立；

(2)未考虑信息的主观性和实用性。第十三页，共十九页，2022年，8月28日

物质、能量和信息是物质世界的三大支柱,是科学历史上三个最重要的基本概念.特征:(1)信息、物质、能量统一于事物一身.(2)信息的存在具有普遍性、无限性、动态性、时效性和相对独立性.(3)信息具有可传递性、可转换性、可扩散性、可复制性、可存储性,因而具有共享性.(4)信息具有可度量性.1.1.5信息的属性第十四页，共十九页，2022年，8月28日1.2信息论研究的对象、

目的和内容1.2.1研究对象——通信系统模型1.2.2目的——信息传输系统最优化1.2.3信息论研究的内容第十五页，共十九页，2022年，8月28日1.2.1研究对象——通信系统模型信源编码器信道译码器噪声源信宿消息信号干扰消息第十六页，共十九页，2022年，8月28日1.2.2目的——信息传输系统最优化1

可靠性高使信源发出的消息经过信道传输后，尽可能准确地、不失真地再现在接收端。2有效性高经济效果好，用尽可能短的时间和尽可能少的设备来传送一定数量的信息。往往提高可靠性和提高有效性是矛盾的。

保密性、认证性第十七页，共十九页，2022年，8月28日1.2.3信息论研究的内容1.狭义信息论—

经典信息论：香农主要研究信息的测度、信道容量、信源编码、信道编码理论等。2.一般信息论—

维纳（美）、柯尔莫哥洛夫（苏），除上述内容，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论、保密理论。3.广义信息论第十八页，共十九页，2022年，8月28日1.3信息论发展简史与信息科学信息论是在长期的通信工程实践和理论研究基础上发展起来的。电磁理论和电子学理论促进了电信系统的发展。由信息论研究形