信息理论与编码-40学时第1章 绪论

信息论与编码技术

40学时贾慧娟计算机学院stuwxtx@163.comPassword:jiahuijuan2023/10/81教材教材：《信息论与编码》第2版电子工业出版社十一五规划教材陈运主编参考书：《信息论基础》电子工业出版社黄佳庆主编《信息论与编码基础》

电子工业出版社唐朝京主编《信息论基础》北京航空航天大学出版社周荫清主编《信息论与编码》清华大学出版社2023/10/82前续课程概率论与数理统计线性代数后继课程计算机网络无线网络技术密码学2023/10/83主要内容2.12345概论信源熵信道容量信息率失真函数信源编码147信道编码密码学6离散信源连续信源单符号离散信源多符号离散信源离散信道容量连续信道容量：信源压缩编码的理论基础离散信源连续信源定长编码变长编码线性分组码循环码卷积码信息论编码技术2023/10/84第1章概论主要内容：1.1信息的一般概念1.2通信系统模型1.3信息论的起源、发展1.4信息论的研究内容2023/10/85第2章信源熵主要内容：2.1单符号离散信源

2.2多符号离散平稳信源及熵2.3连续信源及熵2023/10/86第3章信道容量主要内容：3.1信道的数学模型与分类3.2单符号离散信道的信道容量3.3多符号离散信道的信道容量3.4连续信道及其容量光纤分路器2023/10/87第4章信息率失真函数主要内容：4.1基本概念4.2

离散无记忆信源R(D)的计算4.3连续无记忆信源的R(D)的计算

声音信号学校照片2023/10/88第5章信源编码主要内容：5.1离散信源最佳变长编码5.2连续信源编码2023/10/89第6章信道编码主要内容：6.1信道编码简介6.2线性分组码6.3循环码6.4卷积码2023/10/810第7章密码学主要内容：密码基本知识古典密码体制现代密码体制2023/10/811第1章概论主要内容：1.1信息的一般概念1.2通信系统模型1.3信息论的起源、发展1.4信息论的研究内容2023/10/81213信息的基本理论人类社会的生存和发展，时刻离不开接收信息、传递信息、处理信息和利用信息。古代烽火台上的狼烟，传递的是战争信息，通知人们有敌来犯。现代用各种高科技手段来报张贴画像，传递的是人的相貌信息，用于寻人。现代用互联网通缉、人肉搜索天冷了，感觉到身上起鸡皮疙瘩，传递的是冷暖信息，告诉人们该添衣服了。花儿开放时的色彩和花香，传递的是信息，引诱蜜蜂蝴蝶为其授粉。2023/10/813信息的定义通俗地理解：信息被认为是消息、知识、情报。信息与其联系密切，但信息的定义更深刻、广泛。信息不等同于消息：有神秘人士告诉你两条绝密消息：世界银行要招副总裁比尔盖茨要为女儿择婿知识是一种具有普遍性和概括性的高层次的信息情报是军事上专用的一类特定的信息信息就是信息，它既不是物质也不是能量（1948年，维纳）。信息、物质和能量是构成一切系统的三大要素。2023/10/814信息与消息的关系信息是系统中传送（或存储、处理）的对象，它包含在消息之中。同一信息可用不同消息形式（如语言、文字、图像）来传递。如：钓鱼岛事件消息是信息的载体，是比较具体的形式，如语言、文字、数字、图像。所有这些形式都是可以被人们所感觉到的。2023/10/815消息与信号的关系信号是消息的载体。是用来表示消息的物理量（声音信号、电信号、光信号）可用不同类型的信号（如声、光、电）传递同一消息。话音声音信号

电信号

光信号同一信号在不同的情况下表示不同的信息红灯信号在十字路口表示禁止通行的信息在电子仪器板上，表示仪器是否正常工作的信息2023/10/816信号携带消息，消息包含着信息。信号消息信息2023/10/817信息的主要特征信息是无形的（看不见，摸不着）不具实体性，它必须依赖一定的消息形式才能为人所获知。信息有大小，可以度量：如：“中秋国庆期间免收过路费”消息在收到之前未知（以一定的概率存在），收到之后可以获取信息，从而认识事物。信息可以共享（互联网就是一个共享各种信息的平台）。信息可以压缩、传输、接收、消失。信息有一定的时效性。2023/10/818信息科学信息科学是一门综合性学科，它研究信息及其运动规律。研究的内容包括：信息的本质及其度量，信息的产生、获取、传播、存储及处理。研究的目的：扩展人们获取信息的手段和速度，提高信息的利用能力2023/10/819信息科学带来的信息产业信息产业是专门从事信息的生产、传播、出售和服务的行业。包括：信息技术设备制造：手机生产、天线制造、交换机生产、光缆/光传输设备生产…….信息服务：手机增值业务开发、电子出版、数据库服务、网络接入服务、网络应用服务（企业信息化建设、电子商务）、网络推广…….2023/10/820第1章概论（简介）主要内容：1.1信息的基本概念1.2通信系统模型1.3信息论的起源、发展、研究内容1.4研究内容2023/10/821通信系统通信系统：信息的传输系统。如：电话、计算机网络2023/10/8221.2通信系统模型信源、信道、信宿信源：是发出消息的源头信道：是消息传送媒介信宿：是消息的目的地信源编码器信道译码器信宿干扰源2023/10/823通信系统模型进一步细分信源信源编码器纠错编码器调制器信道干扰源解调器信道译码器信源译码器信宿产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。对信源输出进行变换对信源编码输出变换将信道编码输出变成适合信道传输的方式信息的接收者研究的主要问题是消息的统计特性和产生消息的速率提高抗干扰性重在有效性研究信道的统计特性和传信能力，即信道容量研究干扰源的统计特性，决定信道的传输能力。编码器的逆变换研究各种可实现的解调和译码方法2023/10/824通信系统模型组成信源信宿信源编/译码信源编码集中于解决传输的有效性问题；需要去除冗余信息——信源编码应尽量短。例：语音压缩编码Vocoder图象压缩编码JPEG(JointPhotoshopExpertGroup)MPEG(MovieEPG)文本压缩编码Winzip

信道编/译码信道编码集中于解决抗信道干扰和失真问题，即解决传输的可靠性问题。需要添加冗余信息——信道编码使码的位数增加，码长变长。例：卷积码、级联码、Turbo码调制/解调:将信号的频率或格式转化成适合信道传输的。2023/10/825信息传输系统的性能要求有效性：用尽可能短的时间和尽可能少的设备来传输一定数量的信息。可靠性：使信源发出的消息经信道传输后，尽可能准确地、不失真地在接收端重现。保密性：隐蔽或保护通信系统中传输的信息，使它只能被授权接收者获取，非授权接收者不能接收和理解。认证性：接收者能够正确判断接收到的消息的正确性。验证消息的完整性，判定不是伪造或篡改的。可靠性、有效性、保密性和完整性共同构成现代通信传输系统的全面要求。2023/10/826第1章概论（简介）主要内容：1.1信息的基本概念1.2通信系统模型1.3信息论的起源、发展1.4研究内容2023/10/8271948年以前信息论的发展Telegraph(Morse);图1-1摩尔斯的电报机2023/10/828有线电报1837年，英国库克和惠斯通设计制造了第一个有线电报机，并申请了专利。1837年，原本是一流画家的莫尔斯开始研究电报机。1839年，发明莫尔斯电码。1844年5月24日，莫尔斯在美国国会大厅，亲自按动按键，向巴尔的摩发送了世界上的第一封电报，电文内容是《圣经》中的一句话：上帝啊，你创造了何等的奇迹！此举轰动了世界。随后成立世界上第一个电报公司。2023/10/829有线电报在中国的发展1871年,丹麦大北电报公司铺设香港（长崎）

上海的第一条入侵中国的电报水线，并成立上海租界电报局。1873年，华侨王承荣与福州的王斌研制出我国首台电报机；同年发明了汉字电码，每个汉字由4个数字来代表。1887年，中国自主建设第一条海底电缆（刘铭传：台湾

福州）。2023/10/830WirelessTelegraph(Marconi);1895年，马可尼在自家的花园里成功地进行了无线电波传递实验，次年即获得了专利。1898年，在英吉利海峡两岸进行无线电报跨海试验成功，通讯距离为45km。1909年，诺贝尔物理学奖授予英国伦敦马可尼无线电报公司的意大利物理学家马可尼（GuglielmoMarconi，1874—1937）和德国阿尔萨斯州斯特拉斯堡大学的布劳恩（KarlBraun，1850—1918），以承认他们在发展无线