《随机信源》课件

随机信源信息论与随机信源理论基础课程概述1课程目标掌握随机信源的基本理论2主要内容信源基础、编码理论与应用3学习方法理论结合实例，公式推导与应用并重第一章：信源基础基本概念信息量定义理论模型概率统计基础数学工具熵与互信息1.1信源的定义信息的来源产生信息的实体或系统随机变量与随机过程信源的数学描述方式1.2信源的数学模型离散随机变量取值有限或可数无限连续随机变量取值在某区间连续变化1.3信源的分类1离散信源输出符号有限2连续信源输出符号连续3混合信源既有离散又有连续特性1.4信源的统计特性概率分布符号出现的可能性期望平均值特性方差离散程度1.5信源的熵1熵的物理意义不确定性度量2熵的数学表达H(X)=-∑p(x)logp(x)3熵的基本性质非负性，上界限制1.6信源熵的计算信源类型熵的计算公式离散信源H(X)=-∑p(xi)logp(xi)连续信源h(X)=-∫p(x)logp(x)dx第二章：离散信源概率模型离散分布1熵计算不确定性度量2编码方法无失真压缩32.1离散信源模型单符号信源每次输出一个符号多符号信源每次输出多个符号2.2离散无记忆信源定义符号间统计独立特性联合概率等于边缘概率之积熵特性序列熵等于单符号熵之和2.3马尔可夫信源定义当前符号仅依赖于前n个符号状态转移概率矩阵描述状态间转换关系2.4马尔可夫链1一阶马尔可夫链仅依赖前一状态2二阶马尔可夫链依赖前两个状态3高阶马尔可夫链依赖更多历史状态2.5离散信源的熵率熵率定义为单位符号平均熵计算方法包括极限计算和稳态分布方法2.6离散信源的冗余度1最大熵等概率分布时熵最大0最小熵确定性分布时熵为零R冗余度R=1-H/Hmax第三章：连续信源1概率密度函数连续随机变量的统计描述2典型连续信源高斯信源、莱斯信源等3微分熵连续信源不确定性度量3.1连续信源模型概率密度函数PDF:p(x)累积分布函数CDF:F(x)3.2高斯信源x值概率密度高斯信源是最常见的连续信源，服从正态分布3.3莱斯信源定义信号加噪声的包络分布应用无线通信中的衰落信道模型3.4连续信源的熵微分熵h(X)=-∫p(x)logp(x)dx相对熵D(p||q)=∫p(x)log[p(x)/q(x)]dx熵的性质可能为负，依赖于坐标系3.5连续信源的互信息定义I(X;Y)=h(X)-h(X|Y)1性质非负性，对称性2应用信道容量计算3第四章：信源编码编码目标压缩数据，减少冗余编码类型无失真编码与有损编码编码方法熵编码，变换编码等4.1信源编码的目的1通信效率节省传输资源2压缩存储减少存储空间需求3减少冗余去除统计和感知冗余4.2无失真编码定义解码后完全恢复原始信息应用场景文本、程序代码、科学数据编码类型熵编码，字典编码等4.3霍夫曼编码基于概率构建二叉树高频符号短码，低频符号长码4.4算术编码1区间划分按符号概率划分[0,1)区间2区间缩小逐步缩小编码区间3码字输出最终区间内任一数值4.5游程编码定义记录重复符号的数量适用情况具有大量重复符号的数据应用传真图像，黑白图像4.6LZW编码原理基于字典构建编码过程动态创建和更新字典优势自适应，不需预处理4.7有损编码定义允许部分信息丢失1应用场景图像、音频、视频2评价指标客观质量与主观感知3编码方法量化、变换编码44.8量化1标量量化单个样本独立量化2矢量量化多个样本联合量化3均匀量化量化间隔相等4非均匀量化量化间隔不等4.9变换编码DCT变换将信号变换到频域小波变换多分辨率分析第五章：信道编码1纠错编码检测并纠正错误2分组码处理固定长度数据块3卷积码处理连续数据流5.1信道编码的目的错误检测识别传输错误错误纠正恢复原始信息抗干扰提高通信可靠性5.2线性分组码定义码字形成线性空间生成矩阵G矩阵定义编码校验矩阵H矩阵检测错误5.3循环码定义码字循环移位仍为码字生成多项式g(x)定义编码规则编码电路移位寄存器实现5.4卷积码基于移位寄存器和模加器构成维特比算法实现最大似然解码5.5Turbo码1并行级联编码两个RSC编码器2交织器改变数据顺序3迭代解码软输入软输出解码5.6LDPC码定义稀疏校验矩阵图表示二分图模型编解码算法置信传播算法第六章：信源-信道联合编码联合优化整体设计编解码方案1率失真理论有损压缩的理论基础2实际应用现代通信系统设计36.1联合编码的概念定义信源编码与信道编码的统一设计优势比分离设计更接近理论极限6.2率失真理论失真D率R(D)率失真函数R(D)描述了在给定失真下的最小比特率6.3联合源信道编码定理1定理内容可靠通信的必要条件2意义通信系统设计的理论基础3局限性非构造性，复杂度不考虑6.4实际应用例子语音编码移动通信中的语音压缩图像编码JPEG，JPEG2000标准视频编码H.264/AVC,H.265/HEVC第七章：密码学基础信息安全保密性、完整性、可用性加密技术对称与非对称加密密钥管理生成、分发与存储7.1密码学与信息论关系信息论提供安全性度量1区别密码学关注信息保护2混淆增加明文到密文映射复杂度3扩散明文变化影响多个密文位47.2对称加密原理加解密使用相同密钥分组密码AES,DES等流密码RC4,ChaCha20等7.3非对称加密原理公钥加密，私钥解密RSA算法基于大数分解困难性应用场景数字签名，密钥交换7.4密钥管理密钥生成随机性与强度保证密钥分发安全通道建立密钥存储防止未授权访问密钥更新周期性更新密钥7.5信息隐藏数字水印嵌入版权信息隐写术秘密信息隐藏第八章：信息论应用通信系统信道容量优化数据压缩高效存储与传输人工智能机器学习算法生物信息学DNA序列分析8.1通信系统1信道容量C=maxI(X;Y)2编码调制联合优化比特到符号映射3多天线技术MIMO系统信息论分析8.2数据压缩1无损压缩ZIP,PNG,FLAC2有损压缩JPEG,MP3,MP43压缩比原始大小与压缩大小比率8.3模式识别特征提取降维与信息保留1分类算法基于信息度量2决策理论最小化错误概率38.4机器学习信息增益决策树分裂准则互信息特征选择依据KL散度分布相似性度量8.5金融分析熵值可用于衡量市场的不确定性和波动性8.6生物信息学DNA序列分析基因组信息量计算蛋白质结构预测基于互信息的接触预测系统发育树基于信息距离构建课程总结1信源理论随机性与不确定性量化2编码技术高效表示与传输3