信息论基础复习题目课件

例2-1:有2个球,只有一个是非标重球,问是否存在用天平称次必然找到该球的方法?(从信息的角度解决)解:天平的状态有三种平衡、左轻、左重每称一次消除一种状态,则带来的信息量为og3则称3次后,带来的信息量为3og3=lg7而一个非标球的携带的信息量为kog(·)=kg24结论:g24<lg27存在称三次的方法必然找到该球可见:當惠度量是为了找到解峡向题的方法,不是纯料度量信息的大小例2-1:有2个球,只有一个是非标重球,问是否存在用天平称次1例2设离散无记忆信派2a=3其发生的消息为:(2021201902130012032101103210100210320192210求(1)此消息的自信息量。(2)在此消息中平均每个符号携带的信息量。例22解:(1)消息的自信息量就是等于消息中各个符号的自信息量之和。根据题意可得I(a2=0)=-lgp(a)=-bg≈145比特(a2=1)=-bgp(a2)=-kg≈2特(a1=2)=-gp(a2)=-bg2比特(a1=3)=-gpa1)=-bg3特此消息中共有14个“0”符号,13个“1”符号,12个“2”符号,6个“3”符号,则得到的自信息量是=14(a)+13/(a2)+12/(a3)+61(a1≈14×1.15+13×2+12×2+6×3≈8781bi解:(1)消息的自信息量就是等于消息中各个符号的自信息量之和3(2)此消息中平均每个符号携带的信息量为12=87.81/451.95bit/symbol信源的信息熵H(X)=-∑pla)ogp(a)≈1.91bit/symbol结论:(2)间的值与信源的信息熵不完全相等原因:(2)间的值是该特定消息中平均每个符号携带的信息量,而信息熵是离散无记忆信源平均每个符号携带的信息量,是统计平均值(2)此消息中平均每个符号携带的信息量为4例23:设在一正方形棋盘上共有64个方格,如果甲将一粒棋子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所携带的信息量:(1)将方格按顺序编号,令乙猜测棋子所在方格的顺序号;(2)将方格分别按行和列编号,甲将棋子所在方格的行或列編号告诉乙之后,再令乙猜测棋子所在列或行的位置。例23:5解:(1)令把棋子任意放在棋盘的某一格为事件x,则该事件发生的概率为:p(x)=164则该事件携带的信息量为(x)=-logp(x)=-log(1/64)=6b(2)设行为随机变量x,列为随机变量Y,则在事件y发生后事件x发生的概率为:p(xy)=18则该事件携带的信息量为(x1y)=-1gyxy)=-0918=3i由结果可知事件y的出现降低了事件x发生所携带的信息量原因事件y的出现带来了事件x的部分的信息,导致对事件x的不确定性减小解:(1)令把棋子任意放在棋盘的某一格为事件x,则该事件6例2-4设一系统的输入符号集xx2x2xx,输出符号集yb,y2y输入符号与输出符号间的联合分布为y3x1(0-25000x101003000100050.100000.050.10x3(000050试求:88、和时例2-47解由全概率公式可知:p(x)=025,p(x2)=0.40,p(x)=0.15,p(x)=015,(x)=2019p(y1)=035,(y2)=035,p(y3)=02,p(y4)=0.0则从已知可求:H(XY)=∑∑xwy)gmx)=-0.25l0g0.25-0.10log010-0.30090.30-0050g0.050.10log0.10-0.05090.05-0.100g0.10-0.051090052.665bit/symbolH(X)=∑mx)gpx)=-0.25l09025-0409040-0.150905-05090.15-0.05l090052.066bit/symbol解8H(Y)=-p(y)logp(y03093513590301020191901.856bit/symbolH(X/Y)=H(XY-H(Y)=2.665-1,856H(Y/X)=H(XYJ-H(X=26652.066=0.599ymboH(Y)=-p(y)logp(y9222条件互信息定义:联合集xyz中,在给定4的条件下,x与之间的互信息量定义为条件互信息量,即p(ly,Zk)l(x;3;1z)=logP(,Iz)由公式可知(x;y}1)=1(x13)-(x1yx)表明:在随机变量出现符号z的前提条件下,随机变量Y出现符号y前、后,对信源发送符号x的条件不确定性的减少222条件互信息10信息论基础复习题目课件11信息论基础复习题目课件12信息论基础复习题目课件13信息论基础复习题目课件14信息论基础复习题目课件15信息论基础复习题目课件16信息论基础复习题目课件17信息论基础复习题目课件18信息论基础复习题目课件19信息论基础复习题目课件20信息论基础复习题目课件21信息论基础复习题目课件22信息论基础复习题目课件23信息论基础复习题目课件24信息论基础复习题目课件25信息论基础复习题目课件26信息论基础复习题目课件27信息论基础复习题目课件28信息论基础复习题目课件29信息论基础复习题目课件30信息论基础复习题目课件31信息论基础复习题目课件32信息论基础复习题目课件33信息论基础复习题目课件34信息论基础复习题目课件35信息论基础复习题目课件36信息论基础复习题目课件37信息论基础复习题目课件38信息论基础复习题目课件39信息论基础复习题目课件40信息论基础复习题目课件41信息论基础复习题目课件42信息论基础复习题目课件43信息论基础复习题目课件44信息论基础复习题目课件45信息论基础复习题目课件46信息论基础复习题目课件47信息论基础复习题目课件48信息论基础复习题目课件49信息论基础复习题目课件50信息论基础复习题目课件51信息论基础复习题目课件52信息论基础复习题目课件53信息论基础复习题目课件54信息论基础复习题目课件55信息论基础复习题目课件56信息论基础复习题目课件57信息论基础复习题目课件58信息论基础复习题目课件59信息论基础复习题目课件60信息论基础复习题目课件61信息论基础复习题目课件62信息论基础复习题目课件63信息论基础复习题目课件64信息论基础复习题目课件65信息论基础复习题目课件66信息论基础复习题目课件67信息论基础复习题目课件68信息论基础复习题目课件69信息论基础复习题目课件70信息论基础复习题目课件71信息论基础复习题目课件72信息论基础复习题目课件73信息论基础复习题目课件74信息论基础复习题目课件75信息论基础复习题目课件76信息论基础复习题目课件77信息论基础复习题目课件78信息论基础复习题目课件79信息论基础复习题目课件80信息论基础复习题目课件81信息论基础复习题目课件82信息论基础复习题目课件83信息论基础复习题目课件84信息论基础复习题目课件85信息论基础复习题目课件86信息论基础复习题目课件87信息论基础复习题目课件88信息论基础复习题目课件89信息论基础复习题目课件90信息论基础复习题目课件91信息论基础复习题目课件92信息论基础复习题目课件93信息论基础复习题目课件94信息论基础复习题目课件95信息论基础复习题目课件96信息论基础复习题目课件97信息论基础复习题目课件98信息论基础复习题目课件99信息论基础复习题目课件100信息论基础复习题目课件101信息论基础复习题目课件102信息论基础复习题目课件103信息论基础复习题目课件104信息论基础复习题目课件105信息论基础复习题目课件106信息论基础复习题目课件107信息论基础复习题目课件108信息论基础复习题目课件109信息论基础复习题目课件110信息论基础复习题目课件111信息论基础复习题目课件112信息论基础复习题目课件113信息论基