绘制信源熵函数曲线

1、 实验名称绘制信源熵函数曲线课程名称信息论与编码姓名*指导教师*专业、班级*学号L实验时间实验地点121实验目的掌握离散信源熵的原理和计算方法。熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。 1.离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定X是一个离散随机变量，即它的取值范围R=X,x2,x3，是有限或可数的。设第i个变量x.发生的概率为p.=PX=x.。贝U：定义一个随机事件的自信息量I(x.)为其对应的随机变量x.出现ii概率对数的

2、负值。即：I(X.)=-log2p(xi)定义随机事件X的平均不确定度H(X)为离散随机变量x.出现概i率的数学期望，即：H(X)p(x)I(x)p(x)logp(x)iiiiii实验条件单位为比特/符号或比特/符号序列。平均不确定度H(X)的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H(X)称为信源X的信源熵。必须注意一下几点：某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义,因而是个确定值，一般写成H(X),X是指随机变量的整体(包括概率分布)。信息量则只有当信源输出符号而被接收者收到后，才有意义,这就是给与信息者的信息

3、度量，这值本身也可以是随机量，也可以与接收者的情况有关。熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。当某一符号x.的概率p(x.)为零时,p(x.)logp(x.)在熵公式中无意义，为此规定这时的p(x.)logp(x.)也为零。当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H(X)为零。例1-1,设信源符号集X=0，1，每个符号发生的概率分别为p(0)

4、=p，p(l)=q，p+q=1，即信源的概率空间为X1q则该二元信源的信源熵为：H(X)-logpqlogq=plogp(1p)log(1p)即：H(p)=plogp(1p)log(1p)其中WpW1P=0时，H(0)=0P=1时，H(1)=02.MATLAB二维绘图例对函数y=fx)进行绘图，则用matlab中的命令plot(x,y)就可以自动绘制出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未打开图形窗口，则开一个新的图形窗口绘图。例1-2,在matlab上绘制余弦曲线图，,=cosx,其中WxW21生成横坐标向量，使其为0,，yos计算余弦向量1o绘制图形实验内容止步骤用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。 Maltab代码：p=0.0000001:0.0001:l;h=-p.*log2(p)-(l-p).*log2(l-p);plot(p,h)holdon;stem(0.5,1,-.)