模糊集合与模糊信息熵课程设计

1、模糊集合与模糊信息熵1948年，信息论的创始人Shannon发表了通信的数学理论，研究了通信系统，用概率方法开辟了对信息的了解和研究。21世纪的社会是一个信息大爆炸的社会，我们的身边有着各种各样的信息，人们对于如何有效处理这些信息的渴望促进了信息论的发展。在信息科学发展中，模糊信息理论是一个迅速发展的信息科学的分支，它与Shannon信息论有着很大的差别，是一种基于模糊集理论的信息科学，在通信，计算机，声呐，雷达，导航，制导，空间测控等各种电子系统中，模糊信息的提取，处理和利用占有极为重要的地位。本文详细介绍了模糊信息与模糊信息熵的概念，在了解熵的发展历程和深刻认识模糊信息概念的基础上，研究模

2、糊集合与模糊信息熵的基本性质，并利用模糊熵的性质解决了一些问题。一信息的概念信息是指反应客观世界中各种事物的特征和变化的组合，是一种有用的组合。信息具有普遍性，传递性，识别性，转换性，存储，再生，共享性，价值性，时效性等性质。二模糊性指客观事物的差异在中介过渡时呈现的“异此异彼”性模糊性就是无法确定其界限的性质，事件本身的含义就是不明确的，但事件发生与否是明确的。例：“老张的病不轻”，老张有病是明确的，但老张病重到何种程度是不明确的。模糊概念：无明确的外延的概念，可以用集合来描述（即集合可以表示概念，一个概念有其外延和内涵，内涵指的是符合此概念的对象所具有的共同属性，外延指的是符合此概念的那些

3、对象的全体）模糊理论不对事物做简单的肯定与否定，而是用隶属度来反应某一事物属于某范畴的程度，用这种方法来表示客观事物存在的模糊性。例：关于人，“年轻”的这个概念。究竟多大年龄以下为“年轻”，这个标准是以每个人的主观感觉为依据的，很难划定。我们不妨把年轻到什么程度的问题，用01之间的数来表示，如1540岁分别表示成：15-1.0,20-0.9,25-0.8,30-0.6,35-0.4,40-0.2.这就是一个模糊集合，由于这些程度是构成该集合的元素，因此使它们对应起来的函数就称之为隶属度函数。（可见模糊性的东西本身是没有明确的界限）三模糊信息与事物的模糊性想联系的信息称之为模糊信息。也可以说，模

4、糊信息是以模糊状态显现出的一种表现形式。模糊信息论与香农信息论同属于语法信息（将事物形式因素的信息部分称为“语法信息”）的研究领域，但有着不同的研究对象，不同的研究工具，不同的应用环境和不同的研究目标。四模糊信息与模糊集合定义4.1（集合）：给定论域X和给定的某一性质P,X中具有性质P的元素所组成的总体，叫做集合，简称为集。可又下式表示：Ax|p(x)(4.1)式中的p(x)为“x具有性质p”的缩写。设A是论域X上的集合，记RA(x)=1xeA0 x电A(4-2)为集合A的特征函数。对任一x都有唯一确定的特征函数卩A(x)e01与之对应这种对应的关系成为映射。即R(x):XT0,1A(4.3)

5、集合A可由R(x)来确定：A定义4.2(特征空间)：A=xIR(x)=1A(4.4)设论域为X，xeX，称X为对象空间，x的n个特性用特征矢量(p,p，,p)表TOC o 1-5 h z12n示。(p，p，p)所有可能的取值的集合，称为特征空间。12n定义4.3(隶属度函数)卩(x):AX中的一个模糊集合A1由隶属度函数卩(x=(p,p，p)，x具有性质A12n(p,p，,p)来描述。它是一个定义在对象空间X上的特性空间到区间0,1的函数变换12n(映射)。卩(x=(p,p，p)在x点的数值表示x在A中的隶属度A12n=0称为x对A无隶属度；1RA(x)=1称为x对A有满隶属度；(4.5)11

6、T1称为X对A有较高隶属度。1定义4.4(模糊集合):令X是一个点(对象)集合，X是A中的一个元素，令p,p，p是x的n个感兴12n趣的特性，那么一个x中的模糊集合A为A二(x,R(x二(p,p，p)IxeA,R(x二(p,p，p)为隶属度函数A12nA12n也即论域X上的模糊集合A由隶属度函数巴(x)来表征。其中，巴(x)在实轴的闭区间0，1取值，巴(x)的值反应了x中的元素x对于A的隶属程度。性质4.1：A,B如对VxeX，均有卩(x)二卩(x)(4.6)AB则称A和B相等，记为A=B。性质4.2：A,B如对VxeX，均有卩(x)0为A的支集A与B的交集记做ADB，对VxeX，均有卩(x)

7、=卩(x)D卩(x)=min(卩(x),卩(x)(4.8)TOC o 1-5 h zADBABbABA与B的并集记做AUB，对VxeX，均有卩(x)=卩(x)U卩(x)=max(卩(x),卩(x)(4.9)AUBABbABA的补集记做Ac，对VxeX，均有卩(x)=1卩(x)(4.10)AcA性质4.5：模糊集运算的基本定律，设为论域，为中的任意模糊子集，下列等式成立幂等律：ADA=A,AUA=A结合律：AD(BDC)=(ADB)DCAU(BUC)=(AUB)UC交换律：ADB=BDA,AUB=BUAAD(BUC)=(ADB)U(ADC)分配律：分配律：AU(BDC)=(AUB)D(AUC)同

8、一律：AP0=A,AU二A零一律：an二,au0=0吸收律：An(AUB)=A,AU(AnB)=A得摩根律：(AnB)c=ACUBc(AUB)c=AcnBc双重否定律：(Ac)c=A性质4.6：设A,BgF(x)A与B的代数积，记做AB(4.11)卩(x)=卩(x)卩(x)TOC o 1-5 h zABABA与B的代数和，记做A+B卩(x)=p(x)+p(x)-卩(x)卩(x)(4.12)(A+B)ABABA与B的有界积，记做AB(4.13)卩(x)=max(0,卩(x)+p(x)-1)(AB)ABA与B的有界和，记做AB(4.14)卩(x)=min(1，卩(x)+y(x)(AB)AB性质4.

9、7：模糊集A,B,C的有界运算具有如下性质：结合律：(AB)C=A(BC)(AB)C=A(BC)交换律：AB=BA,AB=BA得摩根律：(AB)c=AcBc(AB)c=AcBc同一律：A0=A,A=A，零一律：AO=O,A0=0互补律：AAc=O,AAc=0模糊集与普通集合，即分明集不同，由于不能以取值0或1来决定所考虑的元素是否属于该集合而体现出了不确定性，这种不确定性在迷糊数学中就是模糊性。五熵的概念以及发展历程德国物理学家克劳修斯(R.Clausius)在19世纪60年代把熵作为热力学的一个概念而提出。之所以要提出熵概念，是由于热力学第一定律(能量守恒与转化定律)不足以描述自然界的能流变

10、化规律，因而需要一个描述转化的量和转化的概念，这就是熵。熵可以表示一个物质系统中能量衰竭程度，是用以判别自发过程的一个状态函数。克劳修斯熵，增熵原理(热力学第二定律)：系统的熵只能从低到高，而且绝不会向相反的方向进行。玻尔兹曼熵：熵是系统在某一热力学状态下分子运动混乱程度大小的一种度量。申农熵(信息熵)：表达了关于事物不确定性的数学度量。信息熵虽是源于热力学及统计力学熵，而又有所异化了的熵。熵既是状态量又是迁移量，而从本质上来说却是透过状态(不确定性，混乱等)代表的一种非永恒，非平衡，非实体的思想观念。六模糊信息熵DeLuca与Trmini以模糊集理论的形式定义了一种非概率熵，这种熵是所考虑状

11、态不确定的整体度量，可看成为与随机试验无关的信息的度量，这种熵在不确定性主要来自内部而不是统计上的情形是有用处的。因此它给出了状态模糊程度的一种度量，它也可被看成在作出决策时受到的一种平均内在信息。对模糊集的模糊程度的数量化是模糊集理论的一个重要方面。一般模糊性的度量称为模糊熵，它是一个映射E(X):FS(x)TR+(6.1)S式中：FS(x)为有限离散论域X上的所有模糊子集的集合。s模糊熵都应满足以下的四条公理。其中卩(X)为模糊集A的隶属函数，VxgXAP:E(A)=0o卩(x)=0或11AP:E(A)取最大值o卩(x)=1/22AP:如果AYB,则H(A)yH(B),其中“AyB”表示A

12、比B峰化3卩(X)(X)，若卩(X)(x),若卩(X)1/2ABBP:E(A)=E(Ac),其中Ac为A的补集4P表明任何分明集不存在模糊性，所以它的模糊熵为零；P表明在FS(X)中仅有一个12S模糊集具有最大程度的模糊性：P说明若A峰化则意味着它的模糊性减少了；P表明模糊34集A与它的补集具有相同的模糊性。Zadeh最先提出了度量迷糊不确定性的设想，这种方法是与概率联系在一起的，设x(i=1,2,n)出现的概率是p，贝IiiE(A)=-r(x)plogp(6.2)Aiiii=1不满足PP，从形式上看，它仅是加权Shannon熵。14在不参照概率的条件下，DeLuca与Trmini给出了迷糊性

13、的度量E(A)=一K工卩(x)log卩(x)+1卩(x)loglp(x)(6.3)AAAAx式中：K为归一化因子。满足pp14Hgashi与Klir提出一种观点。以模糊集A与它的补集之间Ac的差异的缺少程度来度量其模糊性。显然，模糊集A和它的补集Ac之间的差异程度越小，则该集合越模糊。设d为一般的距离度量，则A的熵被定义为E(A)二d(B,Be)d(A,Ac)d式中：B为论域X内的任意一个分明子集，选择它的原则是使得d(B,Be)可能是FS(X)S中与补集c运算有关的最大的距离。N.R.Pal与S.K.Pal.以指数形式导出了另一类模糊熵定义：E(A)二K卩(x)exp卩(x)+1(x)exp

14、1卩(x)AiAiAiAii=1式中K为常数。(6.4)满足PP14(APB)工count(A)(6.5)设A,BeFS(APB)工count(A)(6.5)S(B,A)/S(A,B)=(工count(APB)/工count(B)/(工count或工count(A)/工count(B)=S(B,A)/S(A,B)(6.6)这里S(A,B)表示集合A属于集合B的程度，或A处于B中子集的程度，亦称为B对A的模糊(AP(APB)/工count(A)(6.7)S(A,B)=Degree(AuB)=工count其中工count(A)=xy(x)(6.8)A两边取对数得：In(工count(A)/工cou

15、nt(B)=In(S(B,A)/S(A,B)(6.9)S(B,A)/S(A,B)可看成模糊似然比。随着两个模糊信息A和B之间的子集度的减少，式中的比率将趋近于1。所以式中的右边可被解释为鉴别所需的信息量，这种鉴别有利于A而不有利于B。让卩()和卩()分别是A和B的隶属度函数，那么，从式中可以推出：ln(工卩(x)/工卩(x)=ln(S(B,A)/S(A,B)(6.10)AiBiii对某个x，i=1,2,n,为鉴别所需要的信息量为iI(A,B:x)=ln(y(x)/y(x)(6.11)1iAiBi因此，有利于A而不有利于B,为了鉴别所需要的模糊期望信息是：I(A,B)=Sy(x)ln(卩(x)/

16、卩(x)(6.12)1AiAiBii类似的，在Bc中鉴定Ac所需要的模糊信息期望是:cI(A,Bc)=E1-y(x)ln(1-y(x)/(1-y(x)1AiAiBii模糊偏熵与模糊关联熵定义6.1:设A,BeFS(X),则A关于B的偏熵定义为SE(A)=Xy(x)ln卩(x)+1卩(x)lnl卩(x)(6.14)BBiAiBiAii=1式中B称为基准模糊集。在此定义中，按惯例规定OlnO=0,InO=-g。与模糊集的熵定义相类似，偏熵E(A)也是模糊集A的不确定性程度的一种度量。B性质6.(1非负性)：E(A)0,VA,BeFS(X)BSE(A)(nln2)E(B),E(B)nln2E(A),

17、VA,BeFS(X)TOC o 1-5 h zBASE(Ac.)=E(A)=E(AAAc)=E(AUAc),VAeFS(X),其中Ac为A的补。A1AcAUAcAAAcSE(Ac)=E(A)，其中Ac，Bc分别是A,B的补。BcB性质6.(2可加性)：E(AUB)+E(AAB)=E(A)+E(B)(6.15)CCCC定义6.2：对于给定的模糊集A，当基准模糊集B变化时，有-丫lnmax卩(x),1一卩(x)E(A)OE(A;B)nln2E(A)+E(B),当且仅当A=B时，E(A;B)=nln2E(A)+E(B)E(AUB;AAB)=E(A;B),VA,BeFS(X)SE(AUB;C)0，VA

18、,BeFS(X)S性质6.4：VA.BeFS(X),0p(B),p(A),p(A;B)(x),X-二x/xeX,卩(x)Y卩(x)ABAB以上式给定的模糊熵定义为例，来研究两个模糊熵之间的熵关系。虽然在下面借用了Shannon熵的提法，但从概念上是完全不同的定义6.4：设A,BeFSs(X),则它们之间的联合熵被定义为：TOC o 1-5 h zE(AUB)=-K工卩(x)v(x)log卩(x)v(x)AiBiAiBixeX+1卩(x)vy(x)logl卩(x)vy(x)(6.21)AiBiAiBiEV(x)log卩(x)+卩(x)log卩(x)+1卩(x)log1卩(x)+乙:B/B、/a1

19、(6.22)AiAAA1卩(x)10g1-R(x)xeX+xeXBiBi定义6.5：给定B下A的条件熵以及给定A下B的条件熵分别定义为E(A/B)=KY卩(x)log卩(x)一卩(x)log卩(x)AABBxeX+1-卩(x)10g1-卩(x)-1-卩(x)log1-卩(x)AABBE(B/A)二-K工卩(x)log卩(x)-卩(x)log卩(x)(6.24)BBAAxeX-+1-卩(x)logl-卩(x)-1-卩(x)logl-卩(x)BBAA性质6.6：E(A/B)E(A),E(B/A)E(B)(6.25)性质6.7：E(AUB)二E(A)+E(B)-E(AAB)(6.26)定义6.6：称E(AAB)=E(A)-E(A/B)=E(B)-E(B/A)=E(BAA)为模糊集A与B的模糊交互熵模糊交互熵E(AAB)或E(AUB)度量了模糊集与所共有的模糊信息，在某种程度上描述了它们之间的相似性。在已知B下的A模糊不确定性，小于A本身的模糊不确定性，也就是说，A所包含的模糊信息量在B确知的条件下减少了。这种减少量是绝对减少量，下面将定义模糊信息的相对减少量。定义6.7设模糊集A和B定义在论域上，则分别称T(A,B)=E(A)-E(A/B)/E(A)=1-