信息论的国内外研究与现状1

1、 信息论的国内外研究现状 有关香农的信息论的国内外的研究现状 【摘要】 香农被尊称为是“信息论之父”。人们通常将香农（Shannon）于1948年10月发表于贝尔系统技术学报上的论文通信的数学原理作为现代信息论研究的开端。提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 信息念经是在信息可以量度的基础上，对如何有效、可靠地传递信息进行研究的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义信息论。广义信息论则包含通信的全部统计问题的研究，

2、除了香农信息论外，还包含信号设计、噪声理论、信号的检测与估测等。当信息在传输、存储和处理的过程中，不可避免地要受到噪声或其他无用信号的干扰时，信息理论会为可靠、有效地从数据中提取信息提供必要的根据和方法。因此必须研究噪声和干扰的性质以及它们与信息本质上的差别，噪声与干扰往往具有某种统计规律的随机特性，信息则具有一定的概率特性，如度量信息量的熵值就是概率性质的。信息论、概率论、随机过程和数理统计学是信息论应用的工具。【关键字】 香农 研究现状 国内外 信息论【正文】 香农对信息的定义和度量都从随机不确定性的角度来进行考虑。目前信息的定义超过80种之多，但是信息的定义都缺乏对信息可靠性的考虑，一些

3、信息的定义把信息当作对事物的一种真实的反映，然而信息的不可靠性是广泛存在的，从严格的角度来讲，信息很难是绝对可靠的，包括一些科学规律（一种特别的信息），也只能被证伪，而不能被证明是正确的，用于获取信息的人的感官和各种仪器设备也存在一定的不可靠性。信息的不完备性，也是广泛存在的，往往由于条件的限制而不能得到完全的信息，如何将许多片面的信息进行融合，让信息更加完备，也是一个很重要的问题（特别说明：这里的可靠性是信息本身的可靠性，而不是信息传递、存储等方面的可靠性）。 信息的价值之所以存在，还是因为信息具有一定的可靠性，我们处于信息社会，各种各样的信息在急遽增长，如何很好利用信息，识别信息，提高信息

4、的可靠性，将各种不完备，不可靠的信息进行利用、融合和提取，显然是非常重要的。信息的可靠性不能完全靠人工来鉴别，人工作业有其不精确性，主观性，应当尽量采用信息技术来自动解决，减少人为判断。互联网的出现使得信息不断急遽增长，人工处理这些浩如烟海的信息将是很困难，不现实的，需要建立相关的信息理论来通过计算机融合信息。在密码分析方面，缺乏对信息的不确定性和信息融合的研究，比如当多个伪密钥存在的情况下，如何进行判断分析。密码分析前已知的信息与密码分析得到的信息如何进行融合，密码分析得到的信息是不可靠的时候，或者密码分析得到的信息只能得出某些需要了解的信息的不确定的概率分布且事先也对这些需要了解的信息从其

5、他的角度得出某一概率分布时候，如何来得出更加完备和可靠的信息，都是尚未研究的领域。 香农信息论的局限性很早就被认识到，包括香农本人。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，于是出现纰漏。香农也曾经辑文反对信息论的滥用。和Shannon合著通信的数学理论一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为了解决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如

6、测量数据的信息。1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德鲁卡和特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵和效用信息，都产生了一定影响。G. Jumarie还提出采用洛伦兹变换的相对信息，可惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R. Yager，M. Higashi和G. Klir，D. Dubois和H. Prade等人又提出或讨论了可能不确定性测度及相应的广义熵，这类方法只采用隶

7、属度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵和模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种广义信息函数。1985年,他又把该公式推广到语义信息和语用信息的度量,得到了语法,语义和语用信息的综合测度公式,即所谓全信息的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感觉信息、信源信道可变时的信息以及单个信号的信息。鲁晨光提出了广义通信模型和可度量语义信息、感觉信息及测量信号信息的广义信息测度；讨论了预测和检测的信息准则和优化理论。George J. Klir则在模糊逻辑，不分明

8、集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的控制论,符号学,语言学,认知心理学等学科,构建一个所谓一般信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实和真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义， 信息的定义也是以“信息是消除不确定性的东西”得到

9、广泛的重视。 关于不确定性理论，相关的推理模型没有一个统一的模型，种类不计其数，中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes推理，Dempster Shafer在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑和逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理和集对分析等新方法。国内学者李德毅提出了云模型，何华

10、灿提出了泛逻辑学。但是不确定性理论通常是不够严谨的，甚至还存在一些冲突和悖论。这些理论与概率论和信息论都是出现了不应该有的隔离，特别是与信息论与不确定性理论、信息融合相去甚远。可以说信息与知识和智能已经隔离了，国内学者钟义信认识到这一问题，提出信息知识智能转换的规律，提出了一些框架。 在可靠性理论方面，主要是研究工程、产品和系统的可靠性，其中包括软件产品的可靠性，涉及到信息的主要是针对信息系统的可靠性、可靠性相关的信息的处理软件系统以及可靠性相关的信息的分析和利用设计。【参考文献】 1. 宛天巍， 王浣尘， 张旭，信息测度方法的综述，系统工程理论方法应用，第14卷第6期，2005年12月 2.

11、 Kullback S. Information and Statistics，John Wiley & Sons Inc.，New York，1959 3.Klir, G. J. Uncertainty and Information: Foundations of Generalized Information Theory. John Wiley, Hoboken, NJ,2006 4. 美威弗尔. 通讯的数学理论的新发展，系统论控制论信息论经典文献选编，求实出版社，1989,612636 5. Shannon C E. A mathematical theory of communic

12、ation，Bell System Technical Journal,27 (1948)，379429，623656 6. Wierman, M.J.,Tastle, W.J. Placing the Dissonance Measure in the Context of Generalized Information Theory,Fuzzy Information Processing Society, 2006. NAFIPS 2006. Annual meeting of the North American, 3-6 June 2006 Page(s):253 - 256 7.

13、汪培庄. 模糊集和随机集落影，北京师范大学出版社，1984. 8. Aczel J and Forte B. Generalized entropies and the maximum entropy principle，In: Bayesian Entropy and Bayesian Methods in Applied Stastics，Cambridge University Press，Cambridge，1986，95100 9. Peter Fleissner, Wolfgang Hofkirchner ，Emergent information Towards a unifie

14、d information theory In: BioSystems 2-3(38)/1996, 243-248 10. Brillouin L. Science and Information Theory，Academic Press，New York，1962 10. Zadeh L A. Probability measures of fuzzy events，Journal of mathematical Analyses and Applications 23 (1968)，421427 11. De Luca A and Termini S. A definition of nonprobabilistic entropy in th