人工智能4-Bayes方法

主观Bayes方法陈志华主要内容1.概率论基础2.主观Bayes方法的基本理论3.主观Bayes方法的基本模型前言主观Bayes方法一种不确定性推理算法以概率论中的Bayes公式为基础首先应用于专家系统PROSPECTOR系统和前述推理方法的区别不确定性推理当一个或多个新证据出现时，根据推理规则，计算结论的可信度推理前不知道结论的概率信息主观Bayes方法（条件概率）当一个事件发生后，先验概率如何转变为后验概率推理前知道结论的先验概率信息规则的表示不一样1.概率论基础条件概率：设A，B是两个随机事件，，则是在B事件已经发生的条件下，A事件发生的概率。乘法定理:全概率公式：设事件满足：⑴两两互不相容，即当时，有

⑵

⑶样本空间

则对任何事件B,有下式成立：

称为全概率公式。

根据全概率公式及乘法定理可以得到Beyes公式:2.基本理论主观Bayes方法的基本思想由于证据E的出现，使得P(R)变为P(R|E)主观Bayes方法,就是研究利用证据E，将先验概率P(R)更新为后验概率P(R|E)先验概率P(R),即不考虑证据E出现的前提下，结论结论R成立的概2.基本理论一.知识不确定性的表示（产生式规则）其中LS:充分性量度LN:必要性量度P(R):R的先验概率二.基本算法证据E有三种情形1)肯定存在，即P(E)=12)肯定不存在，P(E)=03)不确定，0<P(E)<1在不同的情形下，后验概率的计算方法不同1)证据E肯定存在假设规则如下：IFETHENR根据乘法定理，得到P(R|E)=P(E|R)P(R)/P(E)（式1）P(﹁R|E)=P(E|﹁R)P(﹁R)/P(E)两式相除，得到：定义几率函数：则设：则式1变为（式3）（式2）2)证据E肯定不存在P(E)=0同样可以推导出O(R|﹁E)=LN×O(R)其中（式4）将O(x)重新替换成概率，得到：（式5）（式6）讨论：O(x)与P(x)的单调性O(x)与P(x)的单调性相同,即可从数学上推导出：LS和LN的讨论LS表示证据E的存在，影响结论R为真的概率：LN表示证据E的不存在，影响结论R为真的概率：O(R|﹁E)=LN×O(R)上述结论也可以直接从公式5,6推导出来LS>1，使得P(R|E)>P(R)LS<1,使得P(R|E)<P(R)LN>1，使得P(R|﹁E)>P(R)LN<1,使得P(R|﹁E)<P(R)例子假设有如下规则:规则1:IFE1THEN(10,1)R1(0.03)规则2:IFE2THEN(20,1)R2(0.05)规则3:IFE3THEN(1,0.002)R3(0.3)求(1)当E1,E2,E3都存在时,P(Ri|Ei)(2)当E1,E2,E3都不存在时,P(Ri|﹁Ei)分析：利用公式5，6答案:练习设有如下推理规则：R1:IFE1THEN(2,0.5)H1R2:IFE2THEN(1,0.2)H2R3:IFE3THEN(5,0.1)H3并且已知P(H1)=0.2,P(H2)=0.1,P(H3)=0.4计算当证据E1,E2,E3存在或不存在时，P(Hi|Ei)或P(Hi|﹁Ei)的值各是多少？(i=1,2,3)3)证据E不确定在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在用户提供的原始证据不精确用户的观察不精确推理出的中间结论不精确假设S是对E的观察,则P(E|S)表示在观察S下,E为真的概率,值在[0,1]；此时0<P(E|S)<1，故计算后验概率P(R|S),

不能使用Bayes公式可以采用下面的公式修正（杜达公式）（式7）后验概率P(R|S)的计算-1针对杜达公式，分四种情况讨论1）E肯定存在，即P(E|S)=1,且P(﹁E|S)=0，杜达公式简化为：注意：同时利用了公式5后验概率P(R|S)的计算-22）E肯定不存在，即P(E|S)=0,P(﹁E|S)=1，杜达公式简化为：注意：同时利用了公式6后验概率P(R|S)的计算-33）P(E|S)=

P(E)，即E和S无关,利用全概率公式（公式7），杜达公式可以化为：后验概率P(R|S)的计算-4当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算：公式8后验概率P(R|S)的线性插值图1杜达公式的说明P(E|S)由用户给定，但是P(E)和P(E|S)很难区分和取值解决方法:替代法对于原始证据，由用户给定可信度C(E|S)，对应P(E|S)C(E|S)取值从-5到5的整数-5-4-3-2-1012345P(E|S)=1P(E|S)=0此时公式8变换为公式9公式93.推理模型一.组合证据不确定性的计算组合证据为多个证据的合取时,即E=E1ANDE2AND…En组合证据为多个证据的析取时,即E=E1ORE2OR…En二.证据不确定性的传递(1)对于叶结点证据E的传递该公式基于R-E-S的推理链公式9RES叶结点不确定性的传递三.结论不确定性的合成n条规则都支持同一结论R,这些规则的前提条件E1,E2,…,En

相互独立每个证据所对应的观察为S1,S2,…,Sn先计算O(R|Si)，然后再计算所有观察下，

R的后验几率计算方法:(公式11)例题设有如下规则：规则1:IFE1THEN(2,0.001)R规则2:IFE2THEN(100,0.001)R且O(R)=0.1,C(E1|S1)=2,C(E2|S2)=1试画出推理树，并计算O(R|S1,S2)RE1S1E2S2推理树P(R|S1,S2)O(R|Si)P(R|Si)公式9解题步骤：(1)先计算P(R|S1),并计算O(R|S1);利用公式2，公式5，公式9(2)两条规则支持同一个结论，计算O(R|S1,S2);利用公式11小结主观Bayes方法（条件概率）当一个事件发生后，先验概率如何转变为后验概率推理前知道结论的先验概率信息证据不确定时，必须采用杜达等人推导的公式:P(R|S)=P(R|E)×P(E|S)+P(R|﹁E)×P(﹁E|S)传递公式:公式9和公式10设有如下规则：规则1:IFE1THEN(2,0.1)R规则:IFE2THEN(10,1)R且P(R)=0.01,C(E1|S1)=2,试根据主观Bayes方法，计算O(R|S1,S2)练习练习设有如下规则：规则1:IFE1THEN(2,0.1)R规则2:IFE2THEN(100,0.1)R且已知O(R)=0.1,C(E1|S1)=3,C(E2|S2)=-1,试用主观Bayes方法计算：O(R|S1,S2)=?演讲完毕，谢谢观看！附录资料：人工智能简介​AboutTeachingPlan基本要求：人工智能是计算机科学中涉及研究、设计和应用智能机器的一个分支，是目前迅速发展的一门新兴学科，新思想新方法层出不穷。其基本思想是利用机器来模仿和执行人脑的功能，如判断、推理、证明、识别、感知、理解、设计、思考、规划、学习和问题求解等思维活动。对于培养学生计算机技术的应用能力，开阔思路和视野，有重要意义。

​AboutTeachingPlan因此，要求学生掌握知识表示和问题求解的几种常用方法，尤其是不确定性推理；掌握机器学习基本概念，了解几种机器学习方法尤其是神经网络学习方法；掌握专家系统的概念，了解专家系统设计方法，掌握一些智能控制方法，了解国内外人工智能研究尤其是机器人的最新进展；具有一定的人工智能编程设计能力（利用Lisp或Prolog语言）。​AboutTeachingPlan课程内容以及学时分配人工智能引论(1) 人工智能概念及与计算机的关系，研究途径、内容和应用领域概况介绍，其他最新材料。符号主义、连接主义、行为主义三大流派人工智能数学基础(1)知识表示方法（2） 状态空间法、问题归约法，谓词逻辑法、产生式表示法（动物识别系统）；CLIPS语言；语义网络法、框架法（这是结构化表示）；剧本、过程、Petri网、面向对象的表示。​AboutTeachingPlan 搜索技术和策略（3-4）状态空间法，盲目搜索和启发式搜索，A*算法；海伯伦理论、消解原理和策略；与\或形推理和搜索策略；其他求解技术。 不确定推理技术（3-4）主观Bayes理论；可信度方法和证据理论；系统组织技术；非单调推理；Rete快速算法；模糊推理技术；基于语义网络和框架不确定推理； 专家系统（2）专家系统概念、结构和知识获取；黑板模型、知识组织、管理及系统建造和开发工具；专家系统举例及编程。

人工智能程序设计（1）人工智能语言基本机制：LISP和PROLOG。​AboutTeachingPlan 模式识别导论（3）模式识别专题：概率模式识别。模式识别专题：结构模式识别 机器学习（1）：机械,解释经验,事例,归纳,概念,类比学习等；统计,结构,模糊模式识别。 专题讲座（3次） 1)神经网络基本理论和应用 (史奎凡课程：安排于人工智能理论与应用课程内)； 2)智能体（Agent）； 3)自然语言处理； 4)智能控制和机器人科学 智能控制的结构理论和研究领域，智能控制系统及应用示例；机器人规划、机器视觉和自然语言理解等。​AboutTeachingPlan 实践：1) 搜索技术和策略2) 不确定推理技术3) 专家系统：动物识别系统4) 模式识别技术5) 调研： 搜索技术和策略、不确定推理技术、统计模式识别、机器学习等四个领域进展报告。​ChapterOne:BriefIntroductiontoArtificialIntelligence1.WhatisAI?人工智能（ArtificialIntelligence,AI）是当前科学技发展的一门前沿学科，同时也是一门新思想，新观念，新理论，新技术不断出现的新兴学科以及正在发展的学科。它是在计算机科学，控制论，信息论，神经心理学，哲学，语言学等多种学科研究的基础发展起来的，因此又可把它看作是一门综合性的边缘学科。它的出现及所取得的成就引起了人们的高度重视,并取得了很高的评价。有的人把它与空间技术，原子能技术一起并誉为20世纪的三大科学技术成就。​Intelligence智能是知识与智力的总合。 知识——智能行为的基础； 智力——获取知识并运用知识求解问题的能力。智能具有以下特征：(1)具有感知能力——指人们通过视觉、听觉、触觉、味觉、嗅觉等感觉器官感知外部世界的能力；(2)具有记忆与思维的能力——这是人脑最重要的功能，亦是人之所以有智能的根本原因；(3)具有学习能力及自适应能力；(4)具有行为能力。ArtificialIntelligence人工智能——计算机科学的一个分支，是智能计算机系统，即人类智慧在机器上的模拟，或者说是人们使机器具有类似于人的智慧（对语言能理解、能学习、能推理）。​2.BriefHistoryofAI (1) 孕育（1956年前）古希腊的Aristotle（亚里士多德）（前384-322），给出了形式逻辑的基本规律。英国的哲学家、自然科学家Bacon（培根）（1561-1626），系统地给出了归纳法。“知识就是力量”德国数学家、哲学家Leibnitz（布莱尼茨）（1646-1716）。提出了关于数理逻辑的思想，把形式逻辑符号化，从而能对人的思维进行运算和推理。做出了能做四则运算的手摇计算机英国数学家、逻辑学家Boole（布尔）（1815-1864）实现了布莱尼茨的思维符号化和数学化的思想，提出了一种崭新的代数系统——布尔代数。​美籍奥地利数理逻辑学家Godel（哥德尔）（1906-1978），证明了一阶谓词的完备性定；任何包含初等数论的形式系统，如果它是无矛盾的，那么一定是不完备的。意义在于，人的思维形式化和机械化的某种极限，在理论上证明了有些事是做不到的。英国数学家Turing(图灵)（1912-1954）,1936年提出了一种理想计算机的数学模型（图灵机），1950年提出了图灵试验，发表了“计算机与智能”的论文。图灵奖。美国数学家Mauchly，1946发明了电子数字计算机ENIAC美国神经生理学家McCulloch，建立了第一个神经网络数学模型。美国数学家Shannon（香农）,1948年发表了《通讯的数学理论》，代表了“信息论”的诞生。​ (2) 形成（1956-1969）1956年提出了“ArtificialIntelligence（人工智能）”1956年夏由麻省理工学院的J.McCarthy、M.L.Minsky,IBM公司信息研究中心的N.Rochester,贝尔实验室的C.E.Shannon共同发起，邀请了Moore,Samuel,Selfridge,Solomonff,Simon,Newell等人，10位数学家、信息学家、心理学家、神经生理学家、计算机科学家，在Dartmouth大学召开了一次关于机器智能的研讨会，会上McCarthy提议正式采用了ArtificialIntelligence（人工智能）这一术语。这次会议，标志着人工智能作为一门新兴学科正式诞生了。 McCarthy（麦卡锡）——人工智能之父。这次会议之后的10年间，人工智能的研究取得了许多引人瞩目的成就.机器学习方面：塞缪尔于1956年研制出了跳棋程序，该程序能从棋谱中学习，也能从下棋实践中提高棋艺；​在定理证明方面：王浩于1958年在IBM机上证明了《数学原理》中有关命题演算的全部定理（220条），还证明了谓词演算中150条定理85%；1965年，鲁宾逊（Robinson）提出了消解原理；在模式识别方面：1959年塞尔夫里奇推出了一个模式识别程序；1965年罗伯特（Robert）编制出可辨别积木构造的程序；在问题求解方面：1960年纽厄尔等人通过心理学试验总结出了人们求解问题的思维规律，编制了通用问题求解程序GPS,可以用来求解11种不同类型的问题；在专家系统方面：斯坦福大学的费根鲍姆（E.A.Feigenbaum）自1965年开始进行专家系统DENDRAL（化学分析专家系统），1968年完成并投入使用；在人工智能语言方面：1960年McCarthy等人建立了人工智能程序设计语言Lisp，该语言至今仍是建造智能系统的重要工具；1969年成立了国际人工智能联合会议（InternationalJointConferencesOnArtificialIntelligence）​ (3) 发展（1970年以后）70年代，开始从理论走向实践，解决一些实际问题。同时很快就发现问题：归结法费时、下棋赢不了全国冠军、机器翻译一团糟。以Feigenbaum为首的一批年轻科学家改变了战略思想，1977年提出知识工程的概念，以知识为基础的专家咨询系统开始广泛的应用。著名专家系统的有：DENDRAL化学分析专家系统（斯坦福大学1968）MACSYMA符号数学专家系统（麻省理工1971）MYCIN诊断和治疗细菌感染性血液病的专家咨询系统（斯坦福大学1973）CASNET(CausalASsciationalNetwork)诊断和治疗青光眼的专家咨询系统（拉特格尔斯（Rutgers）大学70年代中）CADUCEUS(原名INTERNIST)医疗咨询系统（匹兹堡大学）；HEARSAYI和II语音理解系统（卡内基-梅隆大学）PROSPECTOR地质勘探专家系统（斯坦福大学1976）XCON计算机配置专家系统（卡内基-梅隆大学1978）​•80年代，人工智能发展达到阶段性的顶峰。•87,89年世界大会有６－７千人参加。硬件公司有上千个。并进行Lisp硬件、Lisp机的研究。•在专家系统及其工具越来越商品化的过程中,国际软件市场上形成了一门旨在生产和加工知识的新产业——知识产业。应该说，知识工程和专家系统是近十余年来人工智能研究中最有成就的分支之一。•同年代，1986年Rumlhart领导的并行分布处理研究小组提出了神经元网络的反向传播学习算法，解决了神经网络的根本问题之一。从此，神经网络的研究进入新的高潮。•90年代，计算机发展趋势为小型化、并行化、网络化、智能化。•人工智能技术逐渐与数据库、多媒体等主流技术相结合，并融合在主流技术之中，旨在使计算机更聪明、更有效、与人更接近。•日本政府于1992年结束了为期十年的称为“知识信息处理体统”的第五代计算机系统研究开发计划。并开始了为期十年的实况计算（RealWordComputing）计划。​3.ResearchObjectsandMainContents

(1)人工智能的研究目标

人工智能的长期研究目标：构造智能计算机。

人工智能的近期研究目标：使现有的电子计算机更聪明，更有用，使它不仅能做一般的数值计算及非数值信息的数据处理，而且能运用知识处理问题，能模拟人类的部分智能行为。​(2)人工智能研究的基本内容

1.机器感知以机器视觉与机器听觉为主。机器感知是机器获取外部信息的基本途径，是使机器具有智能不可或缺的组成部分，对此人工智能中已形成两个专门的研究领域——

模式识别和自然语言理解。2.机器思维指通过感知的外部信息及机器内部的各种工作信息进行有目的的处理。主要开展以下几方面的研究：(1)知识表示(2)知识的组织，累计，管理技术(3)知识的推理(4)各种启发式搜索及控制策略(5)神经网络，人脑的结构及其工作原理​3.机器学习

使计算能自动获取知识，能直接向书本学习，能通过与人谈话学习，能通过对环境的观察学习，并能在实践中自我完善。4.机器行为机器行为主要指计算机的表达能力，即“说”、“写”、“画”等，对智能机器人，还应该有人的四肢功能，即能走路，能取物，能操作等。5.智能系统及智能计算机的构造技术​4.ResearchObjectsandMainContents人工智能面世以来，其研究途径存在两种不同的观点：以符号处理为核心的方法——主张通过运用计算机科学的方法进行研究，实现人工智能在计算机的模拟。以网络连接为主的连接机制方法——主张用生物学的方法进行研究，搞清楚人类智能的本质。(1)以符号处理为核心的方法该方法起源于纽厄尔等人的通用问题求解系统（GPS），用于模拟人类求解问题的心理过程，逐渐形成为物理符号系统，这种方法认为： 人类研究的目标是实现机器智能，而计算机自身具有符号处理能力，这种能力本身就蕴含着演绎推理的内涵，因而可通过运行相应的程序来体现某种基于逻辑思维的智能行为，达到模拟人类智能活动的效果。目前人工智能的大部分研究成果都是基于这种方法实现的。​

该方法的主要特征是：

•立足于逻辑运算和符号操作，适合于模拟人的逻辑思维过程，解决需要进行逻辑推理的复杂问题；

•知识可用显式的符号表示；

•便于模块化；•能与传统的符号数据库链接；•可对推理结论做出解释，便于对各种可能性进行选择。

但该方法不适合于形象思维；而且在用符号表示概念时其有效性在很大程度上取决于符号表示的正确性，且对带噪声的信息及不完整的信息难以处理。(2)以网络连接为主的连接机制方法该方法是在人脑神经元及其相互连接而成网络的启示下，试图通过多人工神经元间的并行协同作用来实现对人类智能的模拟。该方法认为：大脑是人类一切智能活动的基础，因而从大脑神经元及其连接机制着手进行研究，搞清楚大脑的结构及它进行信息处理的过程及机理，可望揭示人类智能的奥秘，从而真正实现人类智慧在机器上的模拟。​该方法的主要特征：•通过神经元之间的并行协同作用实现信息处理，处理过程具有并行性、动态性、全局性；•通过神经元间分布式的物理联系存储知识和信息，因而可以实现联想功能，对于带有噪声、缺损、变形的信息能进行有效地处理。近期的一些研究表明，该方法在模式识别、图像信息压缩等方面取得了一些研究成果；•通过神经元间连接强度的动态调整来实现对人类学习、分类等的模拟；•适合于模拟人类的形象思维过程；•求解问题时，可以比较快地球的一个近似解。该方法不适合于模拟人的逻辑思维过程，而且就目前神经网络的研究现状来看，由固定的体系结构与组成方案所构成的系统还达不到开发多种多样知识的要求。​(3)系统集成

•符号方法善于模拟人的逻辑思维过程，求解问题时，如果问题有解，它可以准确地求出最优解；但求解过程的运算量将随问题的复杂性的增加成指数性增长，另外其知识和信息的符号化过程需要由人来完成，它自身不具备这种功能。•连接机制方法善于模拟人的形象思维过程，求解问题时，由于它的并行处理能力，可以较快地得到问题的解，但解一般是近似的，次优的；另外，该方法求解问题的过程是隐式的，难以对求解过程以显式解释。

•将两个方法结合起来，取长补短。

通过形象思维得到一个直觉的解或给出一种假设，然后用逻辑思维进行仔细的论证或搜索，最终得到一个最优解。