课件：ANN神经网络.ppt

智能算法 及其在数学建模中的应用,计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用,单元一 智能算法简介,智能的层次,生物智能（BI）,符号智能（SI）,计算智能（CI）,人工智能（AI）,最高层次的智能是生物智能（Biological Intelligence，BI）,生物智能中又以智慧生物的智能最高。,人工智能（Artificial Intelligence, AI）是另一层次的智能，研究如何制造出人造的智能机器或智能系统，来模拟人类的智能活动。 1956年Dartmouth大学研讨会上将“人工智能” 定义为“试图用来模仿与智能有关的人类活动的计算机过程”。,传统的人工智能偏重与符号处理与逻辑推理，因此又称为符号智能(Symbolism Intelligence, SI)。 早期符号智能对人工智能的发展起到了重要的推动作用，但随着科技的发展，复杂性问题的大量涌现，这些方法在处理非线性、不确定等复杂性问题时显得无能为力。 计算智能（Computation Intelligence, CI）技术就是在这一背景下发展起来的。,计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用传统人工智能方法难以解决的问题。 计算智能是以生物进化的观点认识和模拟智能。按照这一观点，智能是在生物的遗传、变异、生长以及外部环境的自然选择中产生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结构被保存下来，智能水平也随之提高。因此说计算智能就是基于结构演化的智能。 在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化计算。,计算智能的主要方法有人工神经网络、遗传算法、遗传程序、演化程序、局部搜索、模拟退火等等。 这些方法具有以下共同的要素：自适应的结构、随机产生的或指定的初始状态、适应度的评测函数、修改结构的操作、系统状态存储器、终止计算的条件、指示结果的方法、控制过程的参数。 计算智能的这些方法具有自学习、自组织、自适应的特征和简单、通用、鲁棒性强、适于并行处理的优点。在并行搜索、联想记忆、模式识别、知识自动获取等方面得到了广泛的应用。,典型的代表如遗传算法、免疫算法、模拟退火算法、蚁群算法、微粒群算法，都是一种仿生算法，基于“从大自然中获取智慧”的理念，通过人们对自然界独特规律的认知，提取出适合获取知识的一套计算工具。总的来说，通过自适应学习的特性，这些算法达到了全局优化的目的。,单元二 人工神经网络及应用,ANN的基本原理 BP网络及应用,2.1 ANN基本原理,2.1.1 生物神经元 神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网络,生物神经元简图,生物神经元传递信息的过程为多输入、单输出 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位,特点： 时空整合功能 神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能；对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，具有时空整合的输入信息处理功能，所谓整合是指抑制或兴奋的受体电位或突触电位的代数和；,兴奋与抑制状态 神经元具有两种的常规工作状态：当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位阈值（约为40mV）时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当传入冲动的时空整合结果使膜电位下降至低于动作电位阈值时，细胞进入抑制状态，无神经冲动输出，满足“01”律，即“兴奋抑制”状态；,脉冲与电位转换 突触界面具有脉冲/电位信号转换功能。沿神经纤维传递的电脉冲为等幅、恒宽、编码（60100mV）的离散脉冲信号，而细胞膜电位变化为连续的电位信号。在突触接口处进行“数/模”转换，是通过神经介质以量子化学方式实现的变换过程；,神经纤维传导速度 神经冲动沿神经纤维传导的速度在150m/s之间，因纤维特性不同而不同，粗纤维的传导速度在100m/s,细纤维的传导速度可低至每秒数米； 突触延时和不应期 突触对神经冲动的传递具有延时和不应期。在相邻的两次冲动之间需要一个时间间隔，即为不应期，在此期间对激励不响应，不能传递神经冲动； 学习、遗忘和疲劳 由于结构可塑性，突触的传递作用可增强、减弱、饱和，所以细胞具有相应的学习功能，遗忘或疲劳效应。,2.1.2 ANN的结构 神经网络是一个并行和分布式的信息处理网络结构 一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其他的神经元 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数,人工神经元模型,求和,激励函数,激励函数的基本作用 控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出,常见的激励函数,ANN的基本结构,ANN的基本训练与学习算法,人工神经网络连接权的确定通常有两种方法 根据具体要求，直接计算，如Hopfield网络作优化计算 通过学习得到的。大多数人工神经网络都采用这种方法 学习规则是人工神经网络研究中的核心问题 Hebb学习规则 误差校正（纠错）学习规则 无监督学习规则,Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 a为学习速率，Vi, Vj为神经元i和j的输出 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形,Hebb学习规则,用已知样本作为教师信号对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感,误差校正规则,无监督的学习规则,这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部 输入可以是连续值，对噪声有较强地抗干扰能力 对较少输入样本，结果可能要依赖于输入序列,2.1.3 人工神经网络在数学建模中的应用领域 回归与预测 模式识别（分类） 联想记忆与学习,反向传播网络(Back-Propagation Network，简称BP网络)是对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法 它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射,2.1.4 BP网络,BP网络主要用于下述方面 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； 数据压缩：减少输出矢量维数以便于传输或存储 具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差,一个具有r个输入和一个隐含层的神经网络模型结构,网络模型,感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。 BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数0，1或符号函数1，1 BP网络经常使用的是S型的对数或正切激活函数和线性函数,BP网络特点 输入和输出是并行的模拟量 网络的输入输出关系是各层连接的权因子决定，没有固定的算法 权因子通过学习信号调节。学习越多，网络越聪明 隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数 在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数,S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出 对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大 采用S型激活函数可以处理和逼近非线性输入/输出关系,学习规则,BP算法是一种监督式的学习算法 主要思想 对于q个输入学习样本：P1,P2,Pq，已知与其对应的输出样本为：T1,T2,Tq 使网络输出层的误差平方和达到最小 用网络的实际输出A1,A2,Aq, 与目标矢量T1,T2,Tq之间的误差修改其权值，使Am与期望的Tm,(ml,q)尽可能接近,学习规则,BP算法是由两部分组成,信息的正向传递与误差的反向传播 正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态 如果在输出层未得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标,假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T,信息的正向传递 隐含层中第i个神经元的输出 输出层第k个神经元的输出 定义误差函数,利用梯度下降法求权值变化及误差的反向传播 输出层的权值变化 其中 同理可得,利用梯度下降法求权值变化及误差的反向传播 隐含层权值变化 其中 同理可得,对于f1为对数S型激活函数， 对于f2为线性激活函数,网络训练,训练BP网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求误差平方和 当所训练矢量的误差平方和小于误差目标，训练停止；否则在输出层计算误差变化，且采用反向传播学习规则来调整权值，然后重复此过程 网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果,为了能够较好地掌握BP网络的训练过程，我们用两层网络为例来叙述BP网络的训练步骤 初始化：用小的随机数初始化每一层的权值W和偏差B，保证网络不被大的加权输入饱和 期望误差最小值error_goal 最大循环次数max_epoch 修正权值的学习速率1r，一般情况下k0.0l,0.7,变量表达：计算网络各层输出矢量A1和A2以及网络误差E A1tansig(W1*P，B1)； A2purelin(W2*A1，B2)； ET-A； 权值修正：计算各层反传的误差变化D2和D1并计算各层权值的修正值以及新权值： D2deltalin(A2，E)； D1deltatan(A1，D2，W2)； dlWl，dBllearnbp(P，D1，lr)； dW2，dB21earnbp(A1，D2，1r)； W1W1十dW1；B1B1十dBl； W2W2十dW2；B2B2十dB2,计算权值修正后误差平方和 SSEsumsqr(T-purelin(W2*tansig(W1*P，B1)，B2) 检查：SSE是否小于err_goal。若是，训练结束；否则继续 以上所有的学习规则与训练的全过程，可以用函数trainbp.m来完成 它的使用只需定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学习速率。调用后返回训练后权值，循环总数和最终误差 TPdisp_freq max_epoch err_goal 1r W，B，epochs，errorstrainbp(W，B，F，P，T，TP),网络的层数 隐含层神经元数 初始权值的选取 学习速率 期望误差的选取 应用举例 局限性,网络的层数,理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数 增加层数主要可以进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。 一般情况下应优先考虑增加隐含层中神经元数 仅用具有非线性激活函数的单层网络来解决问题没有必要或效果不好 线性问题 非线性问题,隐含层神经元数,网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层简单得多 定理： 实现任意N个输入向量构成的任何布尔函数的前向网络所需权系数数目为 在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量,初始权值的选取,一般取初始权值在(-1，1)之间的随机数 威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略 选择权值的量级为 在MATLAB工具箱中可采用函数nwlog.m或nwtan.m来初始化隐含层权值W1和B1。 其方法仅使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数,学习速率,学习速率决定每一次循环训练中所产生的权值变化量 大的学习速率可能导致系统的不稳定 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间,期望误差值选取,在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络,应用举例,求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系 P=-1:0.1:1 T=-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201 测试集 P2=-1:0.025:1,目标矢量相对于输入矢量的图形 初始网络的输出曲线,训练1000次 2000次,训练3000次 5000次,Matlab 中的ANN演示 语句：nnd,限制与不足,需要较长的训练时间 完全不能训练 选取较小的初始权值 采用较小的学习速率，但同时又增加了训练时间 局部极小值 BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解,BP网络的改进,目标,加快训练速度 避免陷入局部极小值,附加动量法,利用附加动量的作用则有可能滑过局部极小值 修正网络权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上微小变化特性 该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化,带有附加动量因子的权值调节公式 其中k为训练次数，mc为动量因子，一般取095左右 附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。 当动量因子取值为零时，权值变化仅根据梯度下降法产生 当动量因子取值为1时，新的权值变化则是设置为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉了 促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，i将变得很小，于是，wij(k+1)wij (k)，从而防止了wij=0的出现，有助于使网络从误差曲面的局部极小值中跳出,在MATLAB工具箱中，带有动量因子的权值修正法是用函数learnbpm.m来实现的 trainbpm.m可以训练一层直至三层的带有附加动量因子的反向传播网络 下面是对单层网络使用函数trainbpm.m的情形： W，B，epochs，errors trainbpm(W，B，F，P，T，TP),自适应学习速率,通常调节学习速率的准则是，检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；否则可认为产生过调，应该减小学习速率的值 一种自适应学习速率的调整公式,MATLAB工具箱中带有自适应学习速率进行反向传播训练的函数为 trainbpa.m 可训练直至三层网络。 使用方法 W, B, epochs, TE trainbpa(W，B，F，P，T，TP) 可以将动量法和自适应学习速率结合起来以利用两方面的优点。这个技术已编入了函数trainbpx.m之中 函数的调用和其他函数一样，只是需要更多的初始参数而已 TPdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio； W，B，epochs，error; lrtrainbpx(W，B，F，P，T，TP),反向传播法可以用来训练具有可微激活函数的多层前向网络,以进行函数逼近，模式分类等工作 反向传播网络的结构不完全受所要解决的问题所限制。 网络的输入神经元数目及输出层神经元的数目是由问题的要求所决定 输入和输出层之间的隐含层数以及每层的神经元数是由设计者来决定的 已经证明，两层S型线性网络，如果S型层有足够的神经元，则能够训练出任意输入和输出之间的有理函数关系,反向传播法沿着误差表面的梯度下降，使网络误差最小，网络有可能陷入局部极小值 附加动量法使反向传播减少了网络在误差表面陷入低谷的可能性并有助于减少训练时间 太大的学习速率导致学习的不稳定，太小值又导致极长的训练时间。自适应学习速率通过在保证稳定训练的前提下，达到了合理的高速率，可以减少训练时间 80-90的实际应用都是采用反向传播网络的。改进技术可以用来使反向传播法更加容易实现并需要更少的训练时间,BP网络在数学建模中的应用,DHNN网络,单元三 支持向量机（SVM）及应用,SVM的理论基础 线性判别函数和判别面 最优分类面 支持向量机,SVM的理论基础,传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。 传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而单纯的经验风险最小化会产生“过学习问题”，其推广能力较差。 推广能力是指: 将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。,SVM的理论基础,“过学习问题”：某些情况下，当训练误差过小反而会导致推广能力的下降。 例如：对一组训练样本(x,y),x分布在实数范围内，y取值在0，1之间。无论这些样本是由什么模型产生的，我们总可以用y=sin(w*x)去拟合，使得训练误差为0.,二阶模型、ANN、SVM示意,SVM的理论基础,根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 Vapnik 与1995年提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。,SVM的理论基础,由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中.,线性判别函数和判别面,一个线性判别函数(discriminant function)是指由x的各个分量的线性组合而成的函数 两类情况:对于两类问题的决策规则为 如果g(x)=0，则判定x属于C1， 如果g(x)0，则判定x属于C2,线性判别函数和判别面,方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于C2的点分开来。 当g(x)是线性函数时，这个平面被称为“超平面”(hyperplane)。 当x1和x2都在判定面上时， 这表明w和超平面上任意向量正交， 并称w为超平面的法向量。,超平面,线性判别函数和判别面,判别函数g(x)是特征空间中某点x到超平面的距离的一种代数度量.,线性判别函数和判别面,广义线性判别函数,在一维空间中，没有任何一个线性函数能解决下述划分问题（黑红各代表一类数据），可见线性判别函数有一定的局限性。,线性判别函数和判别面,广义线性判别函数,如果建立一个二次判别函数g(x)=(x-a)(x-b)，则可以很好的解决上述分类问题。 决策规则仍是：如果g(x)=0，则判定x属于C1，如果g(x)0，则判定x属于C2。,线性判别函数和判别面,线性判别函数和判别面,广义线性判别函数,最优分类面,SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用下图的两维情况说明.,图中, 方形点和圆形点代表两类样本, H 为分类线,H1, H2分别为过各类中离分类线最近的样本且平行于分类线的直线, 它们之间的距离叫做分类间隔(margin)。 所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大. 推广到高维空间，最优分类线就变为最优分类面。,最优分类面,设线性可分的样本集:,D维空间中的线性判别函数: 这样分类间隔就等于 ,因此要求分类间隔最大,就要求 最大.而要求分类面对所有样本正确分类,就是要求满足,最优分类面,求最优分类面(最大间隔法),已知： 求解： 目标：最优分类面 这是一个二次凸规划问题，由于目标函数和约束条件都是凸的，根据最优化理论，这一问题存在唯一全局最小解,原问题,最优分类面,线性不可分的情况下，可以条件 中增加一个松弛项 成为,已知： 求解： 目标：最优分类面,折衷考虑最少错分样本和最大分类间隔，就得到广义最优分类面，其中，C0是一个常数，它控制对错分样本惩罚的程度。,支持向量机,上节所得到的最优分类函数为： 该式只包含待分类样本与训练样本中的支持向量的内积 运算，可见,要解决一个特征空间中的最优线性分类问题,我们只需要知道这个空间中的内积运算即可。 对非线性问题, 可以通过非线性变换转化为某个高维空间中的线性问题, 在变换空间求最优分类面. 这种变换可能比较复杂, 因此这种思路在一般情况下不易实现.,支持向量机,核:,支持向量机,核函数的选择,支持向量机,SVM方法的特点, 非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射; 对特征空间划分的最优超平面是SVM的目标,最大化分类边界的思想是SVM方法的核心; 支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。 SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductive inference) ,大大简化了通常的分类和回归等问题。,支持向量机,SVM方法的特点,SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。 少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在: 增、删非支持向量样本对模型没有影响; 支持向量样本集具有一定的鲁棒性; 有些成功的应用中,SVM 方法对核的选取不敏感。,SVM本质上是两类分类器. 常用的SVM多值分类器构造方法有:,回归问题: 就是在训练样本上找到一个函数,它可以从输入域近似映射到实数值上.输出值不再是二值. 在SVM中,回归问题被转化为分类问题来解.,支持向量机,SVR存在问题： 核函数及参数难以选择 SVR与BP的对比,单元四 模糊集及应用,模糊逻辑 模糊综合评价,4.1 模糊逻辑,模糊逻辑的基本思想是任何事情都允许有一定的程度。温度、高度、速度、距离和美丽所有这些都可以在某个范围内浮动。 模糊逻辑并不是说逻辑本身是模糊的，而是指用来描述模糊的逻辑。模糊逻辑是模糊集的理论，模糊集能够校正含糊的知识。 例如：天气很热；昨天的雨很大；他很高,而布尔逻辑表达的是明显的差别，迫使我们在集合的成员和非成员之间划出明显的界限。 例如，如果我们以180cm为界限，那么就说Tom高，因为其身高为181cm，而David矮，因为其身高为179cm。但是David真的矮吗？这种分界可以这么武断吗？,模糊逻辑能反映人类是怎样思考的。它尝试模拟人类的语感、决策制订和常识，导致了新的、更加人性化和智慧系统的产生。,模糊或多值逻辑是波兰的逻辑学家和哲学家Jan Lukasiewicz在20世纪30年代引入的。 当时经典的逻辑操作仅使用两个值1(为真)和0(为假) Lukasiewicz引入了将真值扩展到0和1之间所有的实数的逻辑。使用该范围内的一个数值来表示某个命题为真或假的可能性。,例如，身高为181cm的男人确实是高的可能性取值为0.86。这个人应该是很高。关于不精确推理技术的理论通常称为可能性理论。,1937年，哲学家Max Black发表了论文“Vagueness: an exercise in logical analysis”。在论文中，他讨论了指示程度的连续变化。 设想将无数的椅子排成一行。在一端是齐本德尔式的椅子，挨着它的是类似齐本德尔式的，但看上去和第一把椅子几乎分不出差别。随后的椅子越来越不像椅子，最后是一根圆木。 那么，椅子什么时候变成了圆木？ Max Black也定义如果连续区是离散的，那么可以为每个元素分配一个数值。他接受模糊的机率。,1965年，Lotfi Zadeh教授发表了著名的论文“Fuzzy sets”。 事实上，Zadeh将可能性理论扩展到数学逻辑的形式系统中，他引入了新概念以应用自然语言的术语。 这种表达和操作模糊术语的新逻辑称为模糊逻辑，Zadeh也成为“模糊逻辑之父”。 模糊依赖于模糊集理轮，模糊逻辑只是该理论的一小部分。,模糊逻辑是基于归属度而不是经典二值逻辑中清晰归属关系的知识表达的一组数学原理。 和二值的布尔逻辑不同，模糊逻辑是多值的。它处理归属的程度和可信的程度。模糊逻辑使用介于0(完全为假)和1(完全为真)之间逻辑值的连续区间。 与非黑即白不同，它使用颜色的色谱，可以接受同时部分为真和部分为假的事物。,(a)布尔值 (b)模糊值,布尔和模糊逻辑的逻辑值范围,模糊集,集合的概念 某些指定的对象集在一起就成为一个集合，也简称集.集合中的每个对象叫做这个集合的元素。,模糊集（高个子男人）,水平轴表示论域某一变数所有可能取值的范围，在本例中变数是身高。按照这种表示方法，男性的身高应该包含全体男性的身高。 垂直轴表示模糊集中的隶属度。在本例中，“高个子男人”的模糊集将身高值对应到相对应的成员资格值。,模糊集为具有模糊边界的集合 假设X为论域，其中的元素可记为x。在经典的集合论中，X的清晰集A定义为函数fA (x)，称为A的特征函数：,fA(x): X 0, 1, 其中,该集合将X的论域对应到两个元素。对于论域X的任何元素x，如果x是集合A中的元素，特征函数fA(x) 为1，如果x 不是A中的元素，则特征函数fA(x)为0。,在模糊理论中，论域X的模糊集A定义为函数