第五周神经网络和模糊集-ToStu

1分类:高级方法后向传播分类模糊集算法小结2什么是分类？分类，分类器银行贷款员需要分析数据，以便搞清楚哪些贷款申请者是“安全的”；医学研究人员分析癌症数据，以便选择治疗方案数据分析任务都是分类，都需要构造一个分类器来预测类标号数值预测，预测器销售经理希望预测一位给定的顾客在双11的一次购物期间将花多少钱数据分析任务就是数值预测，所构造的模型（预测器）预测一个连续值函数或有序值，而不是类标号3分类预测类标号(离散的或标称的)基于训练集和类标号构建分类器，并对新的数据进行分类数值预测所构造的模型预测一个连续值函数，而不是类标号典型应用信用卡/贷款批准:医疗诊断:肿瘤是良性的还是恶性的欺诈检测:一次交易是否是欺诈的网页分类:属于哪一类预测问题:分类与数值预测4分类—一个两阶段过程两阶段：学习阶段（构建分类模型）和分类阶段（使用模型预测给定数据的类标号）分类模型构建(学习阶段):描述预先定义的类假设每个元组都属于一个预先定义的类，由类标号属性确定，类标号属性是离散值的和无序的用于模型构建的元组集合称为训练集模型用分类规则，决策树，或数学公式表示模型使用(分类阶段):用于分类未知对象评估模型的准确性检验样本的已知标签与模型的分类结果比较准确率是被模型正确分类的检验样本所占的百分比检验集是独立于训练集的(否则过分拟合)如果准确性是可接受的，则使用模型来分类新的数据5分类：人工神经网络神经元的解剖图神经元的信息传递和处理是一种电化学活动。树突由于电化学作用接受外界的刺激；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元。这一过程可以看作一个多输入单输出非线性系统的动态过程。6分类：人工神经网络神经元的数学模型分类：人工神经网络分类：人工神经网络网络结构根据节点层数，可分为单层网络和多层网络根据有无反馈，可分为前馈网络和反馈网络分类：人工神经网络10分类：人工神经网络神经网络的分类：前向传播网络后向传播网络(Backpropagation简称BP)递归神经网络卷积神经网络11分类：后向传播(Backpropagation,BP)后向传播:一个神经网络学习算法由心理学家和神经学家开创，旨在寻求开发和检验神经的计算模拟神经网络:是一组连接的输入/输出单元，其中每个连接都与一个权重相关联。在学习阶段,通过调整这些权重，使得它能够预测输入元组的正确类标号来学习由于单元之间的连接，神经网络学习又称连接者学习12作为分类器的神经网络缺点需要很长的训练时间需要大量靠经验确定的参数，如网络拓扑或“结构”可解释性差:很难解释网络中学习的权重和“隐藏单元”的符号含义优点对噪声数据的高承受能力对未经训练的数据的模式分类能力非常适合连续值的输入和输出(不像大部分决策树算法)已经成功地应用于广泛的现实世界的数据，如手写字符识别算法天生是并行的最近已经开发了一些从训练过的神经网络提取规则的技术13一个多层前馈神经网络wij输入向量:X输入层隐藏层输出层输出向量多层前馈神经网络由一个输入层、一个或多个隐藏层和一个输出层组成。网络的输入对应于每个训练元组的观测属性这些输入通过输入层，然后加权作为隐藏层的输入该隐藏层单元的输出可以输入到另一个隐藏层。隐藏层的数量是任意的最后一个隐藏层的权重输出作为输出层的单元的输入。包含一个隐藏层的网络称做二层神经网络（不计算输入层）网络是前馈的，因为其权重都不回送到输入单元。一个多层前馈神经网络15定义网络拓扑确定网络拓扑:说明输入层的单元数、隐藏层数(如果多于一层)、每个隐藏层的单元数和输出层的单元数对训练元组中每个属性的输入测量值进行规范化，使得它们落入0.0和1.0之间。离散值属性可以重新编码，使得每个域值有一个输入单元对于分类，一个输出单元可以用来表示两个类；如果多于两个类，则每个类使用一个输出单元一旦网络经过训练，并且其准确率不能被接受，则通常用不同的网络拓扑或使用不同的初始权重集，重复训练过程。16后向传播迭代地处理训练元组数据集，把每个元组的网络预测与实际已知的目标值相比较进行学习(目标值可以是训练元组的已知类标号或者是连续值)对于每个训练样本，修改权重使得网络预测和实际目标值之间的均方误差最小这种修改“后向”进行，即由输出层，经由每个隐藏层，到第一个隐藏层(因此称做后向传播)步骤网络的权重被初始化为小随机数。每个单元都有一个相关联的偏倚(bias)向前传播输入(通过应用激活函数)向后传播误差(通过更新权重和偏倚)终止条件(例如当误差非常小,等)后向传播算法流程18一个隐藏或输出层单元一个隐藏或输出单元：单元的输入是来自上一层的输出。这些与对应的权重相乘，以形成加权和。加权和加到与隐藏或输出单元相关联的偏倚上(形成净输入)。一个非线性的激活函数作用于净输入。mkf加权和输入向量x(上一层的输出)输出

y激活函数权重åw0w1wnx0x1xn偏倚19向后传播误差对于输出层单元j，误差Errj用下式计算：Errj=Oj(1-Oj)(Tj-Oj)其中Oj是单元j的实际输出，Ti是j给定训练元组的已知目标值。计算隐藏层单元j的误差:其中，wjk是由下一较高层中单元k到单元j的连接权重，而Errk是单元k的误差。20更新权重和偏倚更新权重，其中是权wij的改变量其中，变量l是学习率，通常取0.0和1.0之间的常数值。更新偏倚，其中是偏倚的改变量

21用训练过的网络对未知元组分类把该元组X输入到训练过的网络计算每个单元的净输入和输出(不需要计算误差和它们的后向传播)如果每个类有一个输出节点，则具有最高输出值的节点决定X的预测类标号如果只有一个输出节点，则输出值大于或等于0.5可以视为正类，而值小于0.5可以视为负类。。22分类:高级方法后向传播分类模糊集算法小结23使用IF-THEN规则分类以

IF-THEN规则的形式表示学习得到的模型R:IFage=youthANDstudent=yesTHENbuys_computer=yes“IF”部分称为规则前件或前提,“THEN”部分称为规则的结论在规则前件，条件由一个或多个用逻辑连接词AND连接的属性测试组成；规则的结论包含一个类预测对于给定的元组，如果规则前件中的条件都成立，则规则覆盖了该元组规则的评价:覆盖率和准确率ncovers表示规则R覆盖的元组数ncorrect表示规则R正确分类的元组数coverage(R)=ncovers/|D|/*D:训练数据集*/accuracy(R)=ncorrect/ncovers模糊性－模糊概念、模糊现象到处存在天气冷热雨的大小风的强弱人的胖瘦年龄大小个子高低模糊集简介1965年，美国计算机与控制论专家扎德（L.A.Zadeh）提出了模糊集合论，用隶属程度来描述差异的中介过渡，是一种用精确的数学语言对模糊性进行描述的方法。

模糊数学的出现则把数学的应用范围从精确现象扩大到模糊现象。

模糊集通用集合X–一般为精确集；精确集合指定值{0,1}给集合X中的元素；模糊集指定[0,1]给集合X中的元素；这些值被称为隶属函数

m.一个模糊集的隶属函数定义为:

A:X[0,1] A:[x1/m1,x2/m2,…,xn/mn}模糊集图例模糊集举例(1)讨论人及“youngness”令

S为人的集合模糊子集

YOUNG“什么样的人才算年轻?"对每一个在论域中的人，我们都指定一个年轻程度的值给模糊子集。可以指定一个基于年龄的隶属度函数：young(x)={1,如果age(x)<=20,

(30-age(x))/10,如果20<age(x)<=30,

0,如果

age(x)>30}

模糊集举例(2)隶属度函数图示举例:“Parthiban”是年轻人的隶属程度为0.50A=全体高个子的集合Heights5’10’’1.0CrispsetAMembershipfunctionHeights5’10’’6’2’’.5.9Fuzzy

setA1.0模糊集举例(3)离散值的模糊集模糊集C=“理想的居住城市”X={旧金山,波士顿,洛杉矶}(离散且无序)C={(旧金山,0.9),(波士顿,0.8),(洛杉矶,0.6)}模糊集A=“理想的孩子数目”X={0,1,2,3,4,5,6}(离散论域)A={(0,0.1),(1,0.3),(2,0.7),(3,1),(4,0.6),(5,0.2),(6,0.1)}隶属函数隶属函数的特性:面向测度的非概率函数MFsHeights5’10’’.5.8.1

“tall”inAsia“tall”intheUS

“tall”inNBA隶属函数定义论域U上的一个模糊集合A通过一个隶属函数刻画：

μA

(x):U

[0,1]，x

U

对任意x

U，都指定一个数μA(x)

[0,1]与之对应，称为x对A的隶属度，μA

称为A的隶属函数。

若μA

(x)=0，则x完全不属于A；若μA

(x)=1，则x完全属于A；若0<μA

(x)<1，则x属于A的隶属度为μA

(x)。

当μA的值域为{0,1}时，μA退化为经典集合的特征函数，而A退化为经典集合。

常用的隶属函数举例(1)三角隶属函数常用的隶属函数举例(2)梯形隶属函数常用的隶属函数举例(2))(2)/σ)((=--excx1/2AmGaussian(x,c,σ)=高斯隶属函数广义贝尔函数隶属函数图形disp_mf.mL-R隶属函数Example:difflr.mc=65a=60b=10c=25a=10b=40模糊集合的表示法可以通过给出隶属函数的解析式来表示一个模糊集。“年老”O与“年轻”Y的隶属函数如下：模糊集合的表示法当论域为有限集时，可以用序偶的形式或向量的形式表示模糊集。

可以采用序偶形式表示A，形如A={(a,0.3),(b,0.7),(c,1),(d,0),(e,0.25)}

，还可以采用向量形式表示A，形如A=(0.3,0.7,1,0,0.25)。

扎德的表示形式为：A=0.3/a+0.7/b+1/c+0/d+0.25/e核、支集、正规模糊集KerA={u|u∈U,μA(u)=1}SuppA={u|u∈U,μA(u)>0}则称KerA为模糊集A的核，SuppA为模糊集A的支集。正规模糊集：若KerA≠Φ，则称A为正规模糊集。基数——在限定的论域X内给定一个模糊集A，它的基数定义为：λ截集设A为论域U上的模糊集，λ

[0,1]，令Aλ={x|μA

(x)≥λ}，称Aλ为A的λ截集。定理：(A

B)λ=Aλ

Bλ，(A

B)λ=Aλ

Bλ

定理：若λ≤μ，则Aλ

Aμ。

例：令U={x1,x2,x3,x4,x5}，

A=0.9/x1+0.7/x2+1/x3+0.2/x4+0.3/x5，求A0.7，A1，A0。

解：A0.7={x1,x2,x3}，A1={x3}，A0=U。

模糊集的并、交、补模糊集间的运算实际上是逐点对隶属度作相应的运算。

设A，B是同一论域U上的两个模糊集合，其隶属函数分别为μA

(x)和μB

(x)，A与B的并集、交集分别记为A

B和A

B。A的补集记为A’。它们的隶属函数分别为：

其中，max和

表示最大运算，min和

表示最小运算。

笛卡尔乘积设A1，A2，…，An是论域U1，U2，…，Un上的模糊集，A1，A2，…，An的笛卡尔乘积记为A1×A2×…×An，定义为论域U1×U2…×Un上的模糊集R（A1，A2，…，An）。其隶属函数根据论域的有限和无限这两种情形，可有：模糊关系的笛卡尔乘积设论域U={x1,x2,x3}，是表示三个人的集合。下面是U×U上的模糊关系R（U，U）的例子，用来表示三个人彼此熟悉的模糊关系。R=1.0/(x1,x1)+0.8/(x1,x2)+0.7/(x1,x3)+0.9/(x2,x1)+1.0/(x2,x2)+0.1/(x2,x3)+0.6/(x3,x1)+0.2/(x3,x2)+1.0/(x3,x3)

在R中，μR(xi,xi)=1(i=1,2,3)表示每个人对其自己最了解。而μR(x2,x3)=0.1表示x2对x3基本上不熟悉。μR(x3,x2)=0.2表示x3对x2有点熟悉。模糊集间的包含关系、相等关系设A，B是同一论域U上的两个模糊集，定义模糊集间的包含关系、相等关系如下：

若

x

U，都有μA

(x)≥μB

(x)，则称A包含B，记作A

B；

若

x

U，都有μ