人工智能样板课件

第二章贝叶斯决策论兰远东第二章兰远东2.1引言贝叶斯决策论是解决模式分类问题的一种基本统计途径。它做了如下假设，即决策问题可以用概率的形式来描述，并且假设所有的概率结构已知。例：鲑鱼和鲈鱼分类

两类鱼自然状态下的先验概率先验概率是一个随机变量(=1鲈鱼;=2鲑鱼)

等概率假设下有：P(1)=P(2)P(1)+P(2)=12.1引言贝叶斯决策论是解决模式分类问题的一种基本统计途径仅根据先验概率的判决规则ifP(1)>P(2)则判为1否则判为2连续判决和误差概率使用类条件概率信息（P(x|)类条件概率密度函数）P(x|1)和P(x|2)描述两类鱼光泽度的不同2.1引言仅根据先验概率的判决规则2.1引言2.1引言2.1引言2.1引言处于类别j并具有特征值x的模式的联合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得贝叶斯公式：两类问题情况下非正式表示：2.1引言处于类别j并具有特征值x的模式的联合概率密度如人工智能样板课件根据后验概率判决

X是观测属性 ifP(1|x)>P(2|x)

判决状态为

1 ifP(1|x)<P(2|x)

判决状态为

2

所以: 当我们观测到一个x,判决的误差概率为:

P(error|x)=P(1|x)如果判决为

2 P(error|x)=P(2|x)如果判决为

12.1引言根据后验概率判决2.1引言2.1引言平均误差概率可表示为：最小化误差概率判决ifP(1|x)>P(2|x)

判为

1

否则判为2; 所以:P(error|x)=min[P(1|x),P(2|x)]

2.1引言平均误差概率可表示为：最小化误差概率判决2.2贝叶斯决策论——连续特征贝叶斯推广

使用多余一个的特征允许多余两种类别状态的情形允许有其他行为而不是仅仅是判定类别通过引入一个更一般的损失函数来替代误差概率2.2贝叶斯决策论——连续特征贝叶斯推广

2.2贝叶斯决策论——连续特征令{1,2,…,c}表示有限的c个类别集{1,2,…,a}表示有限的a种可能的行为集

(i|j)为类别状态j时采取行动i的风险。则有下面的几个等式：总风险：2.2贝叶斯决策论——连续特征令{1,2,…,c

两类情况下1:判为

12:判为

2ij=(i|j):类别为j时误判为i所引起的损失

条件风险:

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2贝叶斯决策论——连续特征两类情况下2.2贝叶斯决策论——连续特征判决规则如下:

如果

R(1|x)<R(2|x)

则采取行动

1:“判为1”等价判决规则1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判为

1

否则判为22.2贝叶斯决策论——连续特征判决规则如下:2.2贝叶斯决策论——连续特征2.2贝叶斯决策论——连续特征等价判别规则2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判为

1否则判为2

等价判别规则3(合理假设21>

11)：成立，则判为1

否则判为2似然比超过某个不依赖x的阀值，那么可判决为1

2.2贝叶斯决策论——连续特征等价判别规则2：成立，则判为2.3最小误差率分类基于类别的行为如果采取行为i而实际类别为j，那么在i=j的情况下判决是正确的，如果ij，则产生误判。为避免误判，需要寻找一种判决规则使误判概率最小化。对称损失或0-1损失函数:则,条件风险为:2.3最小误差率分类基于类别的行为则,条件风险为:最小化误差概率，需要最大化后验概率

P(i|x)(因为

R(i|x)=1–P(i|x))

基于最小化误差概率，有：

对任给ji，如果P(i|x)>P(j|x)，则判为

i2.3最小误差率分类最小化误差概率，需要最大化后验概率P(i|x)2.32.4分类器、判别函数及判定面多类别情况

判别函数gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分类器将特征向量x判为i

2.4分类器、判别函数及判定面多类别情况

人工智能样板课件2.4分类器、判别函数及判定面一般风险情况下，可令gi(x)=-R(i|x)(最大判别函数与最小的条件风险相对应)

根据最小误差率情况下gi(x)=P(i|x)(最大判别函数与最大后验概率相对应)

其他判别函数：2.4分类器、判别函数及判定面一般风险情况下，可令gi(x2.4分类器、判别函数及判定面每种判决规则将特征空间分为c个判决区域 ifgi(x)>gj(x)ji则x属于Ri (也就是把x判为i)2.4分类器、判别函数及判定面每种判决规则将特征空间分为c2.4分类器、判别函数及判定面两类情况（二分分类器） 令g(x)g1(x)–g2(x)

如果g(x)>0判为1;否则判为2g(x)的另类计算：2.4分类器、判别函数及判定面两类情况（二分分类器）g(x2.5正态密度分析的简易型连续性很多处理都是渐进高斯的，大量小的独立的随机分布的和手写字符,语音等都是高斯的单变量密度函数：

其中:

是x的期望值

2

是方差2.5正态密度分析的简易型2.5正态密度2.5正态密度多元密度函数一般的d维多元正态密度的形式如下:x=(x1,x2,…,xd)t

=(1,2,…,d)t

均值向量=d*d

协方差矩阵

||行列式值

-1逆矩阵

2.5正态密度多元密度函数2.5正态密度2.6正态分布的判别函数最小误差概率分类可以通过使用判别函数获得

gi(x)=lnP(x|i)+lnP(i)

多元情况下：2.6正态分布的判别函数最小误差概率分类可以通过使用判别函2.6正态分布的判别函数情况1：i=2.I

(I是单位矩阵)

2.6正态分布的判别函数情况1：i=2.I“线性机器”使用线性判别函数的分类器。线性机器的决策面是一个由下式定义的超平面:

gi(x)=gj(x)2.6正态分布的判别函数“线性机器”使用线性判别函数的分类器。2.6正态分布的判别人工智能样板课件情况：2i=(有所类的协方差矩阵都相等，但各自均值向量任意!)2.6正态分布的判别函数情况：2i=(有所类的协方差矩阵都相等，但各自均2.6正态分布的判别函数2.6正态分布的判别函数人工智能样板课件人工智能样板课件人工智能样板课件人工智能样板课件情况3：i=任意，每一类的协方差矩阵是不同的2.6正态分布的判别函数情况3：i=任意，每一类的协方差矩阵是不同的2.6人工智能样板课件人工智能样板课件Thankyou!Thankyou!第二章贝叶斯决策论兰远东第二章兰远东2.1引言贝叶斯决策论是解决模式分类问题的一种基本统计途径。它做了如下假设，即决策问题可以用概率的形式来描述，并且假设所有的概率结构已知。例：鲑鱼和鲈鱼分类

两类鱼自然状态下的先验概率先验概率是一个随机变量(=1鲈鱼;=2鲑鱼)

等概率假设下有：P(1)=P(2)P(1)+P(2)=12.1引言贝叶斯决策论是解决模式分类问题的一种基本统计途径仅根据先验概率的判决规则ifP(1)>P(2)则判为1否则判为2连续判决和误差概率使用类条件概率信息（P(x|)类条件概率密度函数）P(x|1)和P(x|2)描述两类鱼光泽度的不同2.1引言仅根据先验概率的判决规则2.1引言2.1引言2.1引言2.1引言处于类别j并具有特征值x的模式的联合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得贝叶斯公式：两类问题情况下非正式表示：2.1引言处于类别j并具有特征值x的模式的联合概率密度如人工智能样板课件根据后验概率判决

X是观测属性 ifP(1|x)>P(2|x)

判决状态为

1 ifP(1|x)<P(2|x)

判决状态为

2

所以: 当我们观测到一个x,判决的误差概率为:

P(error|x)=P(1|x)如果判决为

2 P(error|x)=P(2|x)如果判决为

12.1引言根据后验概率判决2.1引言2.1引言平均误差概率可表示为：最小化误差概率判决ifP(1|x)>P(2|x)

判为

1

否则判为2; 所以:P(error|x)=min[P(1|x),P(2|x)]

2.1引言平均误差概率可表示为：最小化误差概率判决2.2贝叶斯决策论——连续特征贝叶斯推广

使用多余一个的特征允许多余两种类别状态的情形允许有其他行为而不是仅仅是判定类别通过引入一个更一般的损失函数来替代误差概率2.2贝叶斯决策论——连续特征贝叶斯推广

2.2贝叶斯决策论——连续特征令{1,2,…,c}表示有限的c个类别集{1,2,…,a}表示有限的a种可能的行为集

(i|j)为类别状态j时采取行动i的风险。则有下面的几个等式：总风险：2.2贝叶斯决策论——连续特征令{1,2,…,c

两类情况下1:判为

12:判为

2ij=(i|j):类别为j时误判为i所引起的损失

条件风险:

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2贝叶斯决策论——连续特征两类情况下2.2贝叶斯决策论——连续特征判决规则如下:

如果

R(1|x)<R(2|x)

则采取行动

1:“判为1”等价判决规则1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判为

1

否则判为22.2贝叶斯决策论——连续特征判决规则如下:2.2贝叶斯决策论——连续特征2.2贝叶斯决策论——连续特征等价判别规则2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判为

1否则判为2

等价判别规则3(合理假设21>

11)：成立，则判为1

否则判为2似然比超过某个不依赖x的阀值，那么可判决为1

2.2贝叶斯决策论——连续特征等价判别规则2：成立，则判为2.3最小误差率分类基于类别的行为如果采取行为i而实际类别为j，那么在i=j的情况下判决是正确的，如果ij，则产生误判。为避免误判，需要寻找一种判决规则使误判概率最小化。对称损失或0-1损失函数:则,条件风险为:2.3最小误差率分类基于类别的行为则,条件风险为:最小化误差概率，需要最大化后验概率

P(i|x)(因为

R(i|x)=1–P(i|x))

基于最小化误差概率，有：

对任给ji，如果P(i|x)>P(j|x)，则判为

i2.3最小误差率分类最小化误差概率，需要最大化后验概率P(i|x)2.32.4分类器、判别函数及判定面多类别情况

判别函数gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分类器将特征向量x判为i

2.4分类器、判别函数及判定面多类别情况

人工智能样板课件2.4分类器、判别函数及判定面一般风险情况下，可令gi(x)=-R(i|x)(最大判别函数与最小的条件风险相对应)

根据最小误差率情况下gi(x)=P(i|x)(最大判别函数与最大后验概率相对应)

其他判别函数：2.4分类器、判别函数及判定面一般风险情况下，可令gi(x2.4分类器、判别函数及判定面每种判决规则将特征空间分为c个判决区域 ifgi(x)>gj(x)ji则x属于Ri (也就是把x判为i)2.4分类器、判别函数及判定面每种判决规则将特征空间分为c2.4分类器、判别函数及判定面两类情况（二分分类器） 令g(x)g1(x)–g2(x)

如果g(x)>0判为1;否则判为2g(x)的另类计算：2.4分类器、判别函数及判定面两类情况（二分分类器）g(x2.5正态密度分析的简易型连续性很多处理都是渐进高斯的，大量小的独立的随机分布的和手写字符,语音等都是高斯的单变量密度函数：

其中:

是x的期望