机器学习算法简介

1、第八章 机器学习算法简介8.1 机器学习问题8.2 机器学习算法8.3 机器学习应用8.4 WEKA平台简介提要 8.1 机器学习问题概念人工智能(Artificial Intelligence, AI)机器学习(machine learning, ML)模式识别(Pattern Recognition, PR)研究内容分类(classify)、聚类(cluster)、回归(regress)有监督学习(supervised learning) 、无监督学习(unsupervised learning) 、半监督学习(semi-supervised learning)分类训练不同的分类方法效果不

2、同8.2 机器学习算法分类朴素贝叶斯(Native Bayes)Fisher线性判别支持向量机(support vector machine, SVM)K近邻(k nearest neighbors, kNN)聚类K均值(K means)贝叶斯分类器的错误率估计贝叶斯公式 先验概率P(cj)P( cj|x) =P(x|cj)P(cj)P(x) 联合概率P(x|cj) 后验概率P(cj|x)Bayes最小错误率决策例解两类细胞识别问题：正常类(1)和类异常(2)根据已有知识和经验，两类的先验概率为：正常(1)： P(1)=0.9异常(2)： P(2)=0.1对某一样本观察值x，通过计算或查表得到

3、： p(x|1)=0.2， p(x|2)=0.4如何对细胞x进行分类？最小错误率决策p(x|1)p(x|2)Bayes最小错误率决策例解（2）利用贝叶斯公式计算两类的后验概率：决策结果最小错误率决策Fisher线性判别函数分类器Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。Fisher线性判别Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。Fisher线性判别图例x1x2w1H: g=0w2Fish

4、er准则的描述：用投影后数据的统计性质(均值和离散度的函数)作为判别优劣的标准。FisherSVM-线性可分SVM-线性不可分以到原点的距离作为第3维（实际上分布在一个旋转抛物面上）8.3 机器学习应用多媒体处理人脸识别、指纹识别视频跟踪哼唱找歌自然语言处理机器翻译信息检索(google, baidu)中文输入法生物信息处理基因挖掘大分子功能预测基因调控关系网络安全垃圾邮件过滤敏感图片识别病毒检测8.4 WEKA全名：怀卡托智能分析环境（Waikato Environment for Knowledge Analysis）下载：http:/www.cs.waikato.ac.nz/ml/wek

5、a功能：分类、回归、聚类、关联规则特点：可视化操作、可调用编程开发：JAVA、开源荣誉： ACM SIGKDD的最高服务奖（2005.8）数据格式图形化操作/b/8235896-1272335572.html编程操作-第一个程序public class Console public static void main(String args) try BufferedReader br = new BufferedReader(new FileReader(train.arff); Instances ins = new Instances(br); ins.setClassIndex(ins.

6、numAttributes()-1); Classifier c1 = new J48(); c1.buildClassifier(ins); System.out.println(c1.toString(); catch(Exception ex) 编程操作-注意事项不要忘了在工程中导入weka.jar包不要忘了import相应的类Pancake Flipping ProblemThe chef is sloppy; he prepares an unordered stack of pancakes of different sizesThe waiter wants to rearrange them (so that the smallest winds up on top, and so on, down to the largest at the bottom)He does it by flipping over sev