第6章机器学习与知识发现61机器学概述62符号学习

1、 第6章 机器学习与知识发现 6.1 机器学习概述 6.2 符号学习 6.3 神经网络学习 6.4 知识发现与数据挖掘 6.1 机器学习概述6.1.1 机器学习的概念 ： 学习与经验有关； 学习可以改善系统性能； 学习是一个有反馈的信息处理与控制过程。因为经验是在系统与环境的交互过程中产生的，而经验中应该包含系统输入、响应和效果等信息。因此经验的积累、性能的完善正是通过重复这一过程而实现的。6.1.2 机器学习的原理图 9-1 机器学习原理1图 9-2 机器学习原理2 图 9-3 机器学习原理3 图 9-4 机器学习原理4图 9-5 机器学习原理56.1.3 机器学习的分类 （3.4. 5.

2、6.2 符号学习6.2.1 记忆学习6.2.2 示例学习图 9-6 第一个拱桥的语义网络图 9-7 第二个拱桥的语义网络图 9-8 学习程序归纳出的语义网络图 9-9 拱桥概念的语义网络 例 9.16.2.3 决策树学习 决策树示意图 例例9.3 下下图所示是机场指挥台关于飞机起飞的简单决策树。 例例9.4 下图是一个描述“兔子”概念的决策树。 2. 表表9.1 汽车驾驶保险类别划分实例集汽车驾驶保险类别划分实例集 将实例集简记为s=(1,c), (2,c), (3,c), (4,b), (5,a), (6,a), (7,c), (8,b), (9,a), (10,a), (11,b), (1

3、2,b) 其中每个元组表示一个实例，前面的数字为实例序号，后面的字母为实例的决策项保险类别。 用 “小”、“中”、“大” 分别代表 “21”、“21且25”、“25” 这三个年龄段。 对于s，我们按属性“性别”的不同取值将其分类。由表9.1 可见，这时s应被分类为两个子集：s1= (3,c), (4,b), (7,c), (8,b), (11,b), (12,b)s2=(1,c), (2,c), (5,a), (6,a), (9,a), (10,a) 于是，我们得到以性别作为根节点的部分决策树（见下图）。 决策树生成过程 决策树生成过程 决策树生成过程 最后生成的 决策树 （1） 设s是一个实

4、例集(s也可以是子实例集),a为s中实例的一个属性。h(s)和h(s|a)分别称为实例集s的信息熵和条件熵, 其计算公式如下: 其中,i(i=1, 2, , n)为s中各实例所有可能的结论；lb即log2。 其中,ak(k=1, 2, , m)为属性a的取值, sak为按属性a对实例集s进行分类时所得诸子类中与属性值ak对应的那个子类。niiippsh1)(lb)()(mkaakkshssash1)()|( 按性别划分, 实例集s被分为两个子类: s男 =(3,c), (4,b), (7,c), (8,b), (11,b), (12,b)s女 =(1,c), (2,c), (5,a), (6,

5、a), (9,a), (10,a) 从而, 对子集s男而言, 62)(,64)(, 060)(cpbpap对子集s女而言, 62)(, 060)(,64)(cpbpap于是, 由公式(9-1)有: 9183. 0)5283. 039. 0(5850. 16258850. 064062lb6264lb6460lb60)(lb)()(lb)()(lb)()(cpcpbpbpapapsh男9183. 0)39. 05283. 0(5850. 16205850. 06462lb6260lb6464lb64)(lb)()(lb)()(lb)()(cpcpbpbpapapsh女又 126|ssss女男将以

6、上3式代入公式(9-2)得: 9183. 09183. 01269183. 0126)(126)(126)|(中男性别shshsh用同样的方法可求得: 5062. 1)(126)(126)|(10351)(124)(124)(124)|(已未小中大婚状性别shshsh。shshshsh可见, 条件熵h(s|性别)为最小,所以,应取“性别”这一属性对实例集进行分类, 即以“性别”作为决策树的根节点。 6.3 神经网络学习 6.3.1生物神经元 生物神经元的基本结构 6.3.2人工神经元 人工神经元结构模型人工神经元的输入、 输出关系可描述为： 1()niiiyfaax神经元特性函数 1()1ay

7、fae( )yf a1000aa0001kkayk aaaaa 神经元特性函数 6.3.3 神经网络 神经网络 结构模型 神经网络至少可以实现如下功能6.3.4神经网络学习)()()() 1(txtxtwtwjiijij表 9.2 神经网络学习方法的常见分类 9.3.5 bp网络及其学习举例xexf11)(nbp学习算法： 步1 初始化网络权值、 阈值及有关参数。 步2 计算总误差 其中为输出层节点 对第 个样本的输入对应的输出（称为期望输出），为节点 的实际输出。 步3 对样本集中各个样本依次重复以下过程，然后转步2。12kkeep21()2jjkkkjeyy 其次，从输出层节点到输入层节点以反向顺序，对各连接权值wij按下面的公式进行修正： 01()1jja jnjijjiofaeao(1)( )ijjiw tw to)(1 (jjjjyyooljlljjwoo)1 (j对于输出节点对于中间节点 例 9.5 设计一个bp网络, 对下表所示的样本数据进行学习, 使学成的网络能解决类似的模式分类问题。 输入输出1 2 31 2 30.3 0.8