基于Choquet模糊积分的多分类器系统多样性研究课件

1、基于Choquet模糊积分的多分类器系统多样性研究报告人：张国防2022/10/111基于Choquet模糊积分的多分类器系统多样性研究报告人：主要内容基于模糊积分多样性的定义泛化误差不等式 模糊测度的多样性训练算法学习 模糊测度的非线性规划模型数据实验结果进一步的工作参考文献 2022/10/112主要内容基于模糊积分多样性的定义2022/10/102对某输入模式 有如下输出：BACKDecision profile(DP( )ClassifiersClass labelFuzzy measureFusion output for each classTrue function for ea

2、ch class多分类器系统(MCS)的输出2022/10/113对某输入模式 有如下输出：BACKDecision pro基于模糊积分的多样性定义 假定整个训练集合含有从概率分布为 的数据集合中随即抽取的 个样例。对于单个输入模式，基于Choquet模糊积分的多样性定义：其中：对于整个训练集合，基于Choquet模糊积分的多样性定义：BACK2022/10/114基于模糊积分的多样性定义 假定整个训练集合含有从泛化误差不等式 整个讨论中，假定学习任务是学习M个函数:对于单个输入模式，泛化误差不等式：对于单个输入模式，泛化误差不等式：BACK2022/10/115泛化误差不等式 整个讨论中，假

3、定学习任务是学模糊测度多样性训练算法该训练算法考虑了分类器的训练误差和多样性两个参数 如果两个参数之一的提高导致另一个参数的极度下降，那么我们就不对密度做任何调整。 规定一个阈值为可接受的下降程度，这样密度的调整条件的判断如下：如果两个参数之一的提高程度小于阈值，那么另一个参数的可接受最大下降程度等于前一个参数的提高程度。如果两个参数之一的提高程度大于阈值，那么另一个参数的可接受最大下降程度等于规定的阈值。BACK2022/10/116模糊测度多样性训练算法该训练算法考虑了分类器的训练误差和多样Step1:初始化各类密度值；Step2:对样例集合进行分类，得出训练精度，如果达到所要求的训练精度

4、，那么停止学习，返回各类密度值，否则转Step3 ；Step3:计算整个训练集的多样性值 ；Step4 :对训练集中被系统分错的每一个样例 进行如下操作：计算关于单个 样例 的多样性值 ，如果 进行以下过程，否则进行下一个样例；判断是否满足密度调整的条件，如果不满足，那么进行下一个样例，否则，（1）该样例类别所对应的密度值增加；（2）其他类别所对应的密度值减少；对训练集搜索一遍后返回各类密度值；Step5: 根据Step4得到的密度值对训练集分类，得到训练精度，若精度满足要求，则停止学习，返回密度值，否则计算对应于Step4得到的密度值的整个训练集合的多样性值 ，如果 那么 否则 不变，转St

5、ep4 ； BACK2022/10/117Step1:初始化各类密度值；BACK2022/10/107模糊密度值的调整与积分值之间的关系 满足:调整步长：0.0830调整步长：0.0492BACK2022/10/118模糊密度值的调整与积分值之间的关系 满足:调整步长：0.08 满足:2022/10/119 满足:2022/10/109上述非线性约束优化问题可以用MATLAB优化工具箱中的fmincon函数来求解，因为约束为非线性约束，所以不可能将约束条件信息直接包含在函数的输入参数中，必须编写函数返回在每一个点处的约束值，然后再调用优化函数fmincon。fun目标函数名;X0初始点;lb决

6、策变量的下界;ub决策变量的上界;nonlcon返回约束值的函数名；options优化选项参数。2022/10/1110上述非线性约束优化问题可以用MATLAB优化工具箱中的fmi数据试验结果 (优化)BACK2022/10/1111数据试验结果 (优化)BACK2022/10/1011数据试验结果(多样性算法) 从Abalone数据库中选取第5，6，7类数据共756个样例，输入数据属性为数据样例的7个连续值属性，训练9个神经网络分类器进行算法试验。BACK返回2022/10/1112数据试验结果(多样性算法) 从Abalone数据库BACK2022/10/1113BACK2022/10/10

7、13进一步的工作利用遗传算法求解与其它多样性度量方法的比较训练集合与测试集合规模的确定BACK2022/10/1114进一步的工作利用遗传算法求解BACK2022/10/1014参考文献1 Michel Grabisch, Toshiaki Murofushi and Michio Sugeno, Fuzzy Measure and Integrals Theory and Applications, New York, Physica-Verlag Heidelberg , 2000.2 Zhenyuan Wang and George J. Kllr, Fuzzy measure theo

8、ry, New York, Plenum Publishing Corporation, 1992.3 Ludmila I. Kuncheva, Fuzzy Classifier Design, New York, Physica-Verlag Heidelberg , 2000.4 Ludmila I. Kuncheva, Combining Pattern Classifiers Methods and Algorithms, New Jersey, John Wiley and Sons, Inc. Hoboken, 2004.5 Gabriele Zenobi, A detailed

9、derivation of the relationship between generalization error and ambiguity in regression ensembles, Trinity College Dublin.6 Michel Grabisch, Fuzzy integral in multicriteria decision making, Fuzzy Sets and Systems 69 (1995)279-298.7 Robert E. Banfield, Lawrence O. Hall, Kevin W. Bowyer and W. Philip

10、Kegelmeyer, A New Ensemble Diversity Measure Applied to Thinning Ensembles, International Workshop on Multiple Classifier Systems, pp.306-316, 2003.2022/10/1115参考文献1 Michel Grabisch, Toshi8 Gabriele Zenobi and Padraig Cunningham, Using Diversity in Preparing Ensembles of Classifiers Based on Differe

11、nt Feature Subsets to Minimize Generalization Error, Trinity College Dublin.9 Dymitr Ruta and Bogdan Gabrys, New Measure of Classifier Dependency in Multiple Classifier Systems, United Kingdom.10 Zhenyuan Wang, Kwong-Sak Leung, Man-Leung Wong and Jian Fang, A new type of nonlinear integrals and the

12、computational algorithm, Fuzzy Sets and Systems 112 (2000) 223-231.11 Amanda J.C. Sharkey and Noel E. Sharkey, Diversity, Selection, and Ensembles of Artificial Neural Nets, U.K.12 Michel Grabisch , The representation of importance and interaction of features by fuzzy measures, Pattern Recognition Letters 17 (1996) 567-575.13 Zhenyuan Wang, Kwong-Sak Leung and Jian Fang, Determining nonnegative monotone set functions based on Sugenos integral: an application of genetic algorithm, Fuzzy Sets and Systems 112 (2005) 155-164.14 James