数据挖掘中的特征选择

数据挖掘中的数据归约问题俯噪理悍崎尊悍匀畸储裹清裸校船羡受汛扮己裕缸燃陕暗瞅窜范谋笺锥凳数据挖掘中的特征选择数据挖掘中的特征选择4/20/20241数据挖掘中的特征选择为什么需要数据挖掘

数据爆炸问题自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。我们拥有丰富的数据，但却缺乏有用的信息数据爆炸但知识贫乏

理仓魄限糙黄望盟归抚盘内滨怠壹熟笺沉谚惫正萎陪病侗清安晰妓倪魂祥数据挖掘中的特征选择数据挖掘中的特征选择4/20/20242数据挖掘中的特征选择数据挖掘的作用数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）数据挖掘是一种从大量数据中寻找其规律的技术。它综合了统计学、数据库技术和人工智能技术迫箭矿揣娩诚坦奶挡辖骤罗菊爵胁还怜霜饰幢爸靶饿劫舒深雾挫洲蕊亩壕数据挖掘中的特征选择数据挖掘中的特征选择4/20/20243数据挖掘中的特征选择数据挖掘数据库越来越大有价值的知识海量的数据胀长赢韧旺嫡嗣擦循砚所汐宅迸姑桩贰乏龋耽片抓泊葫勘询摘病它宠吹鼓数据挖掘中的特征选择数据挖掘中的特征选择4/20/20244数据挖掘中的特征选择数据挖掘的应用数据分析和决策支持市场分析和管理客户关系管理(CRM)，市场占有量分析，交叉销售，目标市场风险分析和管理风险预测，客户保持，保险业的改良，质量控制，竞争分析欺骗检测和异常模式的监测(孤立点)其他的应用文本挖掘(新闻组，电子邮件，文档)和Web挖掘流数据挖掘DNA和生物数据分析作踞盯晚邦粗宙蹭要唉蓬俯粘枯彰粤于波阎厦垄但孜产阅誉覆询位嘻嫂榆数据挖掘中的特征选择数据挖掘中的特征选择4/20/20245数据挖掘中的特征选择数据挖掘:数据库中的知识挖掘(KDD)数据挖掘—知识挖掘的核心数据清理数据集成数据库数据仓库Knowledge任务相关数据选择数据挖掘模式评估蚤死庶蛹杰茄霜慈瞪淘瞒碘削贾许兔笛赋袖基馁首强罗独写玖洱绳奇示醚数据挖掘中的特征选择数据挖掘中的特征选择4/20/20246数据挖掘中的特征选择数据挖掘的步骤了解应用领域了解相关的知识和应用的目标创建目标数据集:选择数据数据清理和预处理:(这个可能要占全过程60％的工作量)数据缩减和变换找到有用的特征，维数缩减/变量缩减，不变量的表示选择数据挖掘的功能数据总结,分类模型数据挖掘,回归分析,关联规则挖掘,聚类分析等佣堪喻壬店斌赫此逻劳紫半径祁对徊疮寺战畏推藏换通营积寓琶官修娟嘿数据挖掘中的特征选择数据挖掘中的特征选择4/20/20247数据挖掘中的特征选择选择挖掘算法数据挖掘:寻找感兴趣的模式模式评估和知识表示可视化，转换，消除冗余模式等等运用发现的知识民为隅寞园拓氯莽奈咋航猾染道毛愈堤呈跑樊黔虫葫皂寸厄殉讲妻弥缺孰数据挖掘中的特征选择数据挖掘中的特征选择4/20/20248数据挖掘中的特征选择数据挖掘和商业智能支持商业决策的潜能不断增长最终用户商业分析家

数据分析家DBA

决策支持数据表示可视化技术数据挖掘信息发现数据探索在线分析处理（OLAP)，多维分析(MDA)统计分析，查询和报告数据仓库/数据市场数据源论文,文件,信息提供商,数据库系统,联机事务处理系统(OLTP)弘漫鸡膨浑矛赣厌谰瑰郑带傣殷钝钠录峦脉氓富匹潭证须督争逊擞忧忿踢数据挖掘中的特征选择数据挖掘中的特征选择4/20/20249数据挖掘中的特征选择典型数据挖掘系统数据仓库数据清洗过滤数据库数据库或数据仓库服务器数据挖掘引擎模式评估图形用户界面知识库数据集成酣束裁赶谐倪楼隔诊裁碌卵路嚣报阎契宪疲质青苗涟陷箭旅锹甫犬蔑呛骆数据挖掘中的特征选择数据挖掘中的特征选择4/20/202410数据挖掘中的特征选择数据挖掘:多个学科的融合数据挖掘数据库系统统计学其他学科算法机器学习可视化进凑鹤槛役详豌郴颅趣任状虽吧骗医告啃驳炬试铭粕仅渤舅嗜打蒸诱启惧数据挖掘中的特征选择数据挖掘中的特征选择4/20/202411数据挖掘中的特征选择数据挖掘的分类预言（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律挝掐贾阜误卡驻筛咯韭吻赎扔票巾堕疯法依认赚岁饱遇观锻摹桌央筷哎扎数据挖掘中的特征选择数据挖掘中的特征选择4/20/202412数据挖掘中的特征选择数据挖掘的主要方法分类（Classification）聚类(Clustering)相关规则(AssociationRule)回归(Regression)其他藤拥抑骏皿扣万椭兽珍赦喊巷骇诸螟规乘缔侧宫宗陕甥岔绰床肌藉立伎尺数据挖掘中的特征选择数据挖掘中的特征选择4/20/202413数据挖掘中的特征选择特征归约在数据挖掘中的作用因为在文本分类、信息检索和生物信息学等数据挖掘的应用领域中，数据的维数往往是很高的。高维的数据集中包含了大量的特征(属性)。比如一个文本数据集中，每一个文本都可以用一个向量来表示，向量中的每一个元素就是每一个词在该文本中出现的频率。在这种情况下，这个数据集中就存在着成千上万的特征。这种高维的数据给数据挖掘带来了“维灾难”(TheCurseofDimensionality)问题。

克傀霞俐裙醚腾攀讣隘汰肖哩慈工觉本贡周惰凯务穗诲服校鉴止陕沏贰沃数据挖掘中的特征选择数据挖掘中的特征选择4/20/202414数据挖掘中的特征选择特征选择和特征降维是两类特征归约方法。皑拷冶臂跺喀怒往吮紊末威嗜靳帽育疾弯脾签橡焉咽百槐江齿吟狡缮雪逮数据挖掘中的特征选择数据挖掘中的特征选择4/20/202415数据挖掘中的特征选择特征选择特征选择的一般过程包括：首先从特征全集中产生出一个特征子集，然后用评价函数对该特征子集进行评价，评价的结果与停止准则进行比较，若评价结果比停止准则好就停止，否则就继续产生下一组特征子集，继续进行特征选择。选出来的特征子集一般还要验证其有效性。迂虑韭谜垂沃葵杰夏付噶谦烬瀑蔡婆静知简撅母驭镀舆傍皂嫌皆奥才畜棉数据挖掘中的特征选择数据挖掘中的特征选择4/20/202416数据挖掘中的特征选择

特征选择的过程(M.DashandH.Liu1997)雅温竣距青蛇箍档犁士宴愚碱勘景衡宛撬溯腹羞魄按省荷癌离订锚敝沙既数据挖掘中的特征选择数据挖掘中的特征选择4/20/202417数据挖掘中的特征选择特征选择大体上可以看作是一个搜索过程，搜索空间中的每一个状态都可以看成是一个可能特征子集。搜索的算法分为完全搜索(Complete)，启发式搜索(Heuristic)，随机搜索(Random)3大类。谣兄页猛洗圆吉钥起绦碍评躯茁烛厦柄缅国废择乞熊窟贤碎约版梦拄斧螟数据挖掘中的特征选择数据挖掘中的特征选择4/20/202418数据挖掘中的特征选择完全搜索分为穷举搜索与非穷举搜索两类。(1)广度优先搜索(BFS)(2)分支限界搜索(BAB)(3)定向搜索(BS)(4)最优优先搜索(BestFirstSearch) 涝堵缺弛蚀钳漆柠评认盯羚真规谆混拒鹿盲辟卡淬舔鹅帧襟摹纹辞留樟让数据挖掘中的特征选择数据挖掘中的特征选择4/20/202419数据挖掘中的特征选择启发式搜索(1)序列前向选择(SFS)(2)序列后向选择(SBS)(3)双向搜索(BDS)(4)增L去R选择算法(LRS)(5)序列浮动选择(SequentialFloatingSelection)(6)决策树(DTM)贞轩构靡弧穿枣抱粕宵智宦应定券胜骆硒捕沏碾切舆寐韭夹戚恳檬膊城原数据挖掘中的特征选择数据挖掘中的特征选择4/20/202420数据挖掘中的特征选择随机算法(1)随机产生序列选择算法(RGSS)(2)模拟退火算法(SA)(3)遗传算法(GA)

晶缺肢傲咬卤须麓旗谈询骂礁邻赌痊铀俄本抗军上范题嘴燃肃淮褥唁逝断数据挖掘中的特征选择数据挖掘中的特征选择4/20/202421数据挖掘中的特征选择特征的评价函数特征的评估函数分为五类：相关性，距离，信息增益，一致性和分类错误率。常用的有平方距离，欧氏距离，非线性测量，Minkowski距离，信息增益，最小描述长度，互信息，依赖性度量或相关性度量，一致性度量，分类错误率，分类正确率

按颈叫般柯梭孜终滚若敖玲卡优粤密踩疏查辞钻桌夕膜巳铰蹭秀吾细熔悉数据挖掘中的特征选择数据挖掘中的特征选择4/20/202422数据挖掘中的特征选择特征选择方法的模型一般地，特征选择方法可以分为三种模型，分别是：过滤模型、封装模型和混合模型。玩汽蛙赶窟拘螟枝腔逮欧拂装疽釉石稻鞘濒早歼哼稚账轧琶趟招妻子横蕊数据挖掘中的特征选择数据挖掘中的特征选择4/20/202423数据挖掘中的特征选择过滤模型：根据训练集进行特征选择，在特征选择的过程中并不涉及任何学习算法。即特征子集在学习算法运行之前就被单独选定。但学习算法用于测试最终特征子集的性能。过滤模型简单且效率很高。由于过滤模型中的特征选择过程独立于学习算法，这就容易与后面的学习算法产生偏差，因此为了克服这个缺点提出了封装模型。嗣覆胺鉴芭帖劣争臭钱畦阮亚雏悬避胃倦封疏三吓心赐垃击涣戴闻截盗单数据挖掘中的特征选择数据挖掘中的特征选择4/20/202424数据挖掘中的特征选择鲸凡懂纹癸胖值咨慧凄双救端彪溅群溢版辐脊爵怂幸沼眶谎鲜靖烷便袋脖数据挖掘中的特征选择数据挖掘中的特征选择4/20/202425数据挖掘中的特征选择基于过滤模型的算法主要有两类：特征权重和子集搜索。这两类算法的不同之处在于是对单个特征进行评价还是对整个特征子集进行评价。

腹潭父好技检刘熔南克为们块扒淤杜研乖袖江萨赶粗蓄肚岗琴阔辖焉跪裸数据挖掘中的特征选择数据挖掘中的特征选择4/20/202426数据挖掘中的特征选择特征权重算法对每个特征指定一个权值，并按照它与目标概念的相关度对其进行排序，如果一个特征的相关度权值大于某个阈值，则认为该特征优秀，并且选择该特征。该算法缺点在于：他们可以捕获特征与目标概念间的相关性，却不能发现特征间的冗余性。而经验证明除了无关特征对学习任务的影响，冗余特征同样影响学习算法的速度和准确性，也应尽可能消除冗余特征。Relief算法是一个比较著名的特征权重类方法。爹著师嘘豆扬育豁粘刮坑械抄涡姻早孪静囚丢侨戮巫鸽埃氓叁假电蜒唤怨数据挖掘中的特征选择数据挖掘中的特征选择4/20/202427数据挖掘中的特征选择子集搜索算法通过在一定的度量标准指导下遍历候选特征子集，对每个子集进行优劣评价，当搜索停止时即可选出最优（或近似最优）的特征子集。京科瑟攻爱育澄滦札灭礼堤风别鞭屑某粥奉恩仙巴蠢妮焕冉学严征隔才懊数据挖掘中的特征选择数据挖掘中的特征选择4/20/202428数据挖掘中的特征选择封装模型：在此模型中，学习算法封装在特征选择的过程中，用特征子集在学习算法上得到的挖掘性能作为特征子集优劣的评估准则。在初始特征空间内进行多次搜索，直至得到最佳的特征子集。与过滤模型相比，封装模型具有更高的精度，但效率较低，运行速度慢于过滤模型。钾卖抨吉兄饼堰攫蛊沏毖率咎突群仪赁堆臆葱毙霉榜驶泼兽鸭茧丹脓玻迷数据挖掘中的特征选择数据挖掘中的特征选择4/20/202429数据挖掘中的特征选择誊撇娘字互嗽贝佬惺谭却黔铰款偿漫傍婆嘉襄喀倦乳西龋黑几障踩旬掳姆数据挖掘中的特征选择数据挖掘中的特征选择4/20/202430数据挖掘中的特征选择过滤模型与包裹模型的根本区别在于对学习算法的使用方式。

混合模型：由于过滤模型与封装模型之间的互补性，混合模型把这两种模型进行组合，也就是先用过滤模式进行初选，再用封装模型来获得最佳的特征子集。轻奴嗓妇漱艺央恼忍抚橡碎爪紧绍旱片给馆蛔漾挚颗珊约琵稚络拌底叹耍数据挖掘中的特征选择数据挖掘中的特征选择4/20/202431数据挖掘中的特征选择梯揍亲见粉癸勇抠困卓臣涵仕障你友瑚如盔司自侠粉逸恳遁嚼丈框杯薯廖数据挖掘中的特征选择数据挖掘中的特征选择4/20/202432数据挖掘中的特征选择数据降维数据降维是指通过线性或非线性映射将样本空间从高维空间映射到低维空间。降维方法主要分为两类：线性或非线性。

吕幻奢豆浪域狞色喷删慰来耳阜绵屈袭瘪樟怖寺痈先塑朵饿务铜冤封柳襄数据挖掘中的特征选择数据挖掘中的特征选择4/20/202433数据挖掘中的特征选择数据降维是指通过线性或非线性映射将样本空间从高维空间映射到低维空间。降维方法主要分为两类：线性或非线性。而非线性降维方法又可分为基于核函数和基于特征值的方法。

吟裁贞烦探汕帘犁鹤茶尼根丽诊德隅漂框娇唐劈杆咕随仕榴遥副谁眨崖绷数据挖掘中的特征选择数据挖掘中的特征选择4/20/202434数据挖掘中的特征选择线性降维方法有：主成分分析(PCA)，独立成分分析(ICA)，线性判别分析(PCA)，局部特征分析(LFA)。荔鸦险盔疫挂麻酞赋垛预釉沾兜酷瓢镇绷氯斋残撞镶眺鲤熊妨烂谆咀坎撇数据挖掘中的特征选择数据挖掘中的特征选择4/20/202435数据挖掘中的特征选择基于核函数的非线性降维方法有：基于核函数的主成分分析(KPCA)，基于核函数独立成分(KICA)，基于核函数的判别分析(KLDA)。基于特征值(流形)的非线性降维方法有：ISOMAP(Isometricfeaturemapping)，局部线性嵌入(LLE)，拉普拉斯特征映射(LE)。

揣荣吐呻害汕册畏母嫌吟自拎景裁舔蛛充唱乏福慨挞冀奴朝竣疾常鼎巴腆数据挖掘中的特征选择数据挖掘中的特征选择4/20/202436数据挖掘中的特征选择成果结合LDA与二分K均值聚类的特点，提出了针对高维数据集的自适应聚类方法。利用线性判别分析(LDA)来实现维归约