用MATLAB实现大数据挖掘地一种算法

1、数据挖掘的目的数据挖掘（Data Mining）阶段首先要确定挖掘的任务或目的。数据挖掘的目的就是得出隐藏在数据中的有价值的信息。数据挖掘是一门涉及面很广的交叉学 科，包括器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学 等相关技术。它也常被称为“知识发现”。知识发现（KDD）被认为是从数据中发 现有用知识的整个过程。数据挖掘被认为是KDD过程中的一个特定步骤，它用 专门算法从数据中抽取模式（patter，如数据分类、聚类、关联规则发现或序列 模式发现等。数据挖掘主要步骤是：数据准备、数据挖掘、结果的解释评估。据挖掘算法说明确定了挖掘任务后，就要决定使用什么样的挖掘算法。由于条件

2、属性在各样 本的分布特性和所反映的主观特性的不同，每一个样本对应于真实情况的局部 映射。建立了粗糙集理论中样本知识与信息之间的对应表示关系，给出了由属性 约简求约简决策表的方法。基于后离散化策略处理连续属性，实现离散效率和信 息损失之间的动态折衷。提出相对值条件互信息的概念衡量单一样本中各条件属 性的相关性，可以充分利用现有数据处理不完备信息系统。本次数据挖掘的方法是两种，一是找到若干条特殊样本，而是找出若干条特 殊条件属性。最后利用这些样本和属性找出关联规则。（第四部分详细讲解样本 和属性的选择） 三数据预处理过程数据预处理一般包括消除噪声、推导计算缺值数据、消除重复记录、完成数 据类型转换

3、（如把连续值数据转换为离散型数据，以便于符号归纳，或是把离散 型数据转换为连续）。本文使用的数据来源是名为CardiologyCategorical”的exce l文件中的源 数据”。该数据表共303行，14个属性。即共有303个样本。将该数据表的前200 行设为训练样本，剩下后的103行作为测试样本，用基于粗糙集理论的属性约简 的方法生成相应的规则，再利用测试样本对这些规则进行测试。首先对源数据进行预处理，主要包括字符型数据的转化和数据的归一化。数据预处理的第一步是整理源数据，为了便于matlab读取数据，把非数字 数据转换为离散型数字数据。生成lisanhua.xsl文件。这一部分直接在e

4、xcel 工 作表中直接进行。步骤如下：将属性“sex”中的“Male”用“1”表示，“Female”用“2”表示；将属性 “chest pain type” 中的Asymptomatic” 用1” 表示 “AbnormalAngina” 用 “2” 表示，“Angina” 用 “3” 表示，“NoTang” 用 “4” 表示；将属性 “Fasting blood suga=0.9&ncc=8)|(ncc = 10&nc=0.6)得到决策属性 healthy、不满足以上条件的话如果(mc=0.9|mcc=8)|(mcc=9&mc=0.6)得 到决策属性sick。、不满足以上条件的话如果nc=(

5、mc+0.3)|ncc=(mcc+2)得到决策属性 healthy。、不满足以上条件的话如果mcnc得到决策属性为sick。、不满足以上条件的话如果nccmcc得到决策属性为healthy。、不满足以上条件的话如果mccncc得到决策属性为sick。、不满足以上条件的话得到决策属性为sick。六、正确率及结果分析正确率为82.5%结果分析：由于采用了两类约束方法，所以效果还可以。七、程序如下页所示clear;%数据预处理程序% dm=xlsread(lisanhua);% 载入数据% z1=dm(:,1);%离散化第一列数据for i=1:303if z1(i)=29&z1(i)=48&z1(

6、i)=94&z4(i) = 110&z4(i) = 126&z5(i)=205&z5(i)=71&z8(i) = 120&z8(i)=0&z10(i) = 1.5&z10(i)2.5 z10(i)=2;else z10(i)=3;endendz11=dm(:,11);for i=1:303z11(i)=z11(i) + 1;endz12=dm(:,12);for i=1:303z12(i)=z12(i) + 1;endz13=dm(:,13);PUCDKITDrnEPArnITDLnEP SQ KITDrnEPArnITD寸 EpIRWDrnEPM-oou.!lomK 寸 IooCN)soCD

7、ZHLnUJPK17IooCN)soCDZH17UJP 衣焰 症长壮照 9K% % % 原和g衣焰PUCD PUCDsiuj+mhmvh+mhmOHArnorneEEM一 M+aMEPgrnEP6rn6rnTH.!L0M CMEPHrnEPKMBEHMVHH-xFnvcncnCNcncnCNcncnwcnoTIE% % % =17IZcnIZCNIZ-rIZoIZ、6zoozlz、9zLnz、17zcnzCNz-rzTZUJPPUCD + e3NHS3NrnomzoMPUCDVH+ernIZADrnIZrnomzoMenda1=zeros(38,1);a2=zeros(38,1);for k=

8、1:38for i=1:13for j=1:200if dm4(j,i) =k&dm4(j,i)=0 a1(k)=a1(k) + 1;endif dm5(j,i) =k&dm5(j,i)=0 a2(k)=a2(k) + 1;endendendenda5=a1;a6=a2;a3=zeros(5,1);a4=zeros(5,1);j=1;while j5break;enda1(i)=0;endendendj=1;while jOHrnAo艮OH M。？一 (Lnq)xcuUJHCNPUCD PUCD TIsADLnqMHADLnqM一。？一KLnsxcuUJHM % 长卅-K-BKMI账 KK%

9、wqH9-R2HLnq %PUCD PUCD s芋(_) *0 szqADrnqihadbzm-PUCDPUCD Tsona)9q寸祀芸)9qM一。？一K9q)xcuUJH 寸PUCDPUCD TrnsADLnqrn祀芸)LnqM一。？一 (Lnq)xcuUJHrnPUCD PUCDTCNsADLnqCN祀芸)LnqM一(寸 IooCN)soCDZHLnUJPK17IooCN)soCDZH17UJP n 埋K%原和g长壮煮埋K% %PUCD PUCDT95H(D9q9祀芸)9qM一 oou.!lom K9q)xcuUJH9PUCD PUCDTLn5Ha)9qLnRa)9qM一 oou.!lom

10、 K9q)xcuUJHLnPUCDPUCDVH+SCNCUHSCNCU 。H (sLnE P63M H H (sLnE PM一PUCDVH+SI 常312oh(s17ep63ihh(s17epm-oouhm.!L8拦业 3oorn)soHCN9(Ioorn)so5ZHI2PUCDPUCD KITDrnEPArnITDLnEP SQ KITDrnEPArnITD寸 EpIRWDrnEPM-oou.!lomendenda5=a1;a6=a2;a3=zeros(6,1);a4=zeros(6,1);j=1;while j6 break;enda1(i)=0;endendendj=1;while j6

11、 break;endenda2(i)=0;end end% (LndCNq H (Lnd寸s9CM)Iq H (LndrnqPUCD PUCDPUCD7(02(0寸常芸)9堂smzoMPUCDPUCD PUCD 7(旨 q (0%r(d%m一8mz 3、9)soCDZHCNcv(9)soCDq(rno+UUHUU6HA(rnITD8q)EnsM一 徐 I TarnE P H H (约 Tq H (rnL-n) 8=PUCD(rno+uusu6HA(rnITD8q)EnsM一 徐 I TsrnE P H H (约 Tq H (rnL-n) 8=OHUUUJOSUUOSUJOHUUrn0LI.!L

12、oM 长卅*煮埋 %PUCD 徐 m+OOCNME p H (约 Tqrn0LI.!LoM oHUtt(寸 Icn0I)soH8-R(17Icn0I)soHzq %SIPUCD .o + uehue 6HA(rnITD8q)EnsM一 徐 i TsrnE p H H (约 Tq H (rnL-n) 8 qPUCD .o+uehue 6HA(rnITD8q)EnsM一 K i TgrnE p H H (约 Tq H (rnITD 8 qPUCD .o+uehue 6HA(rnITD8q)EnsM一 KI TSME P H H (约 Tq H (rnL一)8 qPUCD (rno+UUHUU6HA(rnITD8q)EnsM一 徐 i TsrnE p H H (约 T=0.9&ncc=8)|(ncc = 10&nc=0.6)h7(i,14) = 1;else if (mc=0.9|mcc=8)|(mcc=9&mc=0.6)h7(i,14)=2;else if nc=(mc+0.