2021下半年商务智能ch8v2数据预处理

Chap8预处PrinciplesandApplicationsofBusinessChap8预处 §数据不完整(data§数据有噪声§数据不一致(data 2PrinciplesandApplicationsofBusiness Chap8：数据预处理

3PrinciplesandApplicationsofBusiness Chap8：数据预处理 §数据集成(data§Ø数值不一致(data 4Chap8预处PrinciplesandApplicationsofBusinessChap8预处§属性的有效值或有112之间。(referential5Chap8预处PrinciplesandApplicationsofBusinessChap8预处2§是否缺少挖掘所需是否只包含统计整6PrinciplesandApplicationsofBusiness Chap8：数据预处理 §7PrinciplesandApplicationsofBusiness Chap8：数据预处理 §数 (data加总、统计或是建立数据立方体(data§数据规范化(data数据的概念阶层(concepthierarchy)§建立新属性(attribute8PrinciplesandApplicationsofBusiness Chap8：数据预处理 9PrinciplesandApplicationsofBusiness Chap8：数据预处理 §§§StructuredDataFeature§§PrinciplesandApplicationsofBusiness Chap8：数据预处理 FillingMissingChap8预处PrinciplesandApplicationsofBusinessChap8预处§ §§PrinciplesandApplicationsofBusiness Chap8：数据预处理 §§进行分类挖掘时，若数据的分类标记(classlabel)为空值，这笔数据因无法被正§§Chap8预处PrinciplesandApplicationsofBusinessChap8预处 §§ §PrinciplesandApplicationsofBusiness Chap8：数据预处理 §§更精确作法是用 Ø方法基本上有两种，一种是贝叶斯 (Bayesianformula)，另 (decisiontree)PrinciplesandApplicationsofBusiness Chap8：数据预处理 Chap8预处PrinciplesandApplicationsofBusinessChap8预处§§ 装箱法(binningPrinciplesandApplicationsofBusiness Chap8：数据预处理 PrinciplesandApplicationsofBusiness Chap8：数据预处理 §等深分割法(或称等频分割法，Equal将数据划分为N个数据数量大致相同的区间12,15,18,21,28,33,36,45,50,52,60Ø箱子1：1215Ø箱子2：2128Ø箱子3：3645Ø箱子4：5260PrinciplesandApplicationsofBusiness Chap8：数据预处理

PrinciplesandApplicationsofBusiness Chap8：数据预处理 §以平均值§以边界值-箱子1(12,15,18)-箱子1(12,15,18)：12,18,-箱子2(21,28,33)：28,28,-箱子3(36,45,50)：44,44,-箱子2(21,28,33)：21,33,-箱子3(36,45,50)：36,50,-箱子4(52,60,80)：64,64,-箱子4(52,60,80)：52,52,§以中位数-箱子1(12,15,18)-箱子2(21,28,33)：28,28,-箱子3(36,45,50)：45,45,-箱子4(52,60,80)：60,60,PrinciplesandApplicationsofBusiness Chap8：数据预处理 §§§StructuredDataFeature§§PrinciplesandApplicationsofBusiness Chap8：数据预处理 Data（规范化PrinciplesandApplicationsofBusiness Chap8：数据预处理 Data§Normalization:scaledtofallwithinasmall,specifiedØ例如:我国 §normalizationbydecimalmin-maxz-scorenormalization:whenminimumand umvalueofattributeAareunknownPrinciplesandApplicationsofBusiness Chap8：数据预处理 DataXYZ dXY=(x1-y1)+(x2-y2)+...+(xn- =(1.6-1.7)=(1.6-1.7)2+(100-110)2+(30-=104.01=(1.6-1.8)2+(100-109)2+(30-=85.04=dPrinciplesandApplicationsofBusiness Chap8：数据预处理 DataXYZd

=(0.16-0.17)2+(0.1-

+(0.3-0.28)2

d

=(0.16-0.18)2+(0.1-0.109)2+(0.3-0.28)2=Chap8预处PrinciplesandApplicationsofChap8预处DataTransformation:§normalizationbydecimal

WherejisthesmallestintegersuchthatMax(|v'-Movingthedecimalpointofvaluesofattribute§Forexample:attributeA:[-986, umabsolutevalueofAis986,whenj=3,986/1000<1,so–986canbetransferredtobe–0.986.[-986,917][-0.986,PrinciplesandApplicationsofBusiness Chap8：数据预处理 §

v10

v'=30000=PrinciplesandApplicationsofBusiness Chap8：数据预处理 DataTransformation:§min-maxNewrange:[new_minA,

v'

v-minAmaxA-minA

(new_

ØE.g.Attributee:Newrange:[0,Avalue:73600

New- XYZChap8预处PrinciplesandApplicationsofBusinessChap8预处极值规范 §v'=v-ad-c)+b-又例:：假设一般上班族的月收入范围为[20000100000]，而一般菲律宾上班族的月收入范围为[2000,10000]；在收入30000元相当于在菲律宾收入0100,000-PrinciplesandApplicationsofBusiness

Chap8预处DataTransformation:§z-scorev'=v-meanA

mA=A

stand_devA

sA

(Ai-XYZ§A:meanA=1.7,-1.6→－1，1.7→0，1.8→Chap8预处PrinciplesandApplicationsofBusinessChap8预处 30,000-35,000=-PrinciplesandApplicationsofBusiness Chap8：数据预处理 （离散化PrinciplesandApplicationsofBusiness Chap8：数据预处理 §在机器学习和数据挖掘领域有些挖掘算法，如分类或聚类算法，无法§有些算法虽然能处理连续性属性，但其在处理效果上仍不如离散的数§解决这一问题的办法是将连续的数值变量区间利用选取的分割点划分§离散化就是对连续型取值的属性进行区间划分的一个过程，即将连续PrinciplesandApplicationsofBusiness Chap8：数据预处理 §Threetypesofnominal--valuesfromanunorderedOrdinal(序数）--valuesfromanorderedcontinuous--real§dividetherangeofacontinuousattributeintoSomealgorithmsonlyacceptcategoricalReducedatasizebyChap8预处PrinciplesandApplicationsofBusinessChap8预处 PrinciplesandApplicationsofBusiness Chap8：数据预处理 PrinciplesandApplicationsofBusiness

Chap8预处 等宽度(equalwidth) 等频率(equalfrequency) Ø将朴素 ØØPrinciplesandApplicationsofBusiness Chap8：数据预处理 §Equal-width(distance)DividestherangeintoNintervalsofequalsize:uniformifAandBarethelowestandhighestvaluesoftheattribute,thewidthofintervalswillbe:Themoststraightforward,butSkeweddataisnothandledPrinciplesandApplicationsofBusiness Chap8：数据预处理 §Equal-depth(frequency)DividestherangeintoNintervals,eachcontaining ysamenumberofsamplesGooddataPrinciplesandApplicationsofBusiness Chap8：数据预处理 BinningP#…489P#…489§Partitioninto(equal-distance)3-Bin1: -Bin2:15,15,21,-Bin3:24,25,26,28,29,-Bin-Bin-Bin-BinPrinciplesandApplicationsofBusiness Chap8：数据预处理 §Equal-width(distance)Equal-depth(frequency)aabba18-a18-a20-b20-b20-a18-a18-a18-b21-b21-aChap8预处PrinciplesandApplicationsofBusinessChap8预处§基本思想是：如果离散化很精准，则一个区间中相关类频率应该完全一致，否则就应该区间；但两个相邻区间相关类的频率不应该类似，否则就应将这两个相邻§是一种局部的、有监督的离散化方法，它使用类信息§c2PrinciplesandApplicationsofBusiness Chap8：数据预处理 ChiMerge§ChiMerge是一种自动化的离散化算法，采用χ2统计方法分析对于一个§该算法基于输出样本分类来确定两个相邻的间隔中的数据分布之间的§χ2检验的结论是，如果输出类是独立于特征间隔的，则该间隔应该被PrinciplesandApplicationsofBusiness Chap8：数据预处理 §ChiMergealgorithmconsistsofthreebasicstepsfor§每次合并后，计算剩余间隔段的χ2检验，找出具有最小χ2值的两个相PrinciplesandApplicationsofBusiness Chap8：数据预处理 §χ2§当数据在列联表中汇总时，χ2c=c=(A-E / Cj=第j类的实例数量=∑Aij，i=1,2N=总的实例数量=∑Ri，i=1,2m=2PrinciplesandApplicationsofBusiness Chap8：数据预处理 §对有两个类（k2时）的分类问题，分析两个间隔的合并，表中给出2×2数据的列联表。A11表示的属于第一类的第一区间中的样本数，A12是属于第二类的第PrinciplesandApplicationsofBusiness Chap8：数据预处理 1112311123237728192111§特征K的两个值1和2代表样本所属的两个类。表PrinciplesandApplicationsofBusiness Chap8：数据预处理 ChiMergeTechnique11123237711123237728192111χ2wasminimumfor[7.5,8.5]and[8.5,Chap8预处PrinciplesandApplicationsofBusinessChap8预处Basedonthetable’svalues,wecancalculateexpectedvalues:E11=2/2=1,E12=0/2≈0.1,E21=2/2=1,andE22=0/2Andcorrespondingχ2χ2=(1–1)2/1+(0–0.1)2/0.1+(1–1)2/1+(0–0.1)2/0.1=Forthedegree domd=1,andχ2=0.2<2.706(MERGEChap8预处PrinciplesandApplicationsofBusinessChap8预处 E11=2.78,E12=2.22,E21=2.22,E22=1.78,andχ2=2.72>2.706(NOMERGE!)Finaldiscretization:[0,10],[10,42],and[42,PrinciplesandApplicationsofBusiness Chap8：数据预处理 §§§§类信息熵是纯度的一个度量，它计算用于说明某一实例属于某个类所§该方法假设一个大的区间包含某一特征属性的所有已知值，然后递归

,S

,SEnt(S)=-pi·log2(pi)=-

p(c,S

p(c,S)=- ·log(

|S PrinciplesandApplicationsofBusiness Chap8：数据预处理 EntropyBased§

kf

f

,SEnt(S)=

j,S)·log( j

|S

|S 标准:A<T和A‡ Ent(S,T)

|S1|Ent(

)+|S2|Ent(S§

|S

|S PrinciplesandApplicationsofBusiness Chap8：数据预处理 aaabba18-a18-a21-b21-b21-aaabbaa2B2A1PrinciplesandApplicationsofBusiness Chap8：数据预处理 Feature（属性选择Chap8预处PrinciplesandApplicationsofBusinessChap8预处DataReduction§Adatawarehousemay bytesofComplexdata ysis/miningmaytakeaverylongtimetorunonthecompletedataset§DataObtainareducedrepresentationofthedatasetthatismuchsmallerinvolumebutyetproducethesame(oralmostthe yticalresults§FeaturePrinciplesandApplicationsofBusiness Chap8：数据预处理 §数据集中往往包括诸多的属性，其中有些属性与挖掘任务或学习任务是§不相关或冗余的属性对于学习通常具有§属性选择的基本任务是从众多属性中找出那些最有效的属性，去除不适PrinciplesandApplicationsofBusiness Chap8：数据预处理

属性否否

PrinciplesandApplicationsofBusiness Chap8：数据预处理 Dimensionality§Featureselection(attributesubsetSelectaminimumsetoffeaturessuchthattheprobabilitydistributionofdifferentclassesgiventhevaluesforthosefeaturesisascloseaspossibletotheoriginaldistributiongiventhevaluesofallfeaturesThereare2dpossiblesub-featuresofdPrinciplesandApplicationsofBusiness Chap8：数据预处理 Dimensionality§Heuristicmethods(duetoexponential#ofstep-wiseforwardstep-wisebackwardcombiningforwardselectionandbackwarddecision-treeChap8预处PrinciplesandApplicationsofBusinessChap8预处FeatureSelectionAlgorithms—ProposedbyKira&Rendelli,InitializetheweightsofallattributestoRandomlychooseatuple(instance)andfinditsnear-hitandnear-missEuclideandifferencemeasureAdjusttheweightofanattributebysubtractingandaddingthesquareofdifferences(Euclideandistance)Repeat2and3NtimesanddividetheweightsbyThoseattributeshavingweightgreaterthanathresholdarechosenasrelevantattributePrinciplesandApplicationsofBusiness Chap8：数据预处理 FeatureSelectionAlgorithms—

Near-A0000000011111111B0000111100001111C0011001100110011D0101010101010101E0100011011000010F11101100101001000001000100011111010000001PrinciplesandApplicationsofBusiness Chap8：数据预处理 PrinciplesandApplicationsofBusiness Chap8：数据预处理 §假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没PrinciplesandApplicationsofBusiness Chap8：数据预处理 §100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部Chap8预处PrinciplesandApplicationsofBusinessChap8预处 §PCA（principlecomponent最早由KarlPearson于1901年提出，后经HaroldHoling发展，是一种经典§主成分分析采取一种数学降维的方法，其所要做的就是设法将原来众Chap8预处PrinciplesandApplicationsofBusinessChap8预处 §§这一方法利用正交变换把由线性相关变量表示的观测数据转换为少数§§PrinciplesandApplicationsofBusiness Chap8：数据预处理 §数据集合中的样本由实数空间（正交坐标系）§对原坐标系中的数据进行主成分分析等价于进行坐标系旋转变换，将§§§这个坐标系是在所有可能的新的坐标系中，坐标轴上的方差的和最大Chap8预处PrinciplesandApplicationsofBusinessChap8预处§将高维数据投影到较低§给定n个变量的p个观察值，形成一个n✕p的数据矩阵，n通常比§PCAPrinciplesandApplicationsofBusiness Chap8：数据预处理 x11 x12

x1p =

21 x22

x2p

n npPrinciplesandApplicationsofBusiness Chap8：数据预处理 §当p较大时，在 问题比较麻烦。为了克服这 §要求：较少的几个综合指标尽量多地反映原来较多变量指标所反映的Chap8预处PrinciplesandApplicationsofBusinessChap8预处§PCAr（r<n）个新变量，使它们反映事物的主要特征，有变量的综合效果，具有一定的实际含义。这r个新变量称为“主成§通过主成分分析，压缩数据空间，将多元数据的特征在低 （N维）表示为 中的一个点，即将数据的维数从N降到3Chap8预处PrinciplesandApplicationsofBusinessChap8预处§在进 表达数据分析时，一个重要问题是确定每个实验数据是否是独 §对于利用 表达数据，如果用PCA方法进行分析， §当将 §当将实验条件作为变量时，通过分析确定一组“主要实验因素”，它们能够 PrinciplesandApplicationsofBusiness Chap8：数据预处理 PCA从N降到3，具体的PCA分析步骤如下：XS PrinciplesandApplicationsofBusiness Chap8：数据预处理 PrinciplesandApplicationsofBusiness Chap8：数据预处理 §对于PCA，确定新变量的个数r是一个两难的问题。我们的目标是减小r，如果r小，则数据的维数低，便于分析，同时也降低了噪声，但r过度小的话可能丢失一些有用的信息。究竟如何确定r呢？这需§贡献率表示所定义的主成分在整个数据分析中承担的主要意义占多大的，当取前r个主成分来代替原来全部变量时，累计贡献率的大则可靠性越小。一般要求累计贡献率达到70%以上。PrinciplesandApplicationsofBusiness Chap8：数据预处理 §对于一个训练集，100个对象模版，特征是10维，那么我们可以建立§求这个矩阵的协方差矩阵，得到一个10×10的协方差矩阵，然后求出§我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一§100×10的样本矩阵乘以这个10×4的特征矩阵，就得到一个100×4的PrinciplesandApplicationsofBusiness Chap8：数据预处理 PrinciplesandApplicationsofBusiness Chap8：数据预处理 §通常，数学上的处理方法就是将原来的变量做正交变换，作为新的综合变量，§变换的定义方法是用F1（选取的第一个线性组合，即第一个综合指标）的方§性组合，为了有效地反映原来信息，F已有的信息就不需要再出现在F用数学语言表达就是要求Cov(,)=0，称FPrinciplesandApplicationsofBusiness Chap8：数据预处理 §计算协方差矩阵C的特征根和主成分矩阵，保留前q个最大的特征根及对应的特q§构造主成分矩阵P，其中其列向量pi是第iq§

l1‡l2‡!,‡lm‡

m (i=1,2,!,m

lii= mkk

k=PrinciplesandApplicationsofBusiness Chap8：数据预处理 𝐶!"=cov(𝐴𝐴")= (𝑥#!−A)(𝑥#"−A) PrinciplesandApplicationsofBusiness Chap8：数据预处理 §假设三 你用自然坐标系x,y,z这三个轴来表示这组数据的话，需要使用三个§xyzxy§xyz’，那么这组数据的表示只用x’和y’两个维度表示即可！当然了，如果想恢复原来的表示方§Chap8预处PrinciplesandApplicationsofBusinessChap8预处§上一段文字中，认为把数据降维后并没有丢弃任何东西，因为这些数据在平§现在，假设这些数据在z’轴有一个很小的抖动，那么我们仍然用上述的二是，这些数据在z’轴上的分布与原点构成的夹角非常小，也就是说在z’§综合这些考虑，就可以认为数据在x’,y’PrinciplesandApplicationsofBusiness Chap8：数据预处理 Chap8预处PrinciplesandApplicationsofBusinessChap8预处主成分投 §主成分投影是指在主成分分析的基础上，通过正交变换将原有的指标转换为彼此正交的综合指标，消除了指标间的信息问题，并利用各主成分设计§Chap8预处PrinciplesandApplicationsofBusinessChap8预处§图中u1就是主成分方向，二中取和u1方向正交的方向，就是u2的方向。则n§u1、u2不相关。只考虑u1时，二维降为一维。椭圆的长短轴相差得越大，降维也越PrinciplesandApplicationsofBusiness Chap8：数据预处理 §在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比§knk维后，每一Chap8预处PrinciplesandApplicationsofBusinessChap8预处主成分的选 §将图中的5个点投影到某一维上，这里用一条过原点的直线表示（数据已经中心§假设我们选择两条不同的直线做投影，那么左右两条中哪个好呢？根据我们之Chap8预处PrinciplesandApplicationsofBusinessChap8预处§对于 变量的情况和二维类似，也有 的椭球，只不过无法直观§首先把 椭球的主轴找出来，再用代表大多数数据信息的最长的几§注意，和二维情况类似， 椭球的主轴也是互相垂直的。这些互相PrinciplesandApplicationsofBusiness Chap8：数据预处理 §正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，§选择越少的主成分，降维就越好。-§有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。PrinciplesandApplicationsofBusiness Chap8：数据预处理 定义：x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p）为新变z1 =l11x1+l12

+ +l1pz = x+

+ +

"

2 zm =lm1x1+lm2

+ +lmpPrinciplesandApplicationsofBusiness Chap8：数据预处理 §PrinciplesandApplicationsofBusiness Chap8：数据预处理 §从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2p）在诸主成分zi（i=1，2，…，m）lij（i=1，§从几何上看，找主成分的问题，就是找出P PrinciplesandApplicationsofBusiness Chap8：数据预处理 §例如6个样品、21123456特征564603特征87622种种420 种PrinciplesandApplicationsofBusiness Chap8：数据预处理 53= 1+2= 123456特征1202--0特征5210--0PrinciplesandApplicationsofBusiness Chap8：数据预处理 202-202--1210--PrinciplesandApplicationsofBusiness Chap8：数据预处理 §把坐标轴X1、X2刚性地旋转一个角度，得到图中新坐标轴Y1和6543216543210 2345Y 43210 23458642001234567种 8642001234567种 6543210112345 种656543210 11 2345PrinciplesandApplicationsofBusiness Chap8：数据预处理 §图中，红色点表示样例，蓝色点表示在u上的投影，u是直线的斜率也点的距离是<xu>（XTU或者UTX）。PrinciplesandApplicationsofBusiness Chap8：数据预处理 PrinciplesandApplicationsofBusiness Chap8：数据预处理 -0.6250.675 - -0.7750.625 - -0.6750.625 -

0.52#X=

-1.2251.475-1.1751.225

--

C=

‚ ‚#2.575 -1.5251.375

-

0.58###

&1.125 -1.075-& 0.85 -0.95 -2.15 1.025 -1.175- C11=cov(Ai,Aj)=(xki-Ai)(xkj-Aj)=(xk1-A1)(xk1- =(x11-5.756)(x11-5.756)+(x21-5.756)(x21-5.756)+...+(x91-5.756)(x91-PrinciplesandApplicationsofBusiness Chap8：数据预处理 1

-0.73P= 0.176 0.075

yyyyPrinciplesandApplicationsofBusiness Chap8：数据预处理 §§§StructuredDataFeature§§PrinciplesandApplicationsofBusiness Chap8：数据预处理 §Remove§§TermPrinciplesandApplicationsofBusiness Chap8：数据预处理 StopwordList（停用词表Step1:RemoveStopwordsarenon-contentwordssuchas“of”,“the”,并且,不比,不成,不单,不但,不独,不管,不光,不过,不仅,不拘,不论,不怕 The10mostfrequentlyoccurringtermsaccountfor20-30%ofthewordoccurrencesApiledstopwordlistisStopwordsarebadforbothefficiency(highstorageandqueryprocessingcosts)andaccuracy(goodmatchbasedonstopwordsareuseless).PrinciplesandApplicationsofBusiness Chap8：数据预处理 r1r12345a6789Sum

Chap8预处PrinciplesandApplicationsofBusinessChap8预处 Stemmingistheprocessoftransformingdifferentvariationsofawordintoacommonwordstem.Example:compute,computing,computationallhavethesamestem“comput”Stemmingisgoodforbothefficiency(lowerstorageandqueryprocessingcosts)andaccuracy(facilitatematchofPrinciplesandApplicationsofBusiness Chap8：数据预处理 d:TheWorldWideWebhaseahugeinformationsourceandisbeingusedbymillionsofpeopleallovertheworld.Step1:Remove“the”,“has”,“e”,“a”,“and”,“being”,“use”,“by”,“of”,“all”,Step2:informationàinform,sourceàsourc,millionsàmillion,peopleàResult:(huge,inform,million,peopl,sourc,web,wide,world)ØBagofwordsChap8预处PrinciplesandApplicationsofBusinessChap8预处ØForagiven collection,letnbethetotalnumberofdistincttermsinthiscollection.ØSupposethesetermsareorderedincertainway,sayalphabeticalorder:t1,t2,…,tn.ØEach Dcanberepresentedasavector(d1,d2,…,dn),wherediistheweightofthetermtiinDinthegivenorderofall……Chap8预处PrinciplesandApplicationsofBusinessChap8预处TermWeighting di=0ifDdoesnothavedi=1, DhastermØRepresentationcapability(代表能力)theextentthattirepresentsthecontentofD.ØDifferentiationcapability(区别能力）:theextentthattidifferentiatesDfromother sinthe Chap8预处PrinciplesandApplicationsofBusinessChap8预处Letw(t,D)representtheweight/importanceoftermtin D.Thefollowingstatisticsarewidelyusedtocomputew(t,D): termfrequency(tf):thenumberoftimesthattermtappearsinØw(t,D)shouldbeanincreasingfunctionof frequency(df):thenumberof sinthecollectionthatcontaintØw(