试谈数据挖掘总结

1.【p261.3】假设你是BigUniversity的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名、地址和状态（例如本科生或研究生）所修课程以及他们的GPA（平均积分点）。描述你要选取的结构。该结构的每个成分的作用是什么。答：该数据挖掘结构应该包括以下几个主要成分：（1）一个数据库、数据仓库或其它信息库，它由一系列包含学生和课程信息的数据库、数据仓库、电子表格、或其它信息库组成。（2）一个数据库或数据仓库服务器，它根据用户的数据挖掘请求获取相关的数据。（3）一个知识库，它包含领域知识，用于指导搜索或评估结果模式的兴趣度。例如，知识库可能包含概念层次结构和元数据（例如，描述来自多个异构数据源的数据）。（4）一个数据挖掘引擎，它由一系列负责分类、关联、聚类分析、演变和偏差分析的功能模块组成。（5）一个模式评估模块，它与数据挖掘模块串联工作，采用兴趣度的方法，将搜索重心投注在兴趣模式上。（6）一个图形用户界面，它为用户提供对数据挖掘系统的交互式途径。2.【p632.4】中列数是最大值和最小值的平均数。五数概括就是中位数、四分位数Q1和Q3、最小值和最大值箱线图（盒图）在p35分位数图是一种观察单变量数据分布的简单有效方法，他显示给定属性的所有数据（允许用户评估总的情况和不寻常的出现）。其次它绘出了分位数信息3.【p632.5】问：以计数、标准差和中位数为例说明分布的或代数的度量有利于有效的增量计算，而整体度量不行。答：计数：当前的计数count可以作为一个值来保存，当有x个新值加进来时，可以很容易地更新count值为（count+x）。这就是分布式度量，可以很容易地进行增量计算。标准差：如果我们之前存储了已有数据平方的和sum和它们的计数count，就可以很容易地利用公式得到新的标准差，只需要计算新加入数据平方的和并将其加入sum中，同时更新count值，随后将它们插入计算中就可获得新的标准差。这些都不用重新扫描整个数据集而可以轻松得到。这就是代数度量，可以容易进行增量计算。申中位误数：勒要准搜确得送到萍中位既数必魔须扫搞描整恨个数伸据集斥。当恩加入险了新喝的数理据后颂必须忘重新热进行网排序吃，然顿后在悬新的疮排序何后的酷数据悬集中采查找欢中位即数。亚这是屠比较江困难胶的，润这就捡是整垃体度茂量，劫没办牌法对猎增量沃进行柱有效典的计坦算。止4.息【p愉63述2贝.6痰】泄数据突缺省符值处窝理去（1框）忽茫略元薪组。墓当缺镰少类舅标号栏时通队常这辨样做梨（假研定挖畜掘任痕务涉跳及分少类）春。除努非元饺组有伏多个善属性钟缺少备值，广否则湿该方级法不挺是很哥有效俩。当丛每个太属性半缺少揉值的瓶百分常比变熊化很步大时壶，它邪的性榆能特消别差蛛。纺（2干）人懂工填扒写缺巡失值贞。一湖般该轮方法科很费燕时，祖并且杆当数然据集须很大尊，缺带少很傍多值今时，射该方筛法可衡能行裁不通反。彩（3播）使舞用一断个全抽局常启量填奉充缺比失值担。将锁缺失纯的属垦性值亲用同灵一个俘常数味（如汤“培Un个kn扮ow择n画”筐）替议换如污果缺共失值肃都用役“旁Un罚kn于ow母n川”哥替换塔，则栗挖掘树程序仅可能鸟误以弯为它吨们形普成了厅一个旅有趣备的概钩念，饶因为情它们像都具踩有相筑同的闲值尺“穗Un筑kn秒ow洲n肺”棉。因话此，毯尽管绕该方献法简奋单，巷但是雪它并午不是中十分乏可靠服。坡（4臭）使玩用属拨性的忘均值慢填充磨缺失报值。皆（5丘）使宁用与摇给定怖元组剑属同历一类泉的所培有样曾本的间属性张均值胀。木（6吨）使存用最薯可能遣的值化填充幕缺失炕值。世可以歼用回汁归、秘使用赖贝叶闯斯形指式化锄的基芒于推飘理的乘工具舟或决寻策树短归纳树确定扑。障5.硬【p灿63剃2逢.7器】饥（1摊）荷问：妇使用谊分箱雀均值伤光滑禾对数协据进疮行光伍滑的兵步骤蓝（深御度为筹3）丧答：票①责对数漫据进偷行排慧序；昌②小将数帖据划结分到滤大小枕为3祥的等申频箱活中；均③椒计算扯每个遮箱的俩均值抚；玉④壤箱中个的值珍都被殖箱的净均值丙替换摩。厌（2骄）问川：如锻何确周定数院据中揪的离形群点海答：悄可以钩通过咽聚类屡来检贝测离瓶群点止，将础类似买的值填组织陕成群继或簇屡。直月观地池，落他在簇睬集合璃之外约的值袋视为可离群挤点。夏电脑怪和人偷的检顿查可昂以结峰合来剥判断工，先螺由电朵脑根聪据已醒有的抚数据蓝分布腔状况彼得出欲可能土的离斜散点词，然械后再保由人古来对荡这些笨可能稻的离族散点诊进行描进一蒸步的土分析倍来确爹定离零散点轰，这妙样大报大地续减少烘了人弹单独微工作慈的工齿作量竿。麻（3扛）蚊问：在对于拿数据验光滑愚还有道哪些屑方法铸答：售类似蓝的还骄有分愈箱中绘位数诱光滑置，此望时箱叼中的卷每一叛个值便都被傅箱中情位数构替换坟。分絮箱边犬界光败滑，瞎箱中撒的最搜大和撕最小悉值同挤样被为视为牵箱边寻界，见箱中侦的每今个值诚都被厦最近兰的边瘦界值歇替换结。一铜般来捎说，旦宽度跑越大页光滑淘效果肝越大朽。箱华可以剧是等凑宽的盆，每筋个箱喊值的上区间芽范围困是个嫌常量浮。坑此外扎可以也用一湖个函贝数（退如回司归函业数）老拟合朝数据防来光响滑数扎据。政线性弦回归扔涉及架找出复拟合至两个丹属性叨的最血佳线盈，使香得一酷个属武性可君以用沉来预旅测腿另一宏个。汪多元灯线性洲回归枕是线赖性回客归的犁扩展谢，其守中涉蹄及的垃属性炒多于笼两个倚，并返且数奉据拟葡合到刷一个镇多维短曲面树。而概念现分层榴也可合以用庭于数济据光拆滑。否6.优【p扫63转2魔.8品】挎问：畏数据伍集成斩需要仓考虑赚的问否题牌答：迁①读实体平识别惹问题贩。配模式攀集成孤和对睛象匹妨配需劳要技茎巧，才来自秒多个谅信息安源的捷现实震世界倡的等撞价实竭体必泥须能破够匹困配。覆②脸数据签冗余遥。一广个属捞性可贱能是歉冗余回的，斜如果疮它能开由另陕一个泡或另哑一组评属性爹“烦导出住”偷。属馆性或影命名惜的不同一致烫也可细能导湖致结剩果数拘据集桥中的宣冗余娱。控③信数据污值冲慨突的稠检测倍与处龙理。而对于支现实稿世界忧的同惯一实疲体，幸来自健不同饼数据琴源的凳属性浇值可畏能不叫同库，这惜可能刘是因蚕为表揭示、狡比例叹或编堂码不狱同煤。趁7.话【p皂63垃2胀.9驼】咬（僻1）开方差伶公式σ虏（2豆）散脖布图姿：将娱每个球值当甜做坐肆标对芝画点旨走岩q社q图粮：将根数据梯都按交递增晚序排傅序，停然后支画点愉（3风）z谦-s慕co武re崇规范马化刘（零液均值和规范糕化）杠属性滚揪（衬数值脆减去村均值饶除以幼标准我差箩）鉴（4焰）匪答案吓是0堵.8值2，印非常权相关驴。惜卡方悦检验膝公式χ巷其中耐oi纱j是腾实际赴计数向，e毙ij柴是期她望频驳度。eij=预8.于【p稻63挤2盖.1最2】自（1度）最舍小最获大规照范化v‘=眨（2屿）小对数定届标规衡范化帮，移倍动小顶数点役位置巨进行滴规范骗，移咬动位除数取煎决于夫最大场绝对称值林。您（3创）更国愿用茅哪种禁规范侄方法粒？醋。雁小数辰定标隔。捧∵冠保持俗了数节据的尺结构穿并且嫁是直球观表渴达并尸仍然伤可以热在a能ge蓝的组阳内进座行挖考掘。异最大态最小漂有一链个多赴余的隙功能弃就是冠禁止档了任错何未宪来值飘落在狐现在要的最见小最衣大值掩之外粘，没澡有考墨虑到述“港越彩界错袖误悲”寇，而黎未来刷的数泰据里缝可能细出现婚。Z针-s无co差re猴用标衬准差炼表示询数据送到平柱均值沿的距愈离，含不像捐小数省定标样那样赠直观桥。贞9.株【p快97踏3腥.2早】霜（1驳）雪加花型贞模式王、事垃实星费座形折、星局形网狸查询刊模型争雪花胡型模莫式瓦和事冠实星摇座形公都是浮星形捐模式黑的变霞种。脖雪花盾型模腊式的不维表犬可能诵是规毯范化忠形式祝，以跑便减找少冗桂余；区事实灭星座值形模摘式允恋许事窝实表跌共享婚维表庆。星填形网建查询仰模型次由中萍心点差发出溜的射马线组架成，肯其中鸡每条辩射线柜代表拜一个在维的盈概念雪分层蝴，而绳概念陆分层棋的每哑个抽送象级构称为桨一个删脚印盈，代挣表诸照如上唤卷、上下钻锣等O棉LA顶P操赤作可席用的径粒度脱。旁（2正）数纠据清躺理、客数据唉变换倍、刷汉新扇数据赠清理仔：检宽测数个据中眉的错用误，郊可能劲时订学正它饼们。挪数据化变换石：将心数据样由遗污产或把宿主题格式军转换耳成数榨据仓枕库格网式。辫刷次黎新撇：传桃播由彻数据谎源到舞数据械仓库牛的更朽新。慕（3引）企荒业数导据仓毛库、汁数据虾集市沾、虚球拟仓纹库菜①跳企业金数据班仓库崭收集握了整客个组帆织关耗于主海题的叔所有摇信息挺，它拦提供昏企业御范围悉内的裹数据絮集成鞭，通仆常来溜自一描个或何多个桑操作永数据件库系祥统或航外部快信息瞒提供呀者，建并且成是跨惩功能漂的。误通常烈，它咽包含辨细节疏数据难和汇刺总数线据，食其大妈小有馋数千测兆字缴节到倍数百蒸千兆诵字节由到更淡多。说它可狱以在筛传统貌的大优型机论、超谋级计兔算机馋服务群器或只并行摊结构尺平台邻上实墓现。侄它需政要广样泛的虽商务疑建模望，可栗能需性要多复年设汤计和滋建设改。逆②淡数据浮集市摄包含窑企业壁范围横数据姿的一俘个子狡集，新对于墨特定馆的用酸户群沿是有膝用的置。其努范围纱限于反选定甘的主福题。榴包括广在数贵据集壳市的怜数据丽通常淹是汇绍总的稿。它蚊可以底再低赏价格村的部潜门服宪务器昨上实溪现，犁基于技UN考IX宇/L寸IN劳UX慧或W委in治do拔ws蹈。它设的实疮现周属期一灾般是蜜一周绪计，移而不阵是以披月计浮或以救年计份。然剖而如著果它饼的设扫计或誉规划闪不是英企业领范围醋的从右长远猴讲可先能涉枪及很凡复杂袜的集狸成。运独立铸数据跟集市出数据盲来自肺一个巩或多畏个操领作系迟统或意外部泰信息梢提供重者，诵或者脚在特碌定的退部门厌或地摆域局浆部产垮生的惭数据困；依差赖的符数据版集市规的数颤据直盐接来殊自企愤业数拦据仓泻库。因③需虚拟迫仓库爷是操昂作数舱据库临视图组的集沙合。壳为了瘦有效革地处啄理查型询，双只有纽一些结可能热的汇毙总视轿图可浅以物全化。文虚拟闷仓库叹易于折建立鸦，但吃需要籍操作申数据县库服婚务器怠具有助剩余煎能力因。桐10裳.【坡p9假8寺3情.4打】皆（1赤）雪弦花型绢模式牲图猴（2必）求济每个柳学生叨CS走课程江的平帅均成秃绩，伏OL壶AP椅操作趣①虹在c狗ou村rs摆e维星表中粥由c丧ou叉rs压e_障id榜上卷蓝到d裕ep验ar顽tm最en丰t旺②浇在s辆tu评de唐nt炮维表著中由渴st华ud避en冷t_乖id纵上卷搏到u追ni谎ve第rs木it匹y视③沾按如亮下选坛择对词中心捆立方手体切盛块：朱（衣de纪pa毯rt取me词nt渠=腐“耽CS哑”牧）银a究nd彻必（由un剑iv贸er铁si释ty瞒=志葵“驴Bi励g琴Un析iv驳er胆si傍ty烦”福）连（3春）如江果每勇维有专5层冰，则劫立方丧体包尤含5认4哥=6嚷25笑个方望体毛11班.【损p9来8多3浓.5唐】棉（1钉）观古看节晃目的让星形姐模式经图要（2敏）列警出2烤00惠4年年学生丙观众炉GM塞-P帝la毁ce季的总犯付费姥，需疏要采辅用哪珠些O评LA走P冈。转在d甘at体e上再由d浊at叉e_扭id外上卷帽到y桥ea们r；另在g纸am举e上问由g周am控e_留id帮上卷老到a舱ll季；在法lo雹ca军ti会on燃上由浆lo径ca组ti祖on天_i性d上堵卷到卵lo告ca温ti零on摆_n握am朽e；胞在s浪pe尺ct讲at锡or编上由权sp洽ec漠ta虽to璃r_听id殃上卷蓬到s健ta抵tu他s；霸按以胀下选掌择进虎行切钱块：柿（s站ta辛tu颜s=伤“谅st敏ud沈en舟t穿”培）a栗nd罚（l覆oc够at箱io讲n=姻“斯GM蹈_P蹈la腰ce忙”陈）a径nd窝（y熊ea薪r=老20内04郊）吃（3滤）位庭图索月引结岭构的芹优点六和问次题。晴对于饿基数折较小碑的域摔，位厕数索浆引非油常有或用，遇因为辽比较势、连辛接和设聚集扒操作司都变历成了华位算裹术运盖算，事大大殖减少损了处客理时飘间。机由于歉字符型串可伴以用青单个患二进脂位表分示，州位图钩索引丽显著详降低单了空补间和欲I/稍O开秘销。躁对于筛基数增较高纷的域描，需扮要使抄用压亮缩技膏术才博可以庙使用脂这个备技术忘，就督像例病子中邻的d远at世e，垫这个夫位向板量是乘非常允长的衰，十箭年收波集的冶数据颂就会稼得到敲36披50乖条日痒期记左录，拾也就妄意味坊着d杰at上e位锯向量汪有3涝65拍0个勒二进捷位。葬12钉.【倚p9孔8越3真.6弄】幸简略另讨论坝星形原模式幅和雪搬花型器模式境的相亮似点盘和不塞同点补，分众析相驳对优侦缺点在。哪掌种模术式更删实用麦，给步出观沫点并典陈述孩理由弃。猪答：摧相似忧点：搞他们沸都有半一个血事实乓表和而多个颤维表慢。部主要团区别员：雪墓花型忌模式促有些砍维表嫌是规秒范的葵，把屋数据耕进一页步分厌解到盈附加啄的表膝中。乳星形罪模式故的优僵点是友非常脂简易摔，使邪得操拒作有尿效率归。但角它需板要更著多的蹄空间净。孕雪花株型模茫式易炮于维惨护并弊节省递存储爆空间磁。但秀是与翁巨大菊的事饱实表抖相比青，这查种空超间的踏节省暮可以译忽略曾，由段于执畏行查诞询需逐要更绍多的币连接歼操作停，它裕可能国降低剩浏览随的性多能。畏因此孙星形晨模式舍更实腿用，摩因为玉只要掉需占扣用的逗空间欲不是蜡特别鸟大，妄效率未是要棋比空价间优艳先考壤虑的尽。在厉一些甜工厂笔里，劲有时符会将腔雪花悔型模理式中滨的数益据转鹿换成桑星形蛛模式雄来加持速处立理过芝程。矩13哲.【莲p9朝7糊3.行9】冈（1掘）列买出度织量的额三种广类型笋度量均可以叛根据同所用橡的聚跟集函萝数类每型分见成三态类，震即分叉布的柄、代林数的继和整弄体的勾（2宋）方样差属鞠于哪贡一类芹，如辟果数辰据分视成了恩块，杯描述豪怎么菊计算润答：叉方差浓属于险代数胀的。达如果线立方叉体被但分割园成了缝一些队块，闭方差催可以走照以乘下步烈骤求蔽得：休首先云挨个父读出擦每个斗块中制的数少据，坚同时礼累加裁元组懂求得笋xi叼2的碗和x俘i的状和。府当读免完所勿有块织的数阔据后仙，计昨算抢xi伐的均昂值，妹之后睬按提狭示中够给出大的公蔽式进娃行求午解即偶可得袍到方扰差。旬（3多）函阿数是以最高愧的1岔0倦个销杜售额慧，如漆何有飘效地魂计算行该度竭量。帖对于头每个犹方体漠，用辽10抛个单闭位来时存储布目前煮最高羊的1橡0个航销售殊额。幻读取强每个妥方体杆中的畅数据宗，如涛果某愈个元颤组中获的销辽售额腿比存彩储的寒最高同的1篇0个鸟销售银额中哄的一纤个高磨，就粥将该央销售察额加絮入到坑最高境的1返0个壁销售袖额列浪表中箭，同妨时剔蒜除原司列表抬中最冈小的羡那个骂数据搏。劈通过枣该操蔬作的昌不断寒循环镇执行城，最用终可胞以得认到最型高的慨10聚个销豪售额草。肚14妄.【厉p9猎7趋3.所14搭】纯三种找主要落的数逃据仓悟库应谨用：微信息披处理烂、分亲析处耻理和肤数据椒挖掘否的区弱别是债什么楼。讨俩论O笑LA瓜P挖展掘（灭OL骗AM怜）动压机竿答：昆信息掏处理拿支持辩查询包、基必本的立统计技分析研，并紫使用朗交叉导表、皇表、配图表贝或图稠进行前报告腰。融分析况处理缠支持芬基本录的O诞LA制P操蝇作，翼包括都切片胃与切圣块、迎下钻威、上馅卷和素转轴葵。一塔般对座汇总桨和详舱细历秤史数状据操羊作，卷支持励数据墓仓库忙数据篮的多拐维数少据分劫析。方数据其挖掘柿支持惜知识彼发现申，包块括找意出隐怕藏的坦模式枣和关面联，恐构造溉分析次模型胀，进么行分冬类和齿预测壮，并梯使用屋可视载化工迎具提蹈供挖灶掘结回果。疲OL霸AM岛的动名机有傲以下垮几点艇：丛①念数据像仓库腰中数片据的慧高质蜂量面。经捕过预通处理饭而构农造的良数据嫌仓库例不仅沟用作畏OL可AP庙，而肚且也尘用作诞数据惩挖掘抢的有容价值计的数竟据源葱。趁②倦环绕尤数据提仓库绍的信速息处识理基规础设糟施。邮全面在的数柏据处慎理和秒数据甲分析甩基础掉设施耍已经剑或将奇要围竖绕数呈据仓足库而是系统怠地建龟立，揭谨慎兔的做辅法就蛾是尽成量利负用可炊用的植基础踩设施烛，不插是蝶一切悟从头遗做起吼。裤③炮基于衔OL窃AP震的探室测式截数据鹅分析音。匆有效蛛的数劳据挖迈掘需络要探鸽测式肠数据蛙分析脚。用他户常股常想诵遍历伐数据疯库，慰选择难相关泼数据指，在沫不同腰粒度借上分葱析它役们，盗并以峡不同互的形颜式提度供知狂识/判结果帜。乓④滴数据蒙挖掘废功能训的联骗机选答择。芹用户岩常常举不知股道挖族掘什赚么类染型的章知识暗，通便过将坚OL筋AP励与多谨种数古据挖情掘功爸能集重成在缝一起目，为暴用户殖选择叹所期程望的汤数据面挖掘子功能蝇，动灿态改中变数已据挖坛掘任选务提烟供了到灵活映性。萝15冒.【般p1挺77雁5溉.1充】盯（1评）项周集s骡的任虚意非搜空子劝集s双’皱的支非持度宴至少饭和s砍的支帽持度荐一样钻大驻令D稿为相拦关事奏务数苦据，援|D弓|为悲事务滔的数际量。勾通过贤定义种知式su凝pp锯or旷t(边s)嫁=s闸up程po周rt裙_c即ou掩nt筑(s骗)/颂|D钳|雄设s朵’捆为s仗的任初意非顿空子毁集。睁通过城定义污得吐su醉pp排or摄t(草s代’你)=躲su弊pp驻or胡t_妇co胁un柜t(割s而’巨)/贯|D筝|懒因为姓su灰pp积or淋t_贯co秘un刘t(词s阶’祖)>姓=父su悉pp捏or骄t_预co典un沿t(咬s)腾，所站以s状up恢po纹rt惰(s平’倍)>颤=光su浩pp贝or缠t(流s)宇。燃（2亿）给挽定频敢繁项悔集l登和l卷的子戚集s用，证疲明口“傲s强’药=>缸(l品-s特’厚)捆”饰的置万信度种不可仍能大贿于季“邮s=旅>(韵l-尖s)岩”武的置移信度属，其臂中s迫’放是s嫌的子匠集。秒答：拾令s希是l通的一跃个子历集，吐则c颗on碧fi限de姜nc疯e(搬s=淹>(钻l-听s)备)千=s锋up风po姥rt浙(l弟)/堆su泥pp塘or笼t(培s)宗令s康’吸是s控的一宣个子队集，鸟则c帆on杠fi邪de翻nc悟e(仪s属’足=>魔(l千-s量’溪))愧=s迅up箩po六rt笛(l预)/押su狱pp止or车t(称s逗’最)筛因为茎su师pp理or贤t(独s拔’盏)>糟=董su荒pp瘦or罩t(爸s)甚，所喂以c渴on肾fi隶de姓nc累e(丰s软’王=>可(l杜-s紧’残))邪<=扒co没nf旋id典en衡ce寻(s歪=>婚(l伏-s窝))己（3蜂）a狗pr蛾io生ri吸的一捏种变业形将勉事务弟数据弦库D册中的程事务广划分踪成n势个不钥重叠翻的部努分，持证明袍在D论中频气繁的犬任何歌项集皱至少弱在D塌的一夏个部幅分中让是频像繁的王。辟答：箭假设惭频繁联项集撞在D县的任屋何部责分中举都不职频繁寿。迹设F匠为D劝的任丽何勺频繁甲项集漂。令绣D是塔相关惕事务栏数据冲集。延令C席是D升中事祖务的养总数冶量。急令A穷是D艇中包砌含F蜘的事才务数拖量。关令m昆in赖_s亮up及是最朽小支抵持度核阈值怕。替因为红F是梢频繁梦项集内，所亡以A载=C列*m括in谋_s蜘up睛.只令D各分成饭n个管不重割叠的呆部分质，d槐1,泻d2钉…肝dn蜡。那红么D吼=d扇1d猎2每…秋dn卡.勤令c擦1奇c2叔…描cn并分别萌是各霜部分秃d1哗…耐dn鸭的事五务数默量。胀则C愉=c婚1+刮c2蕉+撕…确+c察n雁令a谈1塑a2芬…赖an装分别劈是各傻部分冠d1再…镜dn住中包造含F疤的事绪务数叨量，猫则A触=a巧1+腥a2饶+倚…吵+a坏n结A=勺C*警mi督n_缩su慨p即漏a1围+a科2+搁…雷+a携n=英(桶c1热+c由2+鸟…羡+c锹n)呀*润mi姥n_狗su钳p魄①激由假季设知火F在立各部切分d扰1驼…放dn交中都狱不是萝频繁滋的，富所以平ai述<c陷i*闷mi校n_阔s