




下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
数据清洗1.基本概念数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文献中可识别的错误的最后一道程序,涉及检查数据一致性,解决无效值和缺失值等。由于数据仓库中的数据是面对某一主题的数据的集合,这些数据从多个业务系统中抽取而来并且包含历史数据,这样就避免不了有的数据是错误数据、有的数据互相之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合规定的数据,将过滤的成果交给业务主管部门,确认与否过滤掉还是由业务单位修正之后再进行抽取。不符合规定的数据重要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理普通是由计算机而不是人工完毕。折叠残缺数据这一类数据重要是某些应当有的信息缺失,如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文献向客户提交,规定在规定的时间内补全。补全后才写入数据仓库。折叠错误数据这一类错误产生的因素是业务系统不够健全,在接受输入后没有进行判断直接写入后台数据库造成的,例如数值数据输成全角数字字符、字符串数据背面有一种回车操作、日期格式不对的、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不可见字符的问题,只能通过写SQL语句的方式找出来,然后规定客户在业务系统修正之后抽取。日期格式不对的的或者是日期越界的这一类错误会造成ETL运行失败,这一类错误需要去业务系统数据库用SQL的方式挑出来,交给业务主管部门规定限期修正,修正之后再抽取。折叠重复数据对于这一类数据--特别是维表中会出现这种状况--将重复数据统计的全部字段导出来,让客户确认并整顿。数据清洗是一种重复的过程,不可能在几天内完毕,只有不停的发现问题,解决问题。对于与否过滤,与否修正普通规定客户确认,对于过滤掉的数据,写入Excel文献或者将过滤数据写入数据表,在ETL开发的早期能够每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也能够做为将来验证数据的根据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要顾客确认。数据分析是指用适宜的统计分析办法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以具体研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可协助人们作出判断,方便采用适宜行动。类型在统计学领域,有人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特性,而验证性数据分析则侧重于已有假设的证明或证伪。探索性数据分析是指为了形成值得假设的检查而对数据进行分析的一种办法,是对传统统计学假设检查手段的补充。该办法由美国出名统计学家约翰·图基(JohnTukey)命名。定性数据分析又称为"定性资料分析"、"定性研究"或者"质性研究资料分析",是指对诸如词语、照片、观察成果之类的非数值型数据(或者说资料)的分析。数据挖掘(英语:Datamining),又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-DiscoveryinDatabases,简称:KDD)中的一种环节。数据挖掘普通是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性(属于Associationrulelearning)的信息的过程。数据挖掘普通与计算机科学有关,并通过统计、在线分析解决、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多办法来实现上述目的。折叠数据挖掘的基本环节数据挖掘的环节会随不同领域的应用而有所变化,每一种数据挖掘技术也会有各自的特性和使用环节,针对不同问题和需求所制订的数据挖掘过程也会存在差别。另外,数据的完整程度、专业人员支持的程度等都会对建立数据挖掘过程有所影响。这些因素造成了数据挖掘在各不同领域中的运用、规划,以及流程的差别性,即使同一产业,也会由于分析技术和专业知识的涉入程度不同而不同,因此对于数据挖掘过程的系统化、原则化就显得格外重要。如此一来,不仅能够较容易地跨领域应用,也能够结合不同的专业知识,发挥数据挖掘的真正精神。数据挖掘完整的环节以下:①理解数据和数据的来源(understanding)。②获取有关知识与技术(acquisition)。③整合与检查数据(integrationandchecking)。④去除错误或不一致的数据(datacleaning)。⑤建立模型和假设(modelandhypothesisdevelopment)。⑥实际数据挖掘工作(datamining)。⑦测试和验证挖掘成果(testingandverification)。⑧解释和应用(interpretationanduse)。由上述环节可看出,数据挖掘牵涉了大量的准备工作与
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 电子版兼职劳动合同协议书样本
- 2025年中国扎制设备行业市场前景预测及投资价值评估分析报告
- 2025年手办市场调查报告
- 月嫂服务标准合同协议书范例
- 2025年电瓶车充电器市场调研报告
- 就餐场地租赁合同范本
- 会员制销售合同范本
- 2025年中国水泥彩瓦行业市场前景预测及投资价值评估分析报告
- 喷气织机及喷水织机分析研究报告
- 2025年中国双锯切角机行业市场规模及投资前景预测分析报告
- 周三多管理学精华重点
- GB/T 41097-2021非公路用旅游观光车辆使用管理
- GB/T 32439-2015给水用钢丝网增强聚乙烯复合管道
- GB/T 12971.2-2008电力牵引用接触线第2部分:钢、铝复合接触线
- 模板安装自检记录表
- 常见急救知识培训课件
- 表现主义-蒙克《呐喊》赏析微课 课件
- 《了凡四训》课件
- 《动脉血气的采集》课件
- Aspen-中文培训资料课件
- 舞蹈大赛报名表
评论
0/150
提交评论