大数据财务分析课件 3.1数据清洗概述

大数据财务分析爱岗敬业诚实守信坚持准则提高技能廉洁自律客观公正参与管理强化服务项目三数据清洗与处理任务一数据清洗概述爱岗敬业诚实守信一、什么是数据清洗？数据分析结果的优劣主要依赖于数据的优劣。我们在网上获取的数据往往存在着许多问题，如数据缺失、数据重复、数据异常等，直接对这些数据进行统计分析，会导致分析结论偏离实际。因此，在数据分析之前通常需要先对数据进行清洗。数据清洗是对数据进行重复审查和校验的过程，目的在于通过预定的清理规则将不符合要求的数据转化为满足质量要求的数据。廉洁自律客观公正020103重复值处理：删除缺失值处理：删除、填充其他异常处理：数据中特殊字符删除、数据格式更改、无法识别数据处理、英文大小写转换等。二、数据清洗主要内容坚持准则提高技能一般在数据清洗之前，首先必须明确数据存在哪些问题，再针对各问题逐一击破期间营业收入营业成本税金及附加销售费用管理费用财务费用01月80，00040000NaN￥20002000.0200.012月NaNNaNNaNNaNNaNNaN23月75,00039000NaN￥30002000.0200.034月75,00039000NaN￥30002000.0200.045月8500045000NaN￥34002400.0200.056月7500045000NaN￥44002400.0NaN67月7500045000NaN￥44002400.0NaN通过观察以上DataFrame,分析数据问题如下：1.重复行：行索引2和3、5和6数据重复。2.缺失值：NaN部分。3.存在异常符号：￥、逗号、空格。了解问题之后，就可以进一步进行数据清洗。二、数据清洗主要内容参与管理强化服务清洗规则：1.一个清洗步骤就用一条清洗规则；2.多拆分清洗步骤，每个步骤备份数据，方便出问题时回退；3.一般先做全局清洗（即对全部数据），再做个别字段的清洗；4.清洗的输出结果不要直接放在正式数据流\正式文件中，先用测试环境\临时文件充分验证后上正式环境。三、数据清洗工具爱岗敬业诚实守信为了提升清洗效率，在不影响正常要分析的数据前提下，将多个字段都存在的问题一次性清洗掉，可以使用全局规则。全局清洗一般放在其他清洗规则前优先执行。全局规则规则描述非法字符清洗对表中所有记录中含有以下字符的内容进行删除。非法字符包括：\/*?:<>|空格清理对表中所有记录中的空格都进行统一删除-（仅有）替换为Null将字段记录值仅含有‘-’的内容进行删除，存为空记录-（仅有）替换为0将字段记录值仅含有‘-’的内容进行删除，存为’0’空格（仅有）替换为Null将字段记录值仅含有空格的内容进行删除，存为空记录空格（仅有）替换为0将字段记录值仅含有空格的内容进行替换，存为‘0’NULL，表示不存在，是一种特殊的数据类型，0,数字类型或整型，存储的值为0，数据类型为数字类型，如果替换为NULL，则该单元格不参与后续计算，替换为0，则单元格参与后续计算。三、数据清洗工具廉洁自律客观公正按字段清洗规则：工具提供了字符替换、字段切分、字段合并、缺失值填补四种清洗规则。三、数据清洗工具字符替换：可以将选定字段的值进行替换。123字段切分：将选定字段切分为多个字段，相当于拆分列。字段合并：将选定的多个字段合并为一个字段，相当于合并列。缺失值填补：将选定字段的缺失值进行自动填充，有均值填补、中位数填补、丢失空值记录、填补为0的四种方式。4坚持准则提高技能四、任务实战-全局清洗规则任务1：特殊字符清洗使用全局清洗规则对整张表的数据空格进行清洗B公司是一家销售办公用品、办公家具和办公电子设备的公司，有多家直营店，每月月底，各直营店会向财务部提供本月的订单详情表。现在公司的财务数据分析师手上有一份汇总多年的订单详情表。通过观察分析，表中有一些空值和“-”，有的单元格还有特殊字段。对客户ID、产品名称等数据需要进一步数据处理，才可以准确的进行分析。参与管理强化服务四、任务实战-全局清洗规则任务2：特殊字符清洗将数据表的“*”清洗掉。爱岗敬业诚实守信四、任务