商务数据分析与应用 课件 项目四 商务数据采集

商务数据处理CONTENTS目录01数据清洗02数据转换03数据合并01数据清洗数据重复分为实体重复和字段重复。查找重复数据的方法有：条件格式法，通过标记颜色快速定位；数据透视表法，利用频次统计发现重复；高级筛选法，直接筛选不重复记录；函数法，使用COUNTIF函数精确计算重复次数。例如，使用条件格式法可将重复编号标记为红色，方便识别。查找重复数据的方法查找重复数据后，保留唯一数据记录，删除其他重复数据。可通过筛选或直接删除重复行实现。例如，通过数据透视表统计频次后，删除频次大于1的记录。删除重复数据在删除重复数据时，需确保保留能显示特征的唯一数据记录，避免丢失重要信息。例如，对于商品信息，保留唯一商品编号对应的数据。保留唯一数据处理重复数据找到缺失数据缺失数据包括记录缺失和字段信息缺失。可通过“查找和选择”功能定位空值。例如，使用“查找和选择”中的“定位条件”选择“空值”，快速找到缺失数据。删除或插补缺失数据缺失数据处理方法有：删除记录、删除缺失值、缺失数据插补。插补方法包括均值插补、同类均值插补、极大似然估计、多重插补等。例如，对于定距型数据，可使用均值插补填补缺失值。选择合适的处理方法根据数据类型和分析需求选择合适的处理方法。对于关键字段缺失，可考虑插补；对于非关键字段，可删除记录。例如，对于客户年龄字段缺失，可使用均值插补。处理缺失数据常用方法有：箱盒图、描述分析、散点图。箱盒图通过最小估计值和最大估计值判断异常值；描述分析查看极端值；散点图直观显示离群点。例如，通过箱盒图可直观发现数据中的异常值。鉴别异常值分析异常值产生的原因，判断是“伪异常”还是“真异常”。对于“伪异常”，需结合业务背景理解其合理性。例如，某商品销量突然增加，需结合促销活动判断是否为异常。分析异常值原因处理方法包括：删除异常值、不处理、视为缺失值、降低异常值权重。选择方法需考虑数据量和分析需求。例如，对于少量异常值，可直接删除；对于大量异常值，可视为缺失值处理。处理异常值处理异常值01使用函数检测逻辑错误，如COUNTIF、IF、OR函数。COUNTIF函数统计选项数；IF函数标记错误记录；OR函数检验条件。例如，使用IF函数标记选项数大于3的记录为“错误”。检测逻辑错误修正后需验证结果是否符合逻辑和业务规则。可通过再次检测或人工审核验证。例如，修正后使用OR函数再次检验，确保无逻辑错误。验证修正结果02修正逻辑错误需结合业务规则和数据背景。对于明显错误的数据，可直接修正；对于复杂错误，需进一步调查。例如，对于客户年龄错误，需结合出生年份修正。修正逻辑错误03处理逻辑错误值数据格式问题包括时间、日期、数值、半全角等格式不一致。可通过设置单元格格式或分列功能统一格式。例如，将百分比格式统一为小数格式。字段中可能包含多余字符，如单位、空格等。可通过替换操作去除多余字符。例如，去除身高字段中的“cm”字符。根据分析需求调整数据格式，如提取身份证中的出生年月。可使用MID、LEFT、RIGHT等函数提取数据。例如，使用MID函数提取身份证中的出生年月。010203统一数据格式调整数据格式去除多余字符数据格式清洗02数据转换行列转换可通过“选择性粘贴”中的“转置”选项实现。适用于从不同维度观察数据。例如，将时间维度数据转置为地区维度数据。数据转置对于多维度数据，可通过多次转置或使用数据透视表实现多维度转换。例如，将时间、地区、产品维度数据转换为不同组合形式。多维度数据转换转置后需调整数据格式和标题，确保数据清晰易读。例如，调整转置后的日期格式和列标题。转置后的数据调整行列转换数值转字符可通过“分列”功能实现。适用于长数字或科学记数法数据。例如，将手机号码转换为文本格式。数值转字符字符转数字可通过“分列”功能或直接转换实现。适用于文本格式的数字数据。例如，将文本格式的销售额转换为数字格式。字符转数字文本日期转标准日期可通过“分列”功能或日期函数实现。适用于非标准日期格式数据。例如，将“YYYYMMDD”格式日期转换为标准日期格式。文本日期转标准日期类型转换添加排序条件数据排序可通过“排序”功能实现。可添加多个排序条件，如按访客数降序、下单买家数升序。例如，将数据按访客数降序排列，再按下单买家数升序排列。自定义排序次序多字段排序自定义排序可通过“自定义序列”实现。适用于特定顺序的数据排序。例如，按流量来源的自定义顺序排序。多字段排序可通过添加多个排序条件实现。适用于复杂数据排序需求。例如，按地区、产品、时间等多个字段排序。数据排序常规计算包括加、减、乘、除运算，以及使用函数计算统计指标，如AVERAGE、SUM等。例如，计算成交转化率（成交客户数/访客数）。常规计算日期时间计算包括日期加减、日期函数计算等。常用函数有YEAR、MONTH、TODAY等。例如，计算用户购买间隔时长（最近下单时间-首次下单时间）。日期时间计算复杂计算可通过组合函数实现。适用于复杂数据处理需求。例如，计算商品上架天数（当前日期-上架日期）。复杂计算数据计算字段匹配可通过VLOOKUP函数实现。适用于关联数据表的字段匹配。例如，将“基本信息”表与“考核得分”表匹配，获取员工考核得分。字段匹配步骤包括：确定关联字段、选择匹配函数、设置参数、复制公式。例如，使用VLOOKUP函数时，需设置lookup_value、table_array、col_index_num、range_lookup参数。多表匹配可通过多次使用VLOOKUP函数或使用其他匹配函数实现。适用于多个数据表的字段匹配。例如，将多个数据表的字段进行匹配，获取完整数据。VLOOKUP函数字段匹配步骤多表匹配字段匹配03数据合并使用CONCATENATE函数字段合并也可通过CONCATENATE函数实现。适用于复杂字段合并。例如，使用CONCATENATE函数将多个字段合并为一段文本。使用“&”运算符字段合并可通过“&”运算符实现。适用于简单字段合并。例如，将工号和姓名字段合并为“xx的工号是xx”。合并后的数据调整合并后需调整数据格式和内容，确保数据清晰易读。例如，调整合并后的字段格式和内容。字段合并剪贴板复制粘贴工作表合并可通过剪贴板复制粘贴实现。适用于数据量较少的情况。例如，将多个工作表的数据复制到一个工作表中。VBA法工作表合并可通过VBA代码实现。适用于数据量较多的情况。例如，使用VBA代码批量合并多个工作表的数据。PowerQuery法工作表合并也可通过Power

Query实现。适用于Excel2016及以上版本。例如，使用Power

Query批量合并多个工作表的数据。工作表合并PowerQuery法工作簿合并可通过Power

Query实现。适用于多个工作簿文件的数据合并。例如，使用Power

Query批量合并多个