大数据管理培训课件

1、第3章 大数据管理大数据管理第1页本章内容3.1 大数据清洗3.1.1 数据质量3.1.2 数据清洗作用3.1.3 数据清洗方法和过程3.1.4 数据清洗实例3.2 数据类型和数据转换3.2.1 数据类型3.2.2 数据转换3.3 大数据提取和加载试验3 数据处理大数据管理第2页3.1 大数据清洗 大数据时代下，管理关键依靠着数据，但伴随信息量不停增加、智慧工具不停涌现，怎样对数据进行有效清洗实现数据真实性，有效性，唯一性变得十分含有挑战。为了使数据统计更准确、一致，消除重复和异常统计就变得很主要，所以数据预处理工作是相当必要。数据清洗作为数据预处理一个主要步骤，在大数据分析过程中占据主要位置

2、。大数据管理第3页 3.1.1 数据质量 1.数据质量四大要素 在技术发展不一样阶段，对数据质量有不一样定义和标准。早期对数据质量评价标准主要以数据准确性为出发点，伴随信息系统功效和定位不停延伸，用户关心重点逐步由数据准确性扩展至正当性、一致性等方面。归纳起来，数据质量含有四大要素： 完整性 一致性 准确性 及时性大数据管理第4页2. 数据质量管理关键 制订规范数据质量度量标准建立有效数据质量监管体系建立完善数据质量管理制度 大数据管理第5页3.1.2 数据清洗作用 数据清洗就是按照一定规则把“脏数据”“洗掉”，过滤不符合要求数据，主要包含不完整数据、错误数据、重复数据，然后将过滤结果交给业务

3、主管部门，确认是否过滤掉还是修正之后再进行提取。所以怎样对数据进行有效清理和转换，使之成为符合数据分析要求数据源，是影响数据分析准确性关键原因。大数据管理第6页3.1.3 数据清洗方法和过程1. 数据清洗方法 经过人工检验 经过专门编写应用程序 针对特定应用领域数据清理 针对与特定应用领域无关数据清理大数据管理第7页3.1.3 数据清洗方法和过程2. 数据清洗过程第一阶段：数据分析、定义错误类型第二阶段：搜索、识别错误统计第三阶段：修正错误大数据管理第8页3.1.4 数据清洗实例DataEye 原始数据源提供一组游戏下载时长数据集 假如直接计算游戏平均下载时长，得到结果为23 062.57 秒

4、，约6.4小时，与实际情况严重不符，说明这一数据集受到噪声数据显著影响。大数据管理第9页3.1.4 数据清洗实例将数据集等分为240 300 个区间，找到数据集中区域0，3 266.376，对取值之间数据做箱型图分析，对此区间外数据剔除离群值，重新计算平均下载时长最终计算目标数据源平均下载时长为192.93 秒，约3.22 分，符合实际情况。经过数据分布特征及箱型图方法来识别、剔除噪声数据较为快捷且效果显著。大数据管理第10页3.2.1 数据类型1. 整理数据类型（1）INT（或INTEGER）数据类型；（2）SMALLINT 数据类型（3）TINYINT 数据类型；（4）BIGINT 数据类

5、型2. 浮点数据类型（1）REAL 数据类型；（2）FLOAT 数据类型（3）DECIMAL 数据类型；（4）NUMERIC 数据类型3. 二进制数据类型（1）BINARY 数据类型 ；（2）VARBINARY 数据类型 3.2 数据类型和数据转换大数据管理第11页3.2.1 数据类型4. 逻辑数据类型 BIT 数据类型5. 字符数据类型（1）CHAR 数据类型；（2）NCHAR 数据类型（3）VARCHAR 数据类型；（4）NVARCHAR 数据类型6. 文本和图像数据类型（1）TEXT 数据类型；（2）NTEXT 数据类型；（3）IMAGE 数据类型7. 日期和时间数据类型 DATETIM

6、E 数据类型用于存放日期和时间大数据管理第12页3.2.2 数据转换 数据转换是将数据从一个表示形式变为另一个表示形式过程。因为每一个软件后台数据库构架与数据存放形式都是不相同，所以就需要对数据进行转换。比如，对两个操作数进行运算，当操作数类型不一样，而且不属于基本数据类型时，经常需要将操作数转换为所需要类型，这个过程即为强制类型转换。强制类型转换有两种形式：显式强制类型转换和隐式强制类型转换。大数据管理第13页3.3 大数据提取和加载 大数据提取和加载是指将转换好数据保留到数据仓库中去。大数据在加载时普通采取两种方式：完全刷新加载从技术角度上说，完全刷新加载比增量提取和加载要简单得多，它适用于数据量不大而且时间代价和条件代价较小情况。增量提取和加