使用Data-Profile进行数据剖析课件

使用DataProfile进行数据剖析使用DataProfile进行数据剖析数据事件探查功能※熟悉数据源并找出数据中要修复的问题※仅对SQLServer中存储的数据进行事件探查并标识潜在的数据质量问题。数据事件探查功能※熟悉数据源并找出数据中要修复的问题数据事件探查步骤第一步：创建数据事件探查任务第二步：查看数据事件探查结果数据事件探查步骤第一步：创建数据事件探查任务第二步：查看数据创建数据事件探查任务将探查结果放在test.xml中配置探查内容创建数据事件探查任务将探查结果放在test.xml中配置探查查看数据事件探查结果查看数据事件探查结果探查内容候选键列长度分布列Null比率列模式列统计信息列值分布函数依赖关系值包含探查内容候选键候选键候选键（CandidateKeyProfiles）配置文件可以帮助您识别哪些列中存在重复值。通过使用这个功能，可以判断表中的一列（或多列的组合）是不是适合做该表的主键。候选键候选键（CandidateKeyProfiles）配置列长度分布列长度分布(ColumnLengthDistribution)配置文件用于报告所选列中各个字符串值的不同长度。此配置文件可以帮助您识别数据中无效的值。例如，邮政编码的长度是固定的，如果发现有不是这个长度的数据，那么这个记录可能是错误的。列长度分布列长度分布(ColumnLengthDistr列Null比率列Null比率(ColumnNullRatio)配置文件用于报告所选列中

Null值的百分比。列Null比率列Null比率(ColumnNull列模式列模式(ColumnPattern)配置文件用于报告一组正则表达式，其中涵盖字符串列中指定百分比的值。此配置文件可以帮助您识别数据中无效的字符串列模式列模式(ColumnPattern)配置文件用于报告列统计信息列统计信息(ColumnStatistics)配置文件报告各种统计信息，例如数值列的最小值、最大值、平均值和标准偏差。此配置文件可以帮助您识别数据中存在的问题，如无效的日期。例如，您对历史日期列进行事件探查，却发现最近的日期是一个将来的日期。列统计信息列统计信息(ColumnStatistics)列值分布列值分布(ColumnValueDistribution)配置文件报告选定列中非重复值以及每个值所在表中的百分比。此配置文件还可以帮助您识别非重复值的数目不正确。例如，您对应该包含美国的各州的列进行事件探查，却发现

50多个非重复值列值分布列值分布(ColumnValueDistribu函数依赖关系函数依赖关系(FunctionalDependency)用于报告某列（依赖列）中的值对另一列或一组列（决定列）中的值的依赖程度。此配置文件也可以帮助您识别数据中存在的问题，如无效的值。函数依赖关系函数依赖关系(FunctionalDepend函数依赖关系例如，您对包含美国邮政编码的列和包含美国各州的列之间的依赖关系进行事件探查。同一邮政编码应始终对应同一州，但配置文件却发现有违反此依赖关系的情况。函数依赖关系例如，您对包含美国邮政编码的列和包含美国各州的列值包含值包含(ValueInclusion)用于计算两列或两个列集之间的重叠值。此配置文件还可以确定列或列集是否适合用作选定表间的外键。值包含值包含(ValueInclusion)用于计算两列或值包含如下例，对FactInternetSales表的

ProductKey列进行事件探查，却发现该列包含在产品表的

ProductKey列中找不到的值值包含如下例，对FactInternetSales表的Pr值包含使用命令来查询值包含使用命令来查询谢谢！谢谢！使用DataProfile进行数据剖析使用DataProfile进行数据剖析数据事件探查功能※熟悉数据源并找出数据中要修复的问题※仅对SQLServer中存储的数据进行事件探查并标识潜在的数据质量问题。数据事件探查功能※熟悉数据源并找出数据中要修复的问题数据事件探查步骤第一步：创建数据事件探查任务第二步：查看数据事件探查结果数据事件探查步骤第一步：创建数据事件探查任务第二步：查看数据创建数据事件探查任务将探查结果放在test.xml中配置探查内容创建数据事件探查任务将探查结果放在test.xml中配置探查查看数据事件探查结果查看数据事件探查结果探查内容候选键列长度分布列Null比率列模式列统计信息列值分布函数依赖关系值包含探查内容候选键候选键候选键（CandidateKeyProfiles）配置文件可以帮助您识别哪些列中存在重复值。通过使用这个功能，可以判断表中的一列（或多列的组合）是不是适合做该表的主键。候选键候选键（CandidateKeyProfiles）配置列长度分布列长度分布(ColumnLengthDistribution)配置文件用于报告所选列中各个字符串值的不同长度。此配置文件可以帮助您识别数据中无效的值。例如，邮政编码的长度是固定的，如果发现有不是这个长度的数据，那么这个记录可能是错误的。列长度分布列长度分布(ColumnLengthDistr列Null比率列Null比率(ColumnNullRatio)配置文件用于报告所选列中

Null值的百分比。列Null比率列Null比率(ColumnNull列模式列模式(ColumnPattern)配置文件用于报告一组正则表达式，其中涵盖字符串列中指定百分比的值。此配置文件可以帮助您识别数据中无效的字符串列模式列模式(ColumnPattern)配置文件用于报告列统计信息列统计信息(ColumnStatistics)配置文件报告各种统计信息，例如数值列的最小值、最大值、平均值和标准偏差。此配置文件可以帮助您识别数据中存在的问题，如无效的日期。例如，您对历史日期列进行事件探查，却发现最近的日期是一个将来的日期。列统计信息列统计信息(ColumnStatistics)列值分布列值分布(ColumnValueDistribution)配置文件报告选定列中非重复值以及每个值所在表中的百分比。此配置文件还可以帮助您识别非重复值的数目不正确。例如，您对应该包含美国的各州的列进行事件探查，却发现

50多个非重复值列值分布列值分布(ColumnValueDistribu函数依赖关系函数依赖关系(FunctionalDependency)用于报告某列（依赖列）中的值对另一列或一组列（决定列）中的值的依赖程度。此配置文件也可以帮助您识别数据中存在的问题，如无效的值。函数依赖关系函数依赖关系(FunctionalDepend函数依赖关系例如，您对包含美国邮政编码的列和包含美国各州的列之间的依赖关系进行事件探查。同一邮政编码应始终对应同一州，但配置文件却发现有违反此依赖关系的情况。函数依赖关系例如，您对包含美国邮政编码的列和包含美国各州的列值包含值包含(ValueInclusion)用于计算两列或两个列集之间的重叠值。此配置文件还可以确定列或列集是否适合用作选定表间的外键。值包含值包含(Value