适用于:SQL Server
Azure 数据工厂中的 SSIS 集成运行时
数据剖析任务会计算各种剖析结果,帮助您熟悉数据源,并识别数据中需要修复的问题。
可以在 Integration Services 包中使用数据事件探查任务对 SQL Server 中存储的数据进行事件探查并标识潜在的数据质量问题。
注意
本主题仅介绍数据分析任务的功能和要求。 有关如何使用数据分析任务的分步说明,请参阅数据分析任务和查看器部分。
要求和限制
数据剖析任务仅适用于存储在 SQL Server 中的数据。 此任务不适用于第三方或基于文件的数据源。
此外,若要运行包含数据事件探查任务的包,必须使用对 tempdb 数据库具有读/写权限(包括 CREATE TABLE 权限)的帐户。
数据分析器查看器
在使用该任务计算了数据配置文件并将它们保存在文件中之后,可以使用独立的数据配置文件查看器来查看配置文件输出。 数据剖析查看器还支持下钻功能,帮助您了解在剖析输出结果中识别出的数据质量问题。 有关详细信息,请参阅 数据配置文件查看器。
可用的配置文件
数据剖析任务可以生成八种不同的数据剖析结果。 其中的 5 个配置文件分析单列,其余的 3 个则分析多列或列和表之间的关系。
以下五个分析结果分别针对单个列。
| 分析单个列的配置文件 | 说明 |
|---|---|
| 列长度分布概况 | 报告所选列中各个字符串值的不同长度,以及每个长度表示的行在表中的百分比。 此配置文件可以帮助您识别数据中存在的问题,如无效的值。 例如,你对一列美国各州代码进行分析,这些代码应为两个字符,但你发现其中有长度超过两个字符的值。 |
| 列空值比率概况 | 显示所选列中空值的百分比。 此分析概况可帮助您发现数据中的问题,例如某一列中的空值比例异常偏高。 例如,您对“邮政编码/邮编”列进行分析,结果发现其中缺失编码的比例高得令人无法接受。 |
| 列模式配置文件 | 报告一组正则表达式,其中涵盖字符串列中指定百分比的值。 此配置文件可以帮助您识别数据中存在的问题,如无效的字符串。 它还可以建议可用于以后验证新值的正则表达式。 例如,美国邮政编码列的模式配置文件可能会生成正则表达式:\d{5}-\d{4}、\d{5} 和 \d{9}。 如果看到其他正则表达式,则数据可能包含无效或格式不正确的值。 |
| 列统计信息配置文件 | 报告各种统计信息,例如数值列的最小值、最大值、平均值和标准偏差,以及 datetime 列的最小值和最大值。 此配置文件可以帮助您识别数据中存在的问题,如无效的日期。 例如,您对一列历史日期进行分析时,发现其中的最大日期竟然是未来日期。 |
| 列值分布概况 | 显示所选列中的所有不同值,以及表中每个值对应的行所占的百分比。 还可以报告一些表示该表中的行超过指定百分比的值。 此配置文件可以帮助您识别数据中存在的问题,例如列中非重复值的数目不正确。 例如,您对一个本应包含美国各州名称的列进行特征分析,却发现其中有50多个不同的值。 |
以下三种分析类型对多个列或列与表之间的关系进行分析。
| 分析多个列的配置文件 | 说明 |
|---|---|
| 候选键配置文件 | 报告某个列或列集是选定表的键还是近似键。 此配置文件还可以帮助您识别数据中存在的问题,如可能的键列中存在重复值。 |
| 函数依赖关系配置文件 | 报告某列(依赖列)中的值对另一列或一组列(决定列)中的值的依赖程度。 此概况还可帮助您识别数据中的问题,例如无效值。 例如,您可以分析包含美国邮政编码的列与包含美国各州的列之间的依赖关系。 同一邮政编码应始终对应同一州,但分析结果发现存在违反这一依赖关系的情况。 |
| 价值包容概况 | 计算两列或两个列集之间的重叠值。 此配置文件还可以确定列或列集是否适合用作选定表间的外键。 此配置文件也可以帮助您识别数据中存在的问题,如无效的值。 例如,您对 Sales 表中的 ProductID 列进行分析后发现,该列包含一些在 Products 表的 ProductID 列中找不到的值。 |
有效配置文件的必备条件
除非选择的表和列不为空并且这些列包含对该配置文件有效的数据类型,否则配置文件无效。
有效的数据类型
某些可用配置仅对特定数据类型有意义。 例如,对包含 numeric 或 datetime 值的列计算列模式配置文件是没有意义的。 因此,这样的配置文件无效。
| 个人资料 | 有效的数据类型* |
|---|---|
| ColumnStatisticsProfile | numeric 类型或 datetime 类型的列( datetime 列无 mean 和 stddev ) |
| ColumnNullRatioProfile | 所有列** |
| 列值分布概况 | integer 类型、 char 类型和 datetime 类型的列 |
| 列长度分布概要 | char 类型的列 |
| ColumnPatternProfile | char 类型的列 |
| CandidateKeyProfile | integer 类型、 char 类型和 datetime 类型的列 |
| FunctionalDependencyProfile | integer、char 和 datetime 类型的列 |
| InclusionProfile | integer 类型、 char 类型和 datetime 类型的列 |
* 在上述有效数据类型表中,integer、char、datetime 和 numeric 类型分别包括以下特定数据类型:
Integer 类型包括 bit、 tinyint、 smallint、 int和 bigint。
Character 类型包括 char、 nchar、 varchar和 nvarchar ,但不包括 varchar(max) 和 nvarchar(max)。
日期和时间类型包括 datetime、smalldatetime 和 timestamp。
Numeric 类型包括 integer 类型( bit除外)、 money、 smallmoney、 decimal、 float、 real和 numeric。
** image、text、XML、udt 和 variant 类型在“列空值比率配置文件”以外的其他配置文件中不被支持。
有效的表和列
如果表或列为空,数据分析将执行以下操作:
当所选表或视图为空时,数据事件探查任务不会计算任何配置文件。
当所选列中的所有值均为空值时,数据分析任务仅计算“列空值比率”分析结果。 此任务不计算类长度分布配置文件、列模式配置文件、列统计信息配置文件或列值分布配置文件。
数据剖析任务的功能
数据分析任务具有以下便捷的配置选项:
通配符列在配置配置文件请求时,该任务接受 (*) 通配符来代替列名。 这简化了配置并更易于发现不熟悉的数据的特征。 当任务运行时,会对所有具有适当数据类型的列进行特征分析。
快速配置 您可以选择快速配置来快速配置任务。 快速配置文件使用所有默认配置文件和默认设置对表或视图进行事件探查。
数据剖析任务中可用的自定义日志消息
下表列出了数据分析任务的自定义日志项。 有关详细信息,请参阅 Integration Services (SSIS) 日志记录。
| 日志条目 | 说明 |
|---|---|
| DataProfilingTaskTrace | 提供有关任务状态的说明性信息。 消息包含以下信息: 开始处理请求 查询开始 查询结束 完成计算请求 |
输出及其架构
数据事件探查任务将所选的配置文件输出到根据 DataProfile.xsd 架构进行组织的 XML。 可以指定是将此 XML 输出保存到文件还是保存到包变量。 可以在 https://schemas.microsoft.com/sqlserver/2008/DataDebugger/ 中在线查看此架构。 可以从网页上保存该架构的副本。 然后,可以在 Microsoft Visual Studio 或其他架构编辑器、在 XML 编辑器或在文本编辑器(如记事本)中查看该架构的本地副本。
此数据质量信息架构可能对以下操作有用:
在组织内和跨组织交换数据质量信息。
生成处理数据质量信息的自定义工具。
目标命名空间在架构中被标识为 https://schemas.microsoft.com/sqlserver/2008/DataDebugger/。
在包的条件工作流中的输出
数据探查组件不包含内置功能,无法根据“数据探查”任务的输出在 Integration Services 包的工作流中实现条件逻辑。 但是,您只要在脚本任务中进行少量的编程工作即可轻松地添加此逻辑。 此代码将对 XML 输出执行 XPath 查询,然后将结果保存在包变量中。 用于将脚本任务连接到后续任务的优先约束可以使用表达式来确定工作流。 例如,脚本任务检测某一列中 null 值超过阈值的百分比。 如果此条件为 true,则您可能需要中断程序包的执行,先解决该问题,然后再继续。
数据分析任务的配置
您可以使用 “数据分析任务编辑器” 来配置数据分析任务。 此编辑器有以下两页:
“常规”页
在“常规”页上,可指定输出文件或变量。 还可以选择 “快速配置文件” 对任务进行快速配置,以便使用默认的设置来计算配置文件。 有关详细信息,请参阅单个表快速配置文件窗体(数据事件探查任务)。
个人资料请求页面
在“配置文件请求”页上,可指定数据源,选择要计算的数据配置文件并对其进行配置。 有关可以配置的各种配置文件的详细信息,请参阅以下主题: