数据事件探查任务

项目
05/08/2013

数据事件探查任务计算的各种配置文件可帮助您熟悉数据源并找出数据中要修复的问题。

可以在 Integration Services 包中使用数据事件探查任务对 SQL Server 中存储的数据进行事件探查并标识潜在的数据质量问题。

注意
本主题只介绍数据事件探查任务的功能和要求。有关如何使用数据事件探查任务的演练，请参阅数据事件探查任务和查看器一节。

要求和限制

数据事件探查任务仅适用于 SQL Server 中存储的数据。此任务不适用于第三方或基于文件的数据源。

而且，若要运行包含数据事件探查任务的包，必须使用对 tempdb 数据库具有读/写权限（包括 CREATE TABLE 权限）的帐户。

数据配置文件查看器

在使用该任务计算了数据配置文件并将它们保存在文件中之后，可以使用独立的数据配置文件查看器来查看配置文件输出。数据配置文件查看器还支持明细功能，以帮助您了解在配置文件输出中标识的数据质量问题。有关详细信息，请参阅数据配置文件查看器 (Data Profile Viewer)。

重要提示
输出文件可能包含有关数据库的敏感数据和数据库所包含的数据。有关如何使此文件更加安全的建议，请参阅对包使用的文件的访问。数据配置文件查看器中提供的明细功能会将实时查询发送到原始数据源。

输出文件可能包含有关数据库的敏感数据和数据库所包含的数据。有关如何使此文件更加安全的建议，请参阅对包使用的文件的访问。

数据配置文件查看器中提供的明细功能会将实时查询发送到原始数据源。

可用的配置文件

数据事件探查任务可以计算 8 个不同的数据配置文件。其中的 5 个配置文件分析单列，其余的 3 个则分析多列或列和表之间的关系。

以下五个配置文件分析单个列。

分析单个列的配置文件	说明
列长度分布配置文件	报告所选列中各个字符串值的不同长度，以及每个长度表示的行在表中的百分比。此配置文件可以帮助您识别数据中存在的问题，如无效的值。例如，美国州代码列应以两个字符来表示，但在对其进行事件探查时却发现有超过两个字符的值。
列 Null 比率配置文件	报告所选列中 Null 值的百分比。此配置文件可以帮助您识别数据中存在的问题，如列中 null 值的比率意外偏高。例如，您对邮政编码列进行事件探查，却发现缺失的邮政编码所占的比例超出允许的范围。
列模式配置文件	报告一组正则表达式，其中涵盖字符串列中指定百分比的值。此配置文件可以帮助您识别数据中存在的问题，如无效的字符串。它还可以建议可用于以后验证新值的正则表达式。例如，美国邮政编码列的模式配置文件可能会生成正则表达式 \d{5}-\d{4}、\d{5} 和 \d{9}。如果看到其他正则表达式，则数据可能包含无效或格式不正确的值。
列统计信息配置文件	报告各种统计信息，例如数值列的最小值、最大值、平均值和标准偏差，以及 datetime 列的最小值和最大值。此配置文件可以帮助您识别数据中存在的问题，如无效的日期。例如，您对历史日期列进行事件探查，却发现最近的日期是一个将来的日期。
列值分布配置文件	报告选定列中所有的非重复值以及每个值所表示的行在表中的百分比。还可以报告一些表示该表中的行超过指定百分比的值。此配置文件可以帮助您识别数据中存在的问题，例如列中非重复值的数目不正确。例如，您对应该包含美国的各州的列进行事件探查，却发现 50 多个非重复值。

以下三个配置文件分析多个列或列与表之间的关系。

分析多个列的配置文件	说明
候选键配置文件	报告某个列或列集是选定表的键还是近似键。此配置文件还可以帮助您识别数据中存在的问题，如可能的键列中存在重复值。
函数依赖关系配置文件	报告某列（依赖列）中的值对另一列或一组列（决定列）中的值的依赖程度。此配置文件也可以帮助您识别数据中存在的问题，如无效的值。例如，您对包含美国邮政编码的列和包含美国各州的列之间的依赖关系进行事件探查。同一邮政编码应始终对应同一州，但配置文件却发现有违反此依赖关系的情况。
值包含配置文件	计算两列或两个列集之间的重叠值。此配置文件还可以确定列或列集是否适合用作选定表间的外键。此配置文件也可以帮助您识别数据中存在的问题，如无效的值。例如，您对某个 Sales 表的 ProductID 列进行事件探查，却发现该列包含在产品表的 ProductID 列中找不到的值。

候选键配置文件

报告某个列或列集是选定表的键还是近似键。

此配置文件还可以帮助您识别数据中存在的问题，如可能的键列中存在重复值。

函数依赖关系配置文件

报告某列（依赖列）中的值对另一列或一组列（决定列）中的值的依赖程度。

此配置文件也可以帮助您识别数据中存在的问题，如无效的值。例如，您对包含美国邮政编码的列和包含美国各州的列之间的依赖关系进行事件探查。同一邮政编码应始终对应同一州，但配置文件却发现有违反此依赖关系的情况。

值包含配置文件

计算两列或两个列集之间的重叠值。此配置文件还可以确定列或列集是否适合用作选定表间的外键。

此配置文件也可以帮助您识别数据中存在的问题，如无效的值。例如，您对某个 Sales 表的 ProductID 列进行事件探查，却发现该列包含在产品表的 ProductID 列中找不到的值。

有效配置文件的必备条件

除非选择的表和列不为空并且这些列包含对该配置文件有效的数据类型，否则配置文件无效。

有效的数据类型

某些可用的配置文件仅对于特定的数据类型有效。例如，对包含 numeric 或 datetime 值的列计算列模式配置文件是没有意义的。因此，这样的配置文件无效。

配置文件	有效的数据类型*
列统计信息配置文件	numeric 类型或 datetime 类型的列（datetime 列无 mean 和 stddev）
列 Null 比率配置文件	所有列**
列值分布配置文件	integer 类型、char 类型和 datetime 类型的列
列长度分布配置文件	char 类型的列
列模式配置文件	char 类型的列
候选键配置文件	integer 类型、char 类型和 datetime 类型的列
函数依赖关系配置文件	integer 类型、char 类型和 datetime 类型的列
包含配置文件	integer 类型、char 类型和 datetime 类型的列

* 在上述有效的数据类型表中，integer、char、datetime 和 numeric 类型分别包括以下特定的数据类型：

Integer 类型包括 bit、tinyint、smallint、int 和 bigint。

Character 类型包括 char、nchar、varchar 和 nvarchar,，但不包括 varchar(max) 和 nvarchar(max)。

Date 和 time 类型包括 datetime、smalldatetime 和 timestamp。

Numeric 类型包括 integer（bit 除外）、money、smallmoney、decimal、float、real 和 numeric。

** 除列 Null 比率配置文件以外，其他任何配置文件都不支持 image、text、XML、udt 和 variant 类型。

有效的表和列

如果表或列为空，则数据事件探查将执行以下操作：

当所选表或视图为空时，数据事件探查任务不会计算任何配置文件。
当所选列中的所有值为 null 值时，数据事件探查任务只计算列 Null 比率配置文件。此任务不计算类长度分布配置文件、列模式配置文件、列统计信息配置文件或列值分布配置文件。