数据分析任务和查看器

适用于:SQL Server Azure 数据工厂中的 SSIS 集成运行时

数据事件探查任务在提取、转换和加载数据的过程中提供数据事件探查功能。 通过使用数据分析任务,您可以获得以下优势:

  • 更有效地分析源数据

  • 更好地了解源数据

  • 将数据引入数据仓库之前防止数据质量问题。

重要

数据剖析任务仅适用于存储在 SQL Server 中的数据。 它不适用于第三方或基于文件的数据源。

数据剖析概述

数据质量对所有业务都至关重要。 由于企业将分析和业务智能系统建立在他们的事务系统之上,因此关键绩效指标和数据挖掘预测的可靠性完全取决于所依据的数据的有效性。 不过,尽管数据的有效性对于业务决策越来越重要,但如何确保该数据有效也越来越具有挑战性。 因为,数据在源源不断地从各种系统和源以及大量用户处流入企业。

数据质量的度量难以定义,原因是度量特定于域或应用程序。 定义数据质量的一种常见方法是数据剖析。

数据概况是有关数据的一组汇总统计信息,其中可能包括以下内容:

  • Customer 表中的行数。

  • State 列中不同值的数量。

  • Zip 列中 null 值或缺失值的数目。

  • “City”列中的值分布。

  • State 列对 Zip 列的函数依赖强度,即对于指定的邮政编码值,省/市/自治区应始终是一样的。

数据配置文件提供的统计信息为您提供了所需信息,可以有效地最大限度降低使用源数据过程中可能出现的质量问题。

集成服务和数据分析

在 Integration Services 中,数据分析过程包括以下步骤:

步骤 1:设置数据剖析任务
数据事件探查任务是用于配置要计算的配置文件的任务。 然后运行包含数据剖析任务的包,以生成剖析结果。 该任务将配置文件输出以 XML 格式保存到文件或包变量。

有关详细信息,请参阅:设置数据剖析任务

步骤 2:查看数据分析任务计算生成的分析结果
若要查看数据分析任务计算出的数据配置文件,请先将输出发送到文件,然后使用数据配置文件查看器。 此查看器是一种独立的实用工具,可以通过可选的明细功能以摘要的格式和以详细信息的格式显示配置文件输出。

有关详细信息,请参阅数据配置文件查看器

在数据剖析工作流中添加条件逻辑

数据剖析任务没有内置功能可让您根据剖析输出结果使用条件逻辑将该任务连接到下游任务。 但是,您只要在脚本任务中进行少量的编程工作即可轻松地添加此逻辑。 例如,脚本任务可以针对数据剖析任务的输出文件执行 XPath 查询。 该查询可以确定在特定列中 null 值的百分比是否超过特定的阈值。 如果该百分比超过阈值,则应中断包并解决源数据中的问题,然后再继续执行。 有关详细信息,请参阅 将数据剖析任务合并到包工作流中