適用於:SQL Server
Azure Data Factory 中的 SSIS Integration Runtime
資料分析工作會計算各種設定檔,協助您熟悉資料來源並在資料中識別必須修復的問題。
您可以使用整合服務封裝中的資料分析工作,分析儲存在 SQL Server 中的資料並識別資料品質的潛在問題。
注意
本主題只會描述資料分析工作的功能和需求。 如需如何使用資料分析工作的逐步解說,請參閱 資料分析工作和檢視器一節。
需求和限制
資料分析工作僅用於儲存在 SQL Server 中的資料。 此工作不適用於協力廠商或以檔案為基礎的資料來源。
此外,要執行包含資料剖析任務的套件,你必須使用一個在 tempdb 資料庫上擁有讀寫權限(包括 CREATE TABLE 權限)的帳號。
資料剖析器檢視器
使用此工作計算資料設定檔並將結果儲存到檔案後,您可以使用獨立式「資料設定檔檢視器」來檢閱設定檔輸出結果。 「資料設定檔檢視器」也支援向下鑽研功能,協助您了解在設定檔輸出中識別的資料品質問題。 如需詳細資訊,請參閱 資料設定檔檢視器。
重要
輸出檔可能包含您資料庫的相關敏感性資料,以及資料庫所包含的資料。 如需如何讓這個檔案更安全的相關建議,請參閱 對封裝使用之檔案的存取權。
資料設定檔檢視器所提供的向下鑽研功能會傳送即時查詢給原始資料來源。
可用的設定檔
資料剖析工作可計算八種不同的資料剖析。 其中五種設定檔會分析個別的資料行,而剩餘的三種則會分析多個資料行或資料行和資料表之間的關聯性。
以下五項設定用於分析個別資料行。
| 分析個別資料行的設定檔 | 描述 |
|---|---|
| 資料行長度分布概況 | 報告選取之資料行中所有不同的字串值長度,以及該資料表中每個長度所代表之資料列的百分比。 這個設定檔可協助您識別資料中的問題,例如無效的值。 例如,您分析一個應為兩個字元的美國各州代碼資料行,並發現其中有些值的長度超過兩個字元。 |
| 資料行空值比例設定 | 報告選取之資料行中 Null 值的百分比。 此設定檔可協助您找出資料中的問題,例如某個資料行中的空值比例異常偏高。 舉例來說,您分析了「郵遞區號」資料行並發現遺漏郵遞區號的百分比過高。 |
| 資料行模式設定檔 | 列出一組可涵蓋字串資料行中指定百分比值的正規表示式。 此設定檔可協助您識別資料中的問題,例如無效的字串。 這個設定檔也可以建議供日後驗證新值使用的正規表示式。 舉例來說,「美國郵遞區號」資料行的模式剖析可能會產生下列規則運算式:\d{5}-\d{4}、\d{5} 和 \d{9}。 如果您看到其他正則表達式,則您的資料可能包含無效值,或格式不正確的值。 |
| 資料行統計設定檔 | 報告數值資料行的最小值、最大值、平均和標準差,以及 datetime 資料行的最小值和最大值等統計資料。 這個設定檔可協助您識別資料中的問題,例如無效的日期。 例如,您分析包含歷史日期的資料行,並發現最大日期是在未來。 |
| 資料行值分佈概況 | 報告選取之資料行中的所有相異值,以及該資料表中每個值所代表之資料列的百分比。 也可以回報在資料表中所占資料列比例超過指定百分比的值。 這個設定檔可協助您識別資料中的問題,例如某個資料行中相異值的數目不正確。 例如,當您剖析一個應該包含美國各州的資料行時,結果發現其中有超過 50 個相異值。 |
下列三個設定檔會分析多個資料行,或分析資料行與資料表之間的關聯。
| 可分析多個資料行的設定檔 | 描述 |
|---|---|
| 候選鍵設定檔 | 指出某個資料行或一組資料行是否為所選資料表的索引鍵或近似索引鍵。 此設定檔也可協助您找出資料中的問題,例如可能作為索引鍵的資料行中有重複的值。 |
| 功能相依性設定檔 | 報告某個資料行 (相依資料行) 中的值相依於另一個資料行或資料行集合 (行列式資料行) 中之值的程度。 這個設定檔也可協助您識別資料中的問題,例如無效的值。 舉例來說,您分析了包含「美國郵遞區號」之資料行與「美國州名」之資料行之間的相依性。 相同的郵遞區號應始終對應相同的州,但分析設定檔發現此相依關係有違反情形。 |
| 值納入設定檔 | 計算兩個資料行或資料行集合之間值的重疊。 這個設定檔可以判斷某個資料行或一組資料行是否適合作為所選資料表之間的外來鍵。 這個設定檔也可協助您辨識資料中的問題,例如無效的值。 舉例來說,您分析了 Sales 資料表的 ProductID 資料行,並發現此資料行包含在 Products 資料表之 ProductID 資料行中找不到的值。 |
有效設定檔的必要條件
除非您選取非空的資料表和資料行,且這些資料行包含適用於該設定檔的資料類型,否則該設定檔無效。
有效的資料類型
有些可用的設定檔僅對某些資料類型有意義。 例如,對包含數值或 datetime 值的資料行計算資料行模式剖析結果,並無意義。 因此,這種設定檔無效。
| 個人資料 | 有效的資料類型* |
|---|---|
| 資料欄統計資料設定檔 | 數值類型或 datetime 類型的資料行(datetime 資料行不提供 mean 和 stddev) |
| 欄位空值比例設定檔 | 所有資料行** |
| 欄位值分佈設定檔 | integer 類型、 char 類型和 datetime 類型的資料行 |
| 欄位長度分佈設定檔 | char 類型的資料行 |
| 資料行模式設定檔 | char 類型的資料行 |
| CandidateKeyProfile | integer 類型、 char 類型和 datetime 類型的資料行 |
| 功能相依性設定檔 | integer 類型、 char 類型和 datetime 類型的資料行 |
| InclusionProfile | integer 類型、 char 類型和 datetime 類型的資料行 |
在有效資料類型的上一個資料表中,integer、char、datetime 及 numeric 類型包括下列特定的資料類型:
整數類型包括 bit、 tinyint、 smallint、 int和 bigint。
字元類型包括 char、 nchar、 varchar及 nvarchar ,但不包括 varchar(max) 和 nvarchar(max)。
日期和時間類型包括 datetime、 smalldatetime和 timestamp。
數值類型包括 integer 類型 ( bit除外)、 money、 smallmoney、 decimal、 float、 real與 numeric。
** 除了image、text、XML、udt 及 variant 類型外,資料行 Null 比例設定檔以外的其他設定檔皆不支援這些類型。
有效的資料表和資料行
如果資料表或資料行為空,資料剖析會採取下列動作:
當所選的資料表或檢視是空的時,資料剖析工作不會計算任何剖析。
當選取之資料行中的所有值為 Null 時,資料分析工作僅會計算資料行 Null 比例設定檔。 此工作不會計算資料行長度散發設定檔、資料行模式設定檔、資料行統計資料設定檔或資料行值散發設定檔。
資料剖析任務的功能
資料分析工作具有下列便利的組態選項:
萬用字元資料欄 當您設定設定檔要求時,此工作接受以 (*) 萬用字元取代資料欄名稱。 這會簡化組態,而且更容易發現不熟悉之資料的特性。 當工作執行時,該工作會分析具有適當資料類型的每個資料行。
快速設定檔 您可以選取「快速設定檔」以快速設定此任務。 [快速分析] 會使用所有預設的設定檔和預設值,分析資料表或檢視表。
資料剖析任務中可用的自訂記錄信息
下表列出資料分析工作的自訂記錄項目。 如需更多資訊,請參閱 Integration Services (SSIS) 記錄功能。
| 記錄項目 | 描述 |
|---|---|
| DataProfilingTaskTrace | 提供有關此工作之狀態的描述性資訊。 訊息包括下列資訊: 開始處理要求 查詢開始 查詢結束 完成計算要求 |
輸出與其結構描述
資料剖析工作會將所選的設定檔輸出為符合 DataProfile.xsd 結構描述的 XML。 您可以指定此 XML 輸出要以檔案或封裝變數儲存。 您可以在 https://schemas.microsoft.com/sqlserver/2008/DataDebugger/ 線上檢視此結構描述。 您可以從該網頁儲存一份結構描述的本機副本。 然後,您可以在 Microsoft Visual Studio 或其他結構描述編輯器、XML 編輯器,或「記事本」之類的文字編輯器中檢視結構描述的本機複本。
此資料品質資訊的結構描述對於下列事項可能很實用:
在組織內部與跨組織交換資料品質資訊。
建立可搭配資料品質資訊運作的自訂工具。
在結構描述中,將目標命名空間識別為 https://schemas.microsoft.com/sqlserver/2008/DataDebugger/。
套件條件式工作流程中的輸出
資料分析元件不包含內建功能,無法根據資料分析工作的輸出,在整合服務封裝的工作流程中實作條件式邏輯。 不過,您可以利用最少量的程式設計,在指令碼工作中輕鬆加入這個邏輯。 此程式碼會根據 XML 輸出執行 XPath 查詢,然後以封裝變數儲存結果。 將指令碼工作連接到後續工作的優先順序條件約束可以使用運算式來判斷工作流程。 例如,指令碼工作會偵測到 Null 值在資料行中的百分比超出特定的臨界值。 此條件為 true 時,您可能想要先中斷封裝並解決問題,然後再繼續。
資料剖析工作的設定
您可以使用 [資料分析工作編輯器]來設定資料分析工作。 此編輯器有兩個頁面:
一般頁面
在 [一般] 頁面上,您可以指定輸出檔案或變數。 您也可以選取快速設定檔,使用預設設定快速配置工作,以計算設定檔。 如需詳細資訊,請參閱單一資料表快速分析表單 (資料分析工作)。
個人資料請求頁面
在 [設定檔要求] 頁面上,您可以指定資料來源,然後選取並設定您要計算的資料設定檔。 如需有關您可以設定之各種設定檔的詳細資訊,請參閱下列主題: