使用控制資料表從資料庫進行大量複製

發行項
04/27/2024

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。了解如何免費開始新的試用！

若要從 Oracle 伺服器、Netezza、Teradata 或 SQL Server 中的資料倉儲將資料複製到 Azure Synapse Analytics 時，則必須從多個資料表載入大量資料。通常，資料必須在每個資料表中進行分割，如此即可從單一資料表使用多個執行緒平行載入資料列。本文描述要在這些案例中使用的範本。

注意

如果想要從資料量相對較小的少數資料表將資料複製到 Azure Synapse Analytics，則使用 Azure Data Factory 資料複製工具會更有效率。本文中所述範本其範圍遠超出該案例所需的內容。

關於此解決方案範本

此範本會擷取要從外部控制資料表複製的來源資料庫分割區清單。然後，此範本會逐一查看來源資料庫中的每個分割區，並將資料複製到目的地。

範本包含三個活動：

[查閱] 會從外部控制資料表中擷取確定資料庫分割區的清單。
[ForEach] 會從 [查閱] 活動取得分割區清單，並針對 [複製] 活動逐一查看每個分割區。
[複製] 會從來源資料庫存放區將每個分割區複製到目的地存放區。

範本會定義下列參數：

Control_Table_Name 是外部控制資料表，其用來儲存來源資料庫的分割區清單。
Control_Table_Schema_PartitionID 是外部控制資料表中的資料行名稱，其用來儲存每個分割區識別碼。請確定來源資料庫中每個分割區其分割區識別碼是唯一的。
Control_Table_Schema_SourceTableName 是外部控制資料表，其用來儲存來源資料庫中的每個資料表名稱。
Control_Table_Schema_FilterQuery 是外部控制資料表中的資料行名稱，用來儲存篩選查詢以取得來源資料庫中每個分割區的資料。例如，若您依年份來分割資料，則每個資料列中儲存的查詢可能類似於 ‘select * from datasource where LastModifytime >= ''2015-01-01 00:00:00'' and LastModifytime <= ''2015-12-31 23:59:59.999'''。
Data_Destination_Folder_Path 是將資料複製到目的地存放區的路徑 (適用於所選目的地是「檔案系統」或「Azure Data Lake Storage Gen1」時)。
Data_Destination_Container 是目的地存放區中資料複製目標的根資料夾路徑。
Data_Destination_Directory 是根目錄下將資料複製到目的地存放區的目錄路徑。

最後三個參數會定義目的地存放區的路徑，只有在您所選目的地是檔案型儲存體時，才會顯示這些參數。如果選擇「Azure Synapse Analytics」做為目的地存放區，則不需要這些參數。但是，Azure Synapse Analytics 中資料表名稱和結構描述必須與來源資料庫中的這些項目相同。

如何使用此解決方案範本

在 SQL Server 或 Azure SQL Database 中建立控制資料表，以儲存來源資料庫分割區清單進行大量複製。在下列範例中，來源資料庫中有五個分割區。三個分割區用於 datasource_table，兩個分割區則用於 project_table。資料行 LastModifytime 是用來分割來源資料庫中資料表 datasource_table 的資料。用來讀取第一個分割區的查詢是 'select * from datasource_table where LastModifytime >= ''2015-01-01 00:00:00'' and LastModifytime <= ''2015-12-31 23:59:59.999'''。您可使用類似查詢來讀取其他分割區的資料。

 		Create table ControlTableForTemplate
 		(
 		PartitionID int,
 		SourceTableName  varchar(255),
 		FilterQuery varchar(255)
 		);

 		INSERT INTO ControlTableForTemplate
 		(PartitionID, SourceTableName, FilterQuery)
 		VALUES
 		(1, 'datasource_table','select * from datasource_table where LastModifytime >= ''2015-01-01 00:00:00'' and LastModifytime <= ''2015-12-31 23:59:59.999'''),
 		(2, 'datasource_table','select * from datasource_table where LastModifytime >= ''2016-01-01 00:00:00'' and LastModifytime <= ''2016-12-31 23:59:59.999'''),
 		(3, 'datasource_table','select * from datasource_table where LastModifytime >= ''2017-01-01 00:00:00'' and LastModifytime <= ''2017-12-31 23:59:59.999'''),
 		(4, 'project_table','select * from project_table where ID >= 0 and ID < 1000'),
 		(5, 'project_table','select * from project_table where ID >= 1000 and ID < 2000');

移至 [從資料庫進行大量複製] 範本。建立與外部控制資料表 (在步驟 1 中所建立) 的新連線。
建立與來源資料庫 (資料複製來源) 的新連線。
建立與目的地資料存放區 (資料複製目標) 的新連線。
選取使用此範本。
您會看到管線，如下列範例所示：
選取 [偵錯]，輸入 [參數]，然後選取 [完成]。
您會看到類似下列範例的結果：
(選擇性) 如果選擇「Azure Synapse Analytics」做為資料目的地，則必須依照 Azure Synapse Analytics Polybase 的需求，輸入與 Azure Blob 儲存體的連線以進行暫存。此範本會自動為 Blob 儲存體產生容器路徑。檢查是否已在管線執行之後建立容器。

Azure Data Factory 簡介

使用控制資料表從資料庫進行大量複製

關於此解決方案範本

如何使用此解決方案範本

相關內容

其他資源