共用方式為

在複製活動中設定 Azure SQL 資料庫

  • 發行項

本文概述如何使用數據管線中的複製活動，從 Azure SQL 資料庫 複製數據。

支援的設定

如需複製活動下每個索引標籤的設定，請分別移至下列各節。

一般

請參閱一般設定指引，以設定 [一般設定] 索引卷標。

來源

在複製活動的 [來源] 索引標籤下，Azure SQL 資料庫 支援下列屬性。

顯示來源索引標籤和屬性清單的螢幕快照。

需要下列屬性：

  • 數據存放區類型：選取 [外部]。
  • 連線：從聯機清單中選取 Azure SQL 資料庫 連線。 如果連線不存在，請選取 [新增]，以建立新的 Azure SQL 資料庫 連線。
  • 連線 ion 類型：選取 [Azure SQL 資料庫]。
  • 數據表：從下拉式清單中選取資料庫中的數據表。 或勾選 [編輯 ] 以手動輸入您的數據表名稱。
  • 預覽數據：選取 [預覽數據 ] 以預覽數據表中的數據。

在 [進階] 底下，您可以指定下列欄位：

  • 使用查詢：您可以選擇 [數據表]、 [查詢] 或 [預存程式]。 下列清單描述每個設定的組態：

    • 數據表：如果您選取此按鈕，請從您在 Table 中指定的資料表讀取數據。

    • 查詢：指定要讀取數據的自定義 SQL 查詢。 例如 select * from MyTable。 或選取鉛筆圖示以在程式碼編輯器中編輯。

      顯示選擇查詢的螢幕快照。

    • 預存程式：使用從源數據表讀取數據的預存程式。 最後一個 SQL 陳述式必須是預存程序中的 SELECT 陳述式。

      • 預存程式名稱：選取預存程式，或在核 取 [編輯 ] 方塊以從源數據表讀取數據時手動指定預存程序名稱。

      • 預存程序參數：指定預存程序參數的值。 允許的值為名稱或值組。 參數的名稱和大小寫必須符合預存程序參數的名稱和大小寫。

        顯示預存程式設定的螢幕快照。

  • 查詢逾時（分鐘）：指定查詢命令執行的逾時，預設值為 120 分鐘。 如果為此屬性設定參數，允許的值會是時間範圍，例如 “02：00：00” （120 分鐘）。

    顯示查詢逾時設定的螢幕快照。

  • 隔離等級：指定 SQL 來源的交易鎖定行為。 允許的值為：None、ReadCommitted、ReadUncommitted、RepeatableRead、Serializable 或 Snapshot。 如果未指定， 則會使用 None 隔離等級。 如需詳細資訊， 請參閱 IsolationLevel 列舉 。

    顯示隔離等級設定的螢幕快照。

  • 數據分割選項：指定用來從 Azure SQL 資料庫 載入資料的數據分割選項。 允許的值為： [無 ] （預設值）、 數據表的實體分割區，以及 [動態範圍]。 啟用分割區選項時（也就是非無），平行處理原則從 Azure SQL 資料庫 同時載入數據的程度是由複製活動上的平行複製設定所控制。

    顯示 [資料分割] 選項設定的螢幕快照。

    • 無：選擇此設定不要使用分割區。

    • 數據表的實體分割區：當您使用實體分割區時，數據分割數據行和機制會根據您的實體數據表定義自動決定。

    • 動態範圍：當您使用已啟用平行的查詢時，需要範圍分割參數（?DfDynamicRangePartitionCondition）。 範例查詢： SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition。

      • 數據分割數據行名稱：指定範圍數據分割用於平行複製之整數或日期/日期時間類型的源數據行名稱（int、smallint、 smalldatetimedatebigintdatetimedatetime2或 ）。datetimeoffset 如果未指定，則會自動偵測資料表的索引或主索引鍵作為分割資料行。
      • 數據分割上限：指定分割區範圍分割的數據分割數據行最大值。 這個值用於決定分割區的跨距，而不是用於篩選資料表中的資料列。 數據表或查詢結果中的所有數據列都會進行分割和複製。
      • 分割區下限：指定分割區範圍分割的數據分割數據行最小值。 這個值用於決定分割區的跨距，而不是用於篩選資料表中的資料列。 數據表或查詢結果中的所有數據列都會進行分割和複製。

  • 其他數據行：新增更多數據行來儲存來源檔案的相對路徑或靜態值。 後者支持表達式。 如需詳細資訊，請移至複製期間新增其他數據行。

Destination

在複製活動的 [目的地] 索引標籤下，Azure SQL 資料庫 支援下列屬性。

顯示 [目的地] 索引標籤的螢幕快照。

需要下列屬性：

  • 數據存放區類型：選取 [外部]。
  • 連線：從聯機清單中選取 Azure SQL 資料庫 連線。 如果連線不存在，請選取 [新增]，以建立新的 Azure SQL 資料庫 連線。
  • 連線 類型：選取 [Azure SQL 資料庫]。
  • 數據表：從下拉式清單中選取資料庫中的數據表。 或勾選 [編輯 ] 以手動輸入您的數據表名稱。
  • 預覽數據：選取 [預覽數據 ] 以預覽數據表中的數據。

在 [進階] 底下，您可以指定下列欄位：

  • 寫入行為：當來源是檔案型數據存放區中的檔案時，定義寫入行為。 您可以選擇 [插入]、[Upsert] 或 [預存程式]。

    寫入行為索引標籤的螢幕快照。

    • 插入：如果您的源數據有插入，請選擇此選項。

    • Upsert：如果您的源數據同時有插入和更新，請選擇此選項。

      • 使用 TempDB：指定是否要使用全域臨時表或實體數據表作為 upsert 的臨時表。 根據預設，服務會使用全域臨時表做為臨時表，並選取此複選框。

        顯示選取 [使用 TempDB] 的螢幕快照。

      • 選取使用者資料庫架構：如果未選取 [ 使用 TempDB ] 複選框，請在使用實體數據表時指定用來建立過渡數據表的過渡架構。

        注意

        您必須擁有建立和刪除資料表的許可權。 根據預設，過渡數據表會共用與目的地數據表相同的架構。

        顯示未選取 [使用 TempDB] 的螢幕快照。

      • 索引鍵數據行：指定唯一數據列識別的數據行名稱。 您可以使用單一索引鍵或一系列索引鍵。 如果未指定，則會使用主索引鍵。

    • 預存程式：使用預存程式，定義如何將源數據套用至目標數據表。 此預存程序將會依批次叫用。

      • 預存程式名稱：選取預存程式，或在核 取 [編輯 ] 方塊以從源數據表讀取數據時手動指定預存程序名稱。

      • 預存程序參數：指定預存程序參數的值。 允許的值為名稱或值組。 參數的名稱和大小寫必須符合預存程序參數的名稱和大小寫。

        顯示預存程式設定的螢幕快照。

  • 大量插入數據表鎖定：選擇 [是] 或 [否]。 使用此設定可改善在數據表上的大量插入作業期間，沒有來自多個用戶端之索引的複製效能。 如需詳細資訊，請移至 BULK INSERT （Transact-SQL）

  • 數據表選項：指定如果數據表不存在以來源架構為基礎，是否要 自動建立目的地數據表 。 選擇 [無] 或 [自動建立數據表]。 當目的地指定預存程式時，不支援自動建立資料表。

  • 預先複製文本：指定要在每次執行中將數據寫入目的地數據表之前，要執行的複製活動腳本。 您可以使用此屬性來清除預先載入的資料。

  • 寫入批次逾時：指定批次插入作業在逾時之前完成的等候時間。允許的值是時間範圍。 默認值為 “00：30：00” （30 分鐘）。

  • 寫入批次大小：指定要插入每個批次之 SQL 資料表的數據列數目。 允許的值為整數 (資料列數目)。 根據預設，服務會依據資料列大小動態決定適當的批次大小。

  • 並行連線上限：指定活動執行期間，與數據存放區建立的並行連線上限。 僅在想要限制並行連線時，才需要指定值。

  • 停用效能計量分析：此設定可用來收集計量，例如 DTU、DWU、RU 等，以複製效能優化和建議。 如果您擔心此行為，請選取此複選框。

對應

針對 [對應] 索引標籤業態，如果您未套用 Azure SQL 資料庫 自動建立資料表作為目的地，請移至 [對應]。

如果您使用自動建立數據表作為目的地套用 Azure SQL 資料庫，但 [對應] 中的設定除外，您可以編輯目的地數據行的類型。 選取 [ 匯入架構] 之後，您可以在目的地中指定數據行類型。

例如，來源中的ID資料行類型為int，而且當對應至目的地數據行時，您可以將它變更為 float 類型。

對應目的地數據行類型的螢幕快照。

設定

如需 設定 索引標籤，請移至 [設定] 索引標籤底下的 [設定其他設定]。

從 Azure SQL 資料庫 平行複製

複製活動中 Azure SQL Database 連接器提供內建的資料分割，以平行複製資料。 您可以在複製活動的 [來源] 索引標籤上找到資料分割選項。

當您啟用分割複本時，複製活動會平行查詢 Azure SQL Database 來源，以依分割區來載入資料。 平行度是由複製活動設定索引標籤中的 [複製平行處理原則程度] 控制。例如，如果您將複製平行處理原則的程度設定為四個，服務會根據指定的分割區選項和設定，同時產生和執行四個查詢，而每個查詢都會從 Azure SQL 資料庫 擷取部分數據。

建議您啟用平行複製與資料分割，特別是從 Azure SQL Database 資料庫載入大量資料時。 以下針對各種情節的建議設定。 將資料複製到以檔案為基礎的資料存放區時，建議分成多個檔案來寫入資料夾 (僅指定資料夾名稱)，這樣效能會比寫入單一檔案更好。

案例 建議的設定
使用實體分割區從大型資料表完整載入。 分割選項：資料表的實體分割區。

在執行期間，服務會自動偵測實體分割區，並依分割區複製資料。

若要檢查您的資料表是否有實體分割區，您可以參考此查詢。
從大型資料表完整載入，不含實體分割區，同時在資料分割時包含整數或日期時間資料行。 分割選項：動態範圍分割。
分割資料行 (選用)：指定用來分割資料的資料行。 如果未指定，則會使用索引或主索引鍵資料行。
分割區上限和分割區下限 (選用)：指定是否要決定分割區跨距。 這不適用於篩選資料表中的資料列，資料表中的所有資料列都會分割並複製。 如果未指定，複製活動會自動偵測值。

例如，如果您的分割區資料行「識別碼」具有範圍 1 到 100 之間的值，而您將下限設定為 20、上限設定為 80，且平行複製為 4，則服務會分別依 4 個分割區擷取資料 - 範圍中的識別碼分別為 <=20、[21, 50]、[51, 80] 和 >=81。
使用自訂查詢載入大量資料，不使用實體分割區，同時包含整數或日期/日期時間資料行用於資料分割。 分割選項：動態範圍分割。
查詢：SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>。
分割資料行：指定用來分割資料的資料行。
分割區上限和分割區下限 (選用)：指定是否要決定分割區跨距。 這不適用於篩選資料表中的資料列，查詢結果中的所有資料列都會分割並複製。 如果未指定，複製活動會自動偵測該值。

例如，如果您的分割區資料行「識別碼」具有範圍 1 到 100 之間的值，而您將下限設定為 20、上限設定為 80，且平行複製為 4，則服務會分別依 4 個分割區擷取資料 - 範圍中的識別碼分別為 <=20、[21, 50]、[51, 80] 和 >=81。

以下是不同案例的更多範例查詢：
• 查詢整個資料表：
SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition
• 從具有數據行選取範圍和其他 where 子句篩選的數據表查詢：
SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
• 使用子查詢查詢：
SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
• 在子查詢中使用分割區進行查詢：
SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T

使用分割區選項載入資料的最佳做法：

  • 選擇獨特的資料行作為分割資料行 (例如主索引鍵或唯一索引鍵) 以避免資料扭曲。
  • 如果數據表具有內建分割區，請使用數據表的實體分割區選項來取得更佳的效能。

用來檢查實體分割區的範例查詢

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

如果資料表具有實體分割區，您會看到 “HasPartition” 顯示為 “yes”，如下所示。

Sql 查詢結果。

數據表摘要

下表包含 Azure SQL 資料庫 中複製活動的詳細資訊。

來源

名稱 描述: 值 必要 JSON 腳本屬性
數據存放區類型 您的資料存放區類型。 外部 Yes /
[連接] 您與源資料存放區的連線。 <您的連線> Yes connection
連線類型 您的連線類型。 選取 [Azure SQL Database]。 Azure SQL Database Yes /
Table 您的源數據表。 <目的地數據表的名稱> Yes 模式
table
使用查詢 要讀取數據的自定義 SQL 查詢。 • 沒有
•查詢
• 預存程式		 No

• sqlReaderQuery
• sqlReaderStoredProcedureName， storedProcedureParameters
查詢逾時 查詢命令執行的逾時，預設值為120分鐘。 時間範圍 No queryTimeout
隔離等級 指定 SQL 來源的異動鎖定行為。 • 沒有
• ReadCommitted
• ReadUncommitted
• RepeatableRead
•序列 化
•快照		 No isolationLevel
數據分割選項 用來從 Azure SQL 資料庫 載入資料的數據分割選項。 • 沒有
• 資料表的實體分割區
• 動態範圍		 No partitionOption：
• PhysicalPartitionsOfTable
• DynamicRange
其他數據行 新增更多數據行以儲存來源檔案的相對路徑或靜態值。 後者支持表達式。 •名字
•價值		 No additionalColumns：
•名字
•價值

Destination

名稱 描述: 值 必要 JSON 腳本屬性
數據存放區類型 您的資料存放區類型。 外部 Yes /
[連接] 您與目的地資料存放區的連線。 <您的連線 > Yes connection
連線類型 您的連線類型。 選取 [Azure SQL Database]。 Azure SQL Database Yes /
Table 您的目的地數據表。 <目的地數據表的名稱> Yes 模式
table
寫入行為 當來源是檔案型數據存放區中的檔案時，定義寫入行為。 •插入
• Upsert
• 預存程式		 No writeBehavior：
•插入
• upsert
• sqlWriterStoredProcedureName， sqlWriterTableType， storedProcedureParameters
大量插入數據表鎖定 使用此設定可改善在數據表上的大量插入作業期間，沒有來自多個用戶端之索引的複製效能。 是或否 No sqlWriterUseTableLock：
[True] 或 [False]
數據表選項 指定是否在來源架構不存在時自動建立目的地數據表。 • 沒有
• 自動建立數據表		 No tableOption：
• autoCreate
預先複製腳本 在每次執行中將數據寫入目的地數據表之前，要執行的複製活動腳本。 您可以使用此屬性來清除預先載入的資料。 <預先複製腳本>
（字串）		 No preCopyScript
寫入批次逾時 在逾時前等待批次插入作業完成的時間。允許的值為時間範圍。 默認值為 “00：30：00” （30 分鐘）。 時間範圍 No writeBatchTimeout
寫入批次大小 每個批次要插入 SQL 資料表的數據列數目。 根據預設，服務會依據資料列大小動態決定適當的批次大小。 <數據列數目>
（整數）		 No writeBatchSize
並行連線上限 在活動執行期間建立至資料存放區的同時連線上限。 僅在想要限制並行連線時，才需要指定值。 <並行連線的上限>
（整數）		 No maxConcurrentConnections
停用效能計量分析 此設定可用來收集計量，例如 DTU、DWU、RU 等，以複製效能優化和建議。 如果您擔心此行為，請選取此複選框。 選取或取消選取 No disableMetricsCollection：
[True] 或 [False]

相關內容