在複製活動中設定 Azure SQL 資料庫
本文概述如何使用數據管線中的複製活動,從 Azure SQL 資料庫 複製數據。
支援的設定
如需複製活動下每個索引標籤的設定,請分別移至下列各節。
一般
請參閱一般設定指引,以設定 [一般設定] 索引卷標。
來源
在複製活動的 [來源] 索引標籤下,Azure SQL 資料庫 支援下列屬性。
需要下列屬性:
- 數據存放區類型:選取 [外部]。
- 連線:從聯機清單中選取 Azure SQL 資料庫 連線。 如果連線不存在,請選取 [新增],以建立新的 Azure SQL 資料庫 連線。
- 連線 ion 類型:選取 [Azure SQL 資料庫]。
- 數據表:從下拉式清單中選取資料庫中的數據表。 或勾選 [編輯 ] 以手動輸入您的數據表名稱。
- 預覽數據:選取 [預覽數據 ] 以預覽數據表中的數據。
在 [進階] 底下,您可以指定下列欄位:
使用查詢:您可以選擇 [數據表]、 [查詢] 或 [預存程式]。 下列清單描述每個設定的組態:
查詢逾時(分鐘):指定查詢命令執行的逾時,預設值為 120 分鐘。 如果為此屬性設定參數,允許的值會是時間範圍,例如 “02:00:00” (120 分鐘)。
隔離等級:指定 SQL 來源的交易鎖定行為。 允許的值為:None、ReadCommitted、ReadUncommitted、RepeatableRead、Serializable 或 Snapshot。 如果未指定, 則會使用 None 隔離等級。 如需詳細資訊, 請參閱 IsolationLevel 列舉 。
數據分割選項:指定用來從 Azure SQL 資料庫 載入資料的數據分割選項。 允許的值為: [無 ] (預設值)、 數據表的實體分割區,以及 [動態範圍]。 啟用分割區選項時(也就是非無),平行處理原則從 Azure SQL 資料庫 同時載入數據的程度是由複製活動上的平行複製設定所控制。
無:選擇此設定不要使用分割區。
數據表的實體分割區:當您使用實體分割區時,數據分割數據行和機制會根據您的實體數據表定義自動決定。
動態範圍:當您使用已啟用平行的查詢時,需要範圍分割參數(
?DfDynamicRangePartitionCondition
)。 範例查詢:SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition
。- 數據分割數據行名稱:指定範圍數據分割用於平行複製之整數或日期/日期時間類型的源數據行名稱(
int
、smallint
、smalldatetime
date
bigint
datetime
datetime2
或 )。datetimeoffset
如果未指定,則會自動偵測資料表的索引或主索引鍵作為分割資料行。 - 數據分割上限:指定分割區範圍分割的數據分割數據行最大值。 這個值用於決定分割區的跨距,而不是用於篩選資料表中的資料列。 數據表或查詢結果中的所有數據列都會進行分割和複製。
- 分割區下限:指定分割區範圍分割的數據分割數據行最小值。 這個值用於決定分割區的跨距,而不是用於篩選資料表中的資料列。 數據表或查詢結果中的所有數據列都會進行分割和複製。
- 數據分割數據行名稱:指定範圍數據分割用於平行複製之整數或日期/日期時間類型的源數據行名稱(
其他數據行:新增更多數據行來儲存來源檔案的相對路徑或靜態值。 後者支持表達式。 如需詳細資訊,請移至複製期間新增其他數據行。
Destination
在複製活動的 [目的地] 索引標籤下,Azure SQL 資料庫 支援下列屬性。
需要下列屬性:
- 數據存放區類型:選取 [外部]。
- 連線:從聯機清單中選取 Azure SQL 資料庫 連線。 如果連線不存在,請選取 [新增],以建立新的 Azure SQL 資料庫 連線。
- 連線 類型:選取 [Azure SQL 資料庫]。
- 數據表:從下拉式清單中選取資料庫中的數據表。 或勾選 [編輯 ] 以手動輸入您的數據表名稱。
- 預覽數據:選取 [預覽數據 ] 以預覽數據表中的數據。
在 [進階] 底下,您可以指定下列欄位:
寫入行為:當來源是檔案型數據存放區中的檔案時,定義寫入行為。 您可以選擇 [插入]、[Upsert] 或 [預存程式]。
插入:如果您的源數據有插入,請選擇此選項。
Upsert:如果您的源數據同時有插入和更新,請選擇此選項。
使用 TempDB:指定是否要使用全域臨時表或實體數據表作為 upsert 的臨時表。 根據預設,服務會使用全域臨時表做為臨時表,並選取此複選框。
選取使用者資料庫架構:如果未選取 [ 使用 TempDB ] 複選框,請在使用實體數據表時指定用來建立過渡數據表的過渡架構。
注意
您必須擁有建立和刪除資料表的許可權。 根據預設,過渡數據表會共用與目的地數據表相同的架構。
索引鍵數據行:指定唯一數據列識別的數據行名稱。 您可以使用單一索引鍵或一系列索引鍵。 如果未指定,則會使用主索引鍵。
預存程式:使用預存程式,定義如何將源數據套用至目標數據表。 此預存程序將會依批次叫用。
大量插入數據表鎖定:選擇 [是] 或 [否]。 使用此設定可改善在數據表上的大量插入作業期間,沒有來自多個用戶端之索引的複製效能。 如需詳細資訊,請移至 BULK INSERT (Transact-SQL)
數據表選項:指定如果數據表不存在以來源架構為基礎,是否要 自動建立目的地數據表 。 選擇 [無] 或 [自動建立數據表]。 當目的地指定預存程式時,不支援自動建立資料表。
預先複製文本:指定要在每次執行中將數據寫入目的地數據表之前,要執行的複製活動腳本。 您可以使用此屬性來清除預先載入的資料。
寫入批次逾時:指定批次插入作業在逾時之前完成的等候時間。允許的值是時間範圍。 默認值為 “00:30:00” (30 分鐘)。
寫入批次大小:指定要插入每個批次之 SQL 資料表的數據列數目。 允許的值為整數 (資料列數目)。 根據預設,服務會依據資料列大小動態決定適當的批次大小。
並行連線上限:指定活動執行期間,與數據存放區建立的並行連線上限。 僅在想要限制並行連線時,才需要指定值。
停用效能計量分析:此設定可用來收集計量,例如 DTU、DWU、RU 等,以複製效能優化和建議。 如果您擔心此行為,請選取此複選框。
對應
針對 [對應] 索引標籤業態,如果您未套用 Azure SQL 資料庫 自動建立資料表作為目的地,請移至 [對應]。
如果您使用自動建立數據表作為目的地套用 Azure SQL 資料庫,但 [對應] 中的設定除外,您可以編輯目的地數據行的類型。 選取 [ 匯入架構] 之後,您可以在目的地中指定數據行類型。
例如,來源中的ID資料行類型為int,而且當對應至目的地數據行時,您可以將它變更為 float 類型。
設定
如需 設定 索引標籤,請移至 [設定] 索引標籤底下的 [設定其他設定]。
從 Azure SQL 資料庫 平行複製
複製活動中 Azure SQL Database 連接器提供內建的資料分割,以平行複製資料。 您可以在複製活動的 [來源] 索引標籤上找到資料分割選項。
當您啟用分割複本時,複製活動會平行查詢 Azure SQL Database 來源,以依分割區來載入資料。 平行度是由複製活動設定索引標籤中的 [複製平行處理原則程度] 控制。例如,如果您將複製平行處理原則的程度設定為四個,服務會根據指定的分割區選項和設定,同時產生和執行四個查詢,而每個查詢都會從 Azure SQL 資料庫 擷取部分數據。
建議您啟用平行複製與資料分割,特別是從 Azure SQL Database 資料庫載入大量資料時。 以下針對各種情節的建議設定。 將資料複製到以檔案為基礎的資料存放區時,建議分成多個檔案來寫入資料夾 (僅指定資料夾名稱),這樣效能會比寫入單一檔案更好。
案例 | 建議的設定 |
---|---|
使用實體分割區從大型資料表完整載入。 | 分割選項:資料表的實體分割區。 在執行期間,服務會自動偵測實體分割區,並依分割區複製資料。 若要檢查您的資料表是否有實體分割區,您可以參考此查詢。 |
從大型資料表完整載入,不含實體分割區,同時在資料分割時包含整數或日期時間資料行。 | 分割選項:動態範圍分割。 分割資料行 (選用):指定用來分割資料的資料行。 如果未指定,則會使用索引或主索引鍵資料行。 分割區上限和分割區下限 (選用):指定是否要決定分割區跨距。 這不適用於篩選資料表中的資料列,資料表中的所有資料列都會分割並複製。 如果未指定,複製活動會自動偵測值。 例如,如果您的分割區資料行「識別碼」具有範圍 1 到 100 之間的值,而您將下限設定為 20、上限設定為 80,且平行複製為 4,則服務會分別依 4 個分割區擷取資料 - 範圍中的識別碼分別為 <=20、[21, 50]、[51, 80] 和 >=81。 |
使用自訂查詢載入大量資料,不使用實體分割區,同時包含整數或日期/日期時間資料行用於資料分割。 | 分割選項:動態範圍分割。 查詢: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 。分割資料行:指定用來分割資料的資料行。 分割區上限和分割區下限 (選用):指定是否要決定分割區跨距。 這不適用於篩選資料表中的資料列,查詢結果中的所有資料列都會分割並複製。 如果未指定,複製活動會自動偵測該值。 例如,如果您的分割區資料行「識別碼」具有範圍 1 到 100 之間的值,而您將下限設定為 20、上限設定為 80,且平行複製為 4,則服務會分別依 4 個分割區擷取資料 - 範圍中的識別碼分別為 <=20、[21, 50]、[51, 80] 和 >=81。 以下是不同案例的更多範例查詢: • 查詢整個資料表: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition • 從具有數據行選取範圍和其他 where 子句篩選的數據表查詢: SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> • 使用子查詢查詢: SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> • 在子查詢中使用分割區進行查詢: SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T |
使用分割區選項載入資料的最佳做法:
- 選擇獨特的資料行作為分割資料行 (例如主索引鍵或唯一索引鍵) 以避免資料扭曲。
- 如果數據表具有內建分割區,請使用數據表的實體分割區選項來取得更佳的效能。
用來檢查實體分割區的範例查詢
SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id
WHERE s.name='[your schema]' AND t.name = '[your table name]'
如果資料表具有實體分割區,您會看到 “HasPartition” 顯示為 “yes”,如下所示。
數據表摘要
下表包含 Azure SQL 資料庫 中複製活動的詳細資訊。
來源
名稱 | 描述: | 值 | 必要 | JSON 腳本屬性 |
---|---|---|---|---|
數據存放區類型 | 您的資料存放區類型。 | 外部 | Yes | / |
[連接] | 您與源資料存放區的連線。 | <您的連線> | Yes | connection |
連線類型 | 您的連線類型。 選取 [Azure SQL Database]。 | Azure SQL Database | Yes | / |
Table | 您的源數據表。 | <目的地數據表的名稱> | Yes | 模式 table |
使用查詢 | 要讀取數據的自定義 SQL 查詢。 | • 沒有 •查詢 • 預存程式 |
No | • sqlReaderQuery • sqlReaderStoredProcedureName, storedProcedureParameters |
查詢逾時 | 查詢命令執行的逾時,預設值為120分鐘。 | 時間範圍 | No | queryTimeout |
隔離等級 | 指定 SQL 來源的異動鎖定行為。 | • 沒有 • ReadCommitted • ReadUncommitted • RepeatableRead •序列 化 •快照 |
No | isolationLevel |
數據分割選項 | 用來從 Azure SQL 資料庫 載入資料的數據分割選項。 | • 沒有 • 資料表的實體分割區 • 動態範圍 |
No | partitionOption: • PhysicalPartitionsOfTable • DynamicRange |
其他數據行 | 新增更多數據行以儲存來源檔案的相對路徑或靜態值。 後者支持表達式。 | •名字 •價值 |
No | additionalColumns: •名字 •價值 |
Destination
名稱 | 描述: | 值 | 必要 | JSON 腳本屬性 |
---|---|---|---|---|
數據存放區類型 | 您的資料存放區類型。 | 外部 | Yes | / |
[連接] | 您與目的地資料存放區的連線。 | <您的連線 > | Yes | connection |
連線類型 | 您的連線類型。 選取 [Azure SQL Database]。 | Azure SQL Database | Yes | / |
Table | 您的目的地數據表。 | <目的地數據表的名稱> | Yes | 模式 table |
寫入行為 | 當來源是檔案型數據存放區中的檔案時,定義寫入行為。 | •插入 • Upsert • 預存程式 |
No | writeBehavior: •插入 • upsert • sqlWriterStoredProcedureName, sqlWriterTableType, storedProcedureParameters |
大量插入數據表鎖定 | 使用此設定可改善在數據表上的大量插入作業期間,沒有來自多個用戶端之索引的複製效能。 | 是或否 | No | sqlWriterUseTableLock: [True] 或 [False] |
數據表選項 | 指定是否在來源架構不存在時自動建立目的地數據表。 | • 沒有 • 自動建立數據表 |
No | tableOption: • autoCreate |
預先複製腳本 | 在每次執行中將數據寫入目的地數據表之前,要執行的複製活動腳本。 您可以使用此屬性來清除預先載入的資料。 | <預先複製腳本> (字串) |
No | preCopyScript |
寫入批次逾時 | 在逾時前等待批次插入作業完成的時間。允許的值為時間範圍。 默認值為 “00:30:00” (30 分鐘)。 | 時間範圍 | No | writeBatchTimeout |
寫入批次大小 | 每個批次要插入 SQL 資料表的數據列數目。 根據預設,服務會依據資料列大小動態決定適當的批次大小。 | <數據列數目> (整數) |
No | writeBatchSize |
並行連線上限 | 在活動執行期間建立至資料存放區的同時連線上限。 僅在想要限制並行連線時,才需要指定值。 | <並行連線的上限> (整數) |
No | maxConcurrentConnections |
停用效能計量分析 | 此設定可用來收集計量,例如 DTU、DWU、RU 等,以複製效能優化和建議。 如果您擔心此行為,請選取此複選框。 | 選取或取消選取 | No | disableMetricsCollection: [True] 或 [False] |
相關內容
意見反映
https://aka.ms/ContentUserFeedback。
即將推出:我們會在 2024 年淘汰 GitHub 問題,並以全新的意見反應系統取代並作為內容意見反應的渠道。 如需更多資訊,請參閱:提交及檢視以下的意見反映: