在複製活動中設定 Azure Data Lake 儲存體 Gen1

本文概述如何使用數據管線中的複製活動，從 Azure Data Lake 儲存體 Gen1 複製數據。

支援的格式

Azure Data Lake 儲存體 Gen1 支援下列檔格式。 如需以格式為基礎的設定，請參閱每個文章。

• Avro 格式
• 二進位格式
• 分隔文字格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

支援的組態

如需複製活動下每個索引標籤的設定，請分別移至下列各節。

• 一般
• 來源
• 目的地
• 映射
• 設定

一般

請參閱一般設定指引，以設定 [一般設定] 索引卷標。

來源

在複製活動的 [來源] 索引標籤下，Azure Data Lake 儲存體 Gen1 支援下列屬性。

需要下列屬性：

• 數據存放區類型：選取 [外部]。

• 連線：從聯機清單中選取 Azure Data Lake 儲存體 Gen1 連線。 如果沒有連線，請選取 [新增]，以建立新的 Azure Data Lake 儲存體 Gen1 連線。

• 連線 類型：選取 [Azure Data Lake 儲存體 Gen1]。

• 檔案路徑類型：您可以選擇 [檔案路徑]、[名稱範圍]、[通配符檔案路徑] 或 [檔案路徑清單] 作為檔案路徑類型。 這些設定的組態如下：

  • 檔案路徑：如果您選擇此類型，可以從指定的資料夾/檔案路徑複製資料。

  • 名稱範圍：依字母順序擷取具有特定值前後名稱的資料夾/檔案。 它利用ADLS Gen1的服務端篩選，可提供比通配符篩選更好的效能。 如需更多範例，請移至 名稱範圍篩選範例。

    • 資料夾路徑：源資料中資料夾的路徑。

    • 列出之後的清單：擷取名稱是依字母順序排列的值之後的資料夾/檔案（獨佔）。

    • 列出之前的清單：依字母順序擷取名稱在此值之前的資料夾/檔案（含）。

  • 通配符檔案路徑：使用通配符指定資料夾或檔案路徑，以篩選來源資料夾或檔案。

    允許的通配符為： * （比對零或多個字元）和 ? （符合零或單一字元）。 如果您的資料夾名稱內有通配符或這個逸出字元，請使用 ^ 來逸出 。 如需更多範例，請移至資料夾 和檔案篩選範例。

    

    通配符資料夾路徑：指定含有通配符的資料夾路徑，以篩選源資料夾。

    通配符檔名：在設定的資料夾/通配符資料夾路徑下指定檔名，以篩選原始程序檔。

  • 檔案清單：指出您想要複製指定的檔案集。 指定 [資料夾路徑] 和 [檔案路徑] 清單，以指向包含您要複製之檔案清單的文本檔，每行一個檔案一個檔案，也就是路徑的相對路徑。 如需更多範例，請移至檔案 清單範例。

    

    • 資料夾路徑：指定資料夾的路徑。 此為必要。

    • 檔案清單的路徑：指定文本文件的路徑，其中包含您要複製的檔案清單。

• 遞歸：指定數據是否以遞歸方式從子資料夾讀取，或僅從指定的資料夾讀取。 請注意，當選取 [遞歸] 且目的地是檔案型存放區時，不會在目的地複製或建立空的資料夾或子資料夾。 默認會選取此屬性，而且當您設定 [檔案路徑] 清單時，不會套用此屬性。

• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 以設定檔案格式。 如需不同檔格式的設定，請參閱支援格式的文章以取得詳細資訊。

在 [進階] 底下，您可以指定下列欄位：

• 依上次修改的篩選：檔案會根據上次修改的日期進行篩選。 當您將檔案路徑類型設定為檔案清單時，此屬性不適用。

  • 開始時間 （UTC）：如果上次修改的時間大於或等於設定的時間，則會選取檔案。
  • 結束時間 （UTC）：如果上次修改時間小於設定的時間，則會選取檔案。

  當 Start time （UTC） 具有 datetime 值，但 End time （UTC） 為 NULL 時，表示將選取上次修改屬性大於或等於 datetime 值的檔案。 當結束時間 （UTC） 具有日期時間值但 Start time （UTC） 為 NULL 時，表示上次修改屬性小於日期時間值的檔案將被選取。 屬性可以是 NULL，這表示不會將任何檔案屬性篩選套用至數據。

• 啟用數據分割探索：指定是否從檔案路徑剖析分割區，並將其新增為其他源數據行。 預設會取消選取它，而且當您使用二進位檔案格式時不受支援。

  • 數據分割根路徑：啟用資料分割探索時，請指定絕對根路徑，以便將分割資料夾讀取為數據行。

    如果未指定，則預設為

    • 當您在來源上使用檔案路徑或檔案清單時，分割區根路徑是您設定的路徑。
    • 當您使用通配符資料夾篩選時，分割區根路徑是第一個通配符之前的子路徑。

    例如，假設您將路徑設定為 root/folder/year=2020/month=08/day=27：

    • 如果您將分割區根路徑指定為 root/folder/year=2020，除了檔案內的數據行之外，複製活動還會分別產生兩個數據行月和日，其值為 “08” 和 “27”。
    • 如果未指定分割區根路徑，則不會產生任何額外的數據行。

  

• 並行連線上限：這個屬性表示活動執行期間，與數據存放區建立的並行連線上限。 只有在您想要限制並行連線時，才指定值。

• 其他數據行：新增其他數據行以儲存來源檔案的相對路徑或靜態值。 後者支持表達式。

Destination

在複製活動的 [目的地] 索引標籤下，Azure Data Lake 儲存體 Gen1 支援下列屬性。

需要下列屬性：

• 數據存放區類型：選取 [外部]。
• 連線：從聯機清單中選取 Azure Data Lake 儲存體 Gen1 連線。 如果連線不存在，請選取 [新增]，以建立新的 Azure Data Lake 儲存體 Gen1 連線。
• 連線 類型：選取 [Azure Data Lake 儲存體 Gen1]。
• 檔案路徑：選取 [ 瀏覽 ] 以選擇您要手動複製或填入路徑的檔案。
• 檔案格式：從下拉式清單中選取套用的檔案格式。 選取 [設定] 以設定檔案格式。 如需不同檔格式的設定，請參閱支援格式的文章以取得詳細資訊。

在 [進階] 底下，您可以指定下列欄位：

• 複製行為：當來源是檔案型數據存放區中的檔案時，定義複製行為。 您可以從下拉式清單中選擇行為。

  

  • 扁平化階層：來自源資料夾的所有檔案都位於目的地資料夾的第一層。 目的地檔案具有自動產生的名稱。
  • 合併檔案：將所有檔案從源資料夾合併到一個檔案。 如果指定檔名，合併的檔名就是指定的名稱。 否則，它是自動產生的檔名。
  • 保留階層：保留目標資料夾中的檔案階層。 源檔案至源資料夾的相對路徑與目標檔案相對於目標資料夾的相對路徑相同。

• 並行連線上限：活動執行期間，與數據存放區建立的並行連線上限。 只有在您想要限制並行連線時，才指定值。

• 到期日期時間 （UTC）：指定寫入檔案的到期時間。 時間會以 「2020-03-01T08：00：00Z」 格式套用至 UTC 時間。 根據預設，它是 NULL，這表示寫入的檔案永遠不會過期。

對應

針對 [對應] 索引標籤標組態，移至 [對應] 索引卷標底下的 [設定對應]。如果您選擇 [二進位] 作為檔案格式，則不支持對應。

設定

如需 [設定] 索引標籤組態，請移至 [設定] 索引卷標底下的 [設定其他設定]。

數據表摘要

下表包含 Azure Data Lake 儲存體 Gen1 中複製活動的詳細資訊。

來源資訊

名稱	描述:	值	必要	JSON 腳本屬性
數據存放區類型	您的資料存放區類型。	外部	Yes	/
[連接]	您與源資料存放區的連線。	<您的 Azure Data Lake 儲存體 Gen1 連線>	Yes	connection
連線類型	您的連線類型。 選取 [Azure Data Lake 儲存體 Gen1]。	Azure Data Lake Storage Gen1	Yes	/
檔案路徑類型	您想要使用的檔案路徑類型。	• 檔案路徑 • 名稱範圍 • 通配符資料夾路徑、通配符檔名 •檔案清單	No	• folderPath，fileName • listAfter，listBefore • wildcardFolderPath， wildcardFileName • fileListPath
遞 歸	指出數據是以遞歸方式從子資料夾讀取，還是只從指定的資料夾讀取。 請注意，當選取 [遞歸] 且目的地是檔案型存放區時，不會在目的地複製或建立空的資料夾或子資料夾。 當您設定 [檔案路徑] 列表時，此屬性不適用。	selected （default） 或 unselect	No	遞迴
依上次修改的篩選	在 [開始時間，結束時間] 範圍內具有上次修改時間的檔案，將會篩選出進一步處理。 時間會以的格式 yyyy-mm-ddThh:mm:ss.fffZ套用至UTC時區。 您可以略過這些屬性，這表示不會套用任何檔案屬性篩選。 當您將檔案路徑類型設定為檔案清單時，此屬性不適用。	Datetime	No	modifiedDatetimeStart modifiedDatetimeEnd
啟用數據分割探索	指出是否要從檔案路徑剖析分割區，並將其新增為其他源數據行。	已選取或未選取 （預設值）	No	enablePartitionDiscovery： true 或 false （預設值）
數據分割根路徑	啟用資料分割探索時，請指定絕對根路徑，以便將分割區資料夾讀取為資料列。	< 您的分割區根路徑 >	No	partitionRootPath
並行連線上限	在活動執行期間，與數據存放區建立的並行連線上限。 只有在您想要限制並行連線時，才指定值。	<最大並行連線>	No	maxConcurrent 連線 ions
其他數據行	新增其他數據行以儲存來源檔案的相對路徑或靜態值。 後者支持表達式。	•名字 •價值	No	additionalColumns： •名字 •價值

目的地資訊

名稱	描述:	值	必要	JSON 腳本屬性
數據存放區類型	您的資料存放區類型。	外部	Yes	/
[連接]	您與目的地資料存放區的連線。	<您的 Azure Data Lake 儲存體 Gen1 連線>	Yes	connection
連線類型	您的連線類型。 選取 [Azure Data Lake 儲存體 Gen1]。	Azure Data Lake Storage Gen1	Yes	/
檔案路徑	目的地數據的檔案路徑。	< 您的檔案路徑 >	Yes	folderPath，fileName
複製行為	當來源是檔案型數據存放區中的檔案時，定義複製行為。	• 扁平化階層 • 合併檔案 • 保留階層	No	copyBehavior： • FlattenHierarchy • MergeFiles • PreserveHierarchy
並行連線上限	在活動執行期間，與數據存放區建立的並行連線上限。 只有在您想要限制並行連線時，才指定值。	<最大並行連線>	No	maxConcurrent 連線 ions
到期日期時間 （UTC）	寫入檔案的到期時間。 時間會以 「2020-03-01T08：00：00Z」 格式套用至 UTC 時間。 根據預設，它是 NULL，這表示寫入的檔案永遠不會過期。	< 您的到期日期時間 >	No	expiryDatetime

相關內容

• Azure Data Lake 儲存體 Gen1 概觀