使用 Azure Data Factory 或 Synapse Analytics 從 FTP 伺服器複製資料

  • 發行項

適用于： Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用于企業的單一分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告等所有專案。 瞭解如何 免費啟動新的試用版 ！

本文概述如何從 FTP 伺服器複製資料。 若要深入瞭解，請閱讀 Azure Data Factory 和 Synapse Analytics 的 簡介文章。

支援的功能

下列功能支援此 FTP 連接器：

支援的功能 IR
複製活動 （source/-） ① ②
查閱活動 ① ②
GetMetadata 活動 ① ②
刪除活動 ① ②

（1） Azure 整合執行時間 （2） 自我裝載整合執行時間

具體而言，此 FTP 連接器支援：

  • 使用 基本 或 匿名 驗證複製檔案。
  • 依目前方式複製檔案，或使用支援的檔案格式和壓縮編解碼器 剖析檔案 。

FTP 連接器支援以被動模式執行的 FTP 伺服器。 不支援使用中模式。

必要條件

如果您的資料存放區位於內部部署網路、Azure 虛擬網路或 Amazon Virtual Private Cloud 內，您必須設定 自我裝載整合執行時間 以連線到它。

如果您的資料存放區是受控雲端資料服務，您可以使用 Azure Integration Runtime。 如果存取僅限於防火牆規則中核准的 IP，您可以將 Azure Integration Runtime IP 新增 至允許清單。

您也可以使用 Azure Data Factory 中的受控虛擬網路整合執行時間 功能來存取內部部署網路，而不需安裝及設定自我裝載整合執行時間。

如需 Data Factory 所支援之網路安全性機制和選項的詳細資訊，請參閱 資料存取策略 。

開始使用

若要使用管線執行複製活動，您可以使用下列其中一個工具或 SDK：

使用 UI 建立 FTP 伺服器的連結服務

使用下列步驟，在 Azure 入口網站 UI 中建立 FTP 伺服器的連結服務。

  1. 流覽至 Azure Data Factory 或 Synapse 工作區中的 [管理] 索引標籤，然後選取 [連結服務]，然後按一下 [新增]：

  2. 搜尋 FTP，然後選取 FTP 連接器。

    Screenshot of the FTP connector.

  3. 設定服務詳細資料、測試連線，並建立新的連結服務。

    Screenshot of linked service configuration for an FTP server.

連線or 組態詳細資料

下列各節提供屬性的相關詳細資料，這些屬性是用來定義 FTP 特定的實體。

連結的服務屬性

FTP 連結服務支援下列屬性：

屬性 描述 必要
type type 屬性必須設定為： FtpServer 。 Yes
host 指定 FTP 伺服器的名稱或 IP 位址。 Yes
port 指定 FTP 伺服器正在接聽的埠。
允許的值為：整數，預設值為 21 。		 No
enableSsl 指定是否要透過 SSL/TLS 通道使用 FTP。
允許的值為： true （預設值）， false 。		 No
enableServerCertificateValidation 指定當您使用 FTP over SSL/TLS 通道時，是否要啟用伺服器 TLS/SSL 憑證驗證。
允許的值為： true （預設值）， false 。		 No
authenticationType 指定驗證類型。
允許的值為： 基本 、 匿名		 Yes
userName 指定可存取 FTP 伺服器的使用者。 No
password 指定使用者的密碼（userName）。 將此欄位標示為 SecureString 以安全地儲存，或 參考儲存在 Azure 金鑰保存庫 中的秘密。 No
connectVia 用於連線到資料存放區的 Integration Runtime。 請從 必要條件一 節深入瞭解。 如果未指定，就會使用預設的 Azure Integration Runtime。 No

注意

FTP 連接器支援存取沒有加密或明確 SSL/TLS 加密的 FTP 伺服器;它不支援隱含 SSL/TLS 加密。

範例 1：使用匿名驗證

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "<ftp server>",
            "port": 21,
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

範例 2：使用基本驗證

{
    "name": "FTPLinkedService",
    "properties": {
        "type": "FtpServer",
        "typeProperties": {
            "host": "<ftp server>",
            "port": 21,
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

資料集屬性

如需可用來定義資料集之區段和屬性的完整清單，請參閱 資料集 一文。

Azure Data Factory 支援下列檔案格式。 如需以格式為基礎的設定，請參閱每個文章。

在格式型資料集的設定下 location ，FTP 支援下列屬性：

屬性 描述 必要
type 資料集底下的 location type 屬性必須設定為 FtpServerLocation 。 Yes
folderPath 資料夾的路徑。 如果您想要使用萬用字元來篩選資料夾，請略過此設定，並在活動來源設定中指定 。 No
fileName 指定 folderPath 底下的檔案名。 如果您想要使用萬用字元來篩選檔案，請略過此設定，並在活動來源設定中指定 。 No

範例：

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<FTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FtpServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

複製活動屬性

如需可用來定義活動的區段和屬性的完整清單，請參閱 管線 一文。 本節提供 FTP 來源所支援的屬性清單。

FTP 作為來源

Azure Data Factory 支援下列檔案格式。 如需以格式為基礎的設定，請參閱每個文章。

在格式型複製來源的設定下 storeSettings ，FTP 支援下列屬性：

屬性 描述 必要
type 底下的 storeSettings type 屬性必須設定為 FtpRead設定 。 Yes
找出要複製的檔案：
選項 1：靜態路徑
 從資料集中指定的指定資料夾/檔案路徑複製。 如果您想要從資料夾複製所有檔案，請另外指定 wildcardFileName 為 * 。
選項 2：萬用字元
- 萬用字元FolderPath		 包含萬用字元的資料夾路徑，用來篩選源資料夾。
允許的萬用字元為： * （比對零或多個字元）和 ? （符合零或單一字元;如果您的實際資料夾名稱內有萬用字元或這個逸出字元，請使用 ^ 逸出。
請參閱資料夾和檔案篩選範例中的 更多範例 。		 No
選項 2：萬用字元
- 萬用字元FileName		 具有指定 folderPath/wildcardFolderPath 下萬用字元的檔案名，用來篩選來源檔案。
允許的萬用字元為： * （比對零或多個字元）和 ? （符合零或單一字元;如果您的實際檔案名中有萬用字元或這個逸出字元，請使用 ^ 逸出字元。 請參閱資料夾和檔案篩選範例中的 更多範例 。		 Yes
選項 3：檔案清單
- fileListPath		 表示複製指定的檔案集。 指向包含您要複製之檔案清單的文字檔，每行一個檔案一個，這是資料集中所設定路徑的相對路徑。
使用此選項時，請勿在資料集中指定檔案名。 請參閱檔案清單範例中的 更多範例 。		 No
其他設定：
遞迴 指出資料是以遞迴方式從子資料夾讀取，還是只從指定的資料夾讀取。 請注意，當遞迴設定為 true 且接收是以檔案為基礎的存放區時，不會在接收端複製或建立空的資料夾或子資料夾。
允許的值為 true （預設值）和 false 。
當您設定 fileListPath 時，這個屬性不適用。		 No
deleteFilesAfterCompletion 指出成功移至目的地存放區之後，是否會從來源存放區刪除二進位檔案。 檔案刪除是每個檔案，因此當複製活動失敗時，您會看到某些檔案已複製到目的地並從來源刪除，而其他檔案仍留在來源存放區。
此屬性只有在二進位檔案複製案例中才有效。 預設值：false。		 No
useBinaryTransfer 指定是否要使用二進位傳輸模式。 二進位模式的值為 true（預設值），而 ASCII 則為 false。 No
enablePartitionDiscovery 針對已分割的檔案，指定是否要從檔案路徑剖析分割區，並將其新增為其他來源資料行。
允許的值為 false （預設值）和 true 。		 No
partitionRootPath 啟用資料分割探索時，請指定絕對根路徑，以便將分割區資料夾讀取為數據行。

如果未指定，則預設為
- 當您在資料集中使用檔案路徑或來源上的檔案清單時，分割區根路徑是資料集中設定的路徑。
- 當您使用萬用字元資料夾篩選時，分割區根路徑是第一個萬用字元之前的子路徑。

例如，假設您在資料集中將路徑設定為 「root/folder/year=2020/month=08/day=27」：
- 如果您將分割區根路徑指定為 「root/folder/year=2020」，除了檔案內的資料行之外，複製活動還會另外產生兩 month 個數據行， day 且值 「08」 和 「27」。
- 如果未指定分割區根路徑，則不會產生任何額外的資料行。		 No
maxConcurrent連線ions 在活動執行期間，與資料存放區建立的並行連線上限。 只有在您想要限制並行連線時，才指定值。 No
disableChunking 從 FTP 複製資料時，服務會先嘗試取得檔案長度，然後將檔案分割成多個元件，並以平行方式讀取。 指定 FTP 伺服器是否支援取得檔案長度或尋求從特定位移讀取。
允許的值為 false （預設值）， true 。		 No

範例：

"activities":[
    {
        "name": "CopyFromFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FtpReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv",
                    "disableChunking": false
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

資料夾和檔案篩選範例

本節描述具有萬用字元篩選的資料夾路徑和檔案名所產生的行為。

folderPath fileName 遞迴 源資料夾結構和篩選結果（ 擷取粗體 檔案）
Folder* （空白，使用預設值） false FolderA
    File1.csv
    File2.json
    子資料夾1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* （空白，使用預設值） true FolderA
    File1.csv
    File2.json
    子資料夾1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* *.csv false FolderA
    File1.csv
    File2.json
    子資料夾1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* *.csv true FolderA
    File1.csv
    File2.json
    子資料夾1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv

檔案清單範例

本節描述在複製活動來源中使用檔案清單路徑的結果行為。

假設您有下列來源資料夾結構，且想要以粗體複製檔案：

範例來源結構 FileListToCopy.txt 中的內容 組態
根
    FolderA
        File1.csv
        File2.json
        子資料夾1
            File3.csv
            File4.json
            File5.csv
    中繼資料
        FileListToCopy.txt		 File1.csv
Subfolder1/File3.csv
Subfolder1/File5.csv		 在資料集中：
- 資料夾路徑： root/FolderA

在複製活動來源中：
- 檔案清單路徑： root/Metadata/FileListToCopy.txt

檔案清單路徑會指向相同資料存放區中的文字檔，其中包含您要複製的檔案清單，每行一個檔案，以及資料集中所設定路徑的相對路徑。

查閱活動屬性

若要瞭解屬性的詳細資料，請檢查 查閱活動 。

GetMetadata 活動屬性

若要瞭解屬性的詳細資料，請檢查 GetMetadata 活動

刪除活動屬性

若要瞭解屬性的詳細資料，請參閱 刪除活動

舊版模型

注意

目前仍支援下列模型，以提供回溯相容性。 建議您使用上述各節中提到的新模型，而撰寫 UI 已切換為產生新的模型。

舊版資料集模型

屬性 描述 必要
type 資料集的 type 屬性必須設定為： FileShare Yes
folderPath 資料夾的路徑。 支援萬用字元篩選，允許的萬用字元為： * （符合零或多個字元），以及 ? （符合零或單一字元）：如果實際資料夾名稱內有萬用字元或這個逸出字元，請使用 ^ 逸出。

範例：rootfolder/subfolder/，請參閱資料夾和檔案篩選範例中的 更多範例 。		 Yes
fileName 指定 「folderPath」 底下檔案的名稱或萬用字元篩選 。 如果您未指定這個屬性的值，資料集會指向資料夾中的所有檔案。

針對篩選，允許的萬用字元為： * （符合零或多個字元）和 ? （符合零或單一字元）。
- 範例 1： "fileName": "*.csv"
- 範例 2： "fileName": "???20180427.txt"
如果您的實際檔案名內有萬用字元或這個逸出字元，請使用 ^ 來逸出 。		 No
format 如果您想要 在檔案型存放區之間依目前 的方式複製檔案（二進位複製），請略過輸入和輸出資料集定義中的 format 區段。

如果您想要剖析具有特定格式的檔案，支援下列檔案格式類型：TextFormat 、 JsonFormat 、 AvroFormat 、OrcFormat 、 ParquetFormat 。 將 格式下的 type 屬性設定為下列其中一個值。 如需詳細資訊，請參閱 文字格式 、 Json 格式、 Avro 格式 、 Orc 格式 和 Parquet 格式 小節。		 否 （僅適用于二進位複製案例）
壓縮 指定資料的壓縮類型和層級。 如需詳細資訊，請參閱 支援的檔案格式和壓縮編解碼器 。
支援的類型包括：GZip、 Deflate 、 BZip2 和 ZipDeflate 。
支援的層級為： 最佳 且 最快 。		 No
useBinaryTransfer 指定是否要使用二進位傳輸模式。 二進位模式的值為 true（預設值），而 ASCII 則為 false。 No

提示

若要複製資料夾下的所有檔案，請只指定 folderPath 。
若要複製具有指定名稱的單一檔案，請使用資料夾部分指定 folderPath ，並使用 檔案名指定 fileName 。
若要複製資料夾下的檔案子集，請使用資料夾部分指定 folderPath ，並使用 萬用字元篩選來指定 fileName 。

注意

如果您使用 「fileFilter」 屬性進行檔案篩選，則仍依目前支援，而建議您使用未來新增至 「fileName」 的新篩選功能。

範例：

{
    "name": "FTPDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<FTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "myfile.csv.gz",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

舊版複製活動來源模型

屬性 描述 必要
type 複製活動來源的類型屬性必須設定為： FileSystemSource Yes
遞迴 指出資料是以遞迴方式從子資料夾讀取，還是只從指定的資料夾讀取。 請注意，當遞迴設定為 true 且接收是以檔案為基礎的存放區時，將不會在接收時複製/建立空的資料夾/子資料夾。
允許的值為： true （預設值）， false		 No
maxConcurrent連線ions 在活動執行期間，與資料存放區建立的並行連線上限。 只有在您想要限制並行連線時，才指定值。 No

範例：

"activities":[
    {
        "name": "CopyFromFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<FTP input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

相關內容

如需複製活動支援做為來源和接收的資料存放區清單，請參閱 支援的資料存放區 。