使用 Azure Data Factory 或 Synapse Analytics 從 Drill 複製資料

適用于: Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用于企業的單一分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告等所有專案。 瞭解如何 免費啟動新的試用版

本文概述如何使用 Azure Data Factory 或 Synapse Analytics 管線中的複製活動,從 Drill 複製資料。 它會以 複製活動概觀 一文為基礎,提供複製活動的一般概觀。

支援的功能

下列功能支援此 Drill 連接器:

支援的功能 IR
複製活動 (source/-) ① ②
查閱活動 ① ②

(1) Azure 整合執行時間 (2) 自我裝載整合執行時間

如需複製活動支援做為來源或接收的資料存放區清單,請參閱 支援的資料存放區 資料表。

此服務提供內建驅動程式來啟用連線能力,因此您不需要使用此連接器手動安裝任何驅動程式。

必要條件

如果您的資料存放區位於內部部署網路、Azure 虛擬網路或 Amazon Virtual Private Cloud 內,您必須設定 自我裝載整合執行時間 以連線到它。

如果您的資料存放區是受控雲端資料服務,您可以使用 Azure Integration Runtime。 如果存取僅限於防火牆規則中核准的 IP,您可以將 Azure Integration Runtime IP 新增 至允許清單。

您也可以使用 Azure Data Factory 中的受控虛擬網路整合執行時間 功能來存取內部部署網路,而不需安裝及設定自我裝載整合執行時間。

如需 Data Factory 所支援之網路安全性機制和選項的詳細資訊,請參閱 資料存取策略

開始使用

若要使用管線執行複製活動,您可以使用下列其中一個工具或 SDK:

使用 UI 建立連結服務以鑽研

使用下列步驟來建立連結服務,以在Azure 入口網站 UI 中鑽研。

  1. 流覽至 Azure Data Factory 或 Synapse 工作區中的 [管理] 索引標籤,然後選取 [連結服務],然後按一下 [新增]:

  2. 搜尋 [鑽研],然後選取 [鑽研連接器]。

    Screenshot of the Drill connector.

  3. 設定服務詳細資料、測試連線,並建立新的連結服務。

    Screenshot of linked service configuration for Drill.

連線or 組態詳細資料

下列各節提供屬性的相關詳細資料,這些屬性是用來定義 Drill 連接器專屬的 Data Factory 實體。

連結的服務屬性

鑽研連結服務支援下列屬性:

屬性 描述 必要
type type 屬性必須設定為: Drill Yes
connectionString 要連線至 Drill 的 ODBC 連接字串。
您也可以將密碼放入 Azure 金鑰保存庫,並從 pwd 連接字串提取組態。 如需詳細資料,請參閱下列範例和 在 Azure 金鑰保存庫 中儲存認證一文。
Yes
connectVia 用於連線到資料存放區的 Integration Runtime。 請從 必要條件一 節深入瞭解。 如果未指定,就會使用預設的 Azure Integration Runtime。 No

範例:

{
    "name": "DrillLinkedService",
    "properties": {
        "type": "Drill",
        "typeProperties": {
            "connectionString": "ConnectionType=Direct;Host=<host>;Port=<port>;AuthenticationType=Plain;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

範例:將密碼儲存在 Azure 金鑰保存庫

{
    "name": "DrillLinkedService",
    "properties": {
        "type": "Drill",
        "typeProperties": {
            "connectionString": "ConnectionType=Direct;Host=<host>;Port=<port>;AuthenticationType=Plain;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

資料集屬性

如需可用來定義資料集的完整區段和屬性清單,請參閱 資料集 一文。 本節提供 Drill 資料集所支援的屬性清單。

若要從 Drill 複製資料,請將資料集的 type 屬性設定為 DrillTable 。 支援下列屬性:

屬性 描述 必要
type 資料集的類型屬性必須設定為: DrillTable Yes
schema 架構的名稱。 否(如果已指定活動來源中的「查詢」)
table 資料表的名稱。 否(如果已指定活動來源中的「查詢」)
tableName 具有架構的資料表名稱。 這個屬性支援回溯相容性。 針對新的工作負載使用 schematable 否(如果已指定活動來源中的「查詢」)

範例

{
    "name": "DrillDataset",
    "properties": {
        "type": "DrillTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Drill linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

複製活動屬性

如需可用來定義活動的區段和屬性的完整清單,請參閱 管線 一文。 本節提供 Drill 來源所支援的屬性清單。

DrillSource 作為來源

若要從 Drill 複製資料,請將複製活動中的來源類型設定為 DrillSource 。 複製活動 來源 區段中支援下列屬性:

屬性 描述 必要
type 複製活動來源的類型屬性必須設定為: DrillSource Yes
query 使用自訂 SQL 查詢來讀取資料。 例如: "SELECT * FROM MyTable" 否(如果已指定資料集中的 「tableName」 )

範例:

"activities":[
    {
        "name": "CopyFromDrill",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Drill input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DrillSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

查閱活動屬性

若要瞭解屬性的詳細資料,請檢查 查閱活動

如需複製活動支援做為來源和接收的資料存放區清單,請參閱 支援的資料存放區