Kopírování dat z Drill pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory na Data Factory v Microsoft Fabric.

Důležité

Tento konektor je na konci fáze podpory. Doporučujeme migrovat na konektor ODBC instalací ovladače.

Tento článek popisuje, jak použít Copy Activity v pipeline Azure Data Factory nebo Synapse Analytics ke kopírování dat z Drillu. Vychází z článku přehled aktivity kopírování, který představuje obecný přehled aktivity kopírování.

Podporované funkce

Tento Drill konektor je podporovaný pro následující funkce:

Podporované funkce	IR
aktivita Copy (zdroj/-)	(1) (2)
Vyhledávací aktivita	(1) (2)

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky aktivitou kopírování najdete v tabulce Podporované úložiště dat.

Služba poskytuje integrovaný ovladač, který umožňuje připojení, takže pomocí tohoto konektoru nemusíte ručně instalovat žádný ovladač.

Požadavky

Pokud se vaše úložiště dat nachází uvnitř místní sítě, Azure virtuální sítě, nebo Amazon Virtual Private Cloud, musíte pro připojení nakonfigurovat self-hosted Integration Runtime.

Pokud je vaše úložiště dat spravovanou cloudovou datovou službou, můžete použít Azure Integration Runtime. Pokud je přístup omezený na IP adresy schválené v pravidlech brány firewall, můžete do seznamu povolených přidat ip adresy Azure Integration Runtime.

Funkci managed virtual network Integration Runtime můžete také použít v Azure Data Factory pro přístup k místní síti bez nutnosti instalace a konfigurace místního prostředí Integration Runtime.

Další informace o mechanismech zabezpečení sítě a možnostech podporovaných službou Data Factory najdete v tématu Strategie přístupu k datům.

Začínáme

K provedení aktivity kopírování pomocí datového kanálu můžete použít jeden z následujících nástrojů nebo sad SDK:

• Nástroj pro kopírování dat
• portál Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• šablona Azure Resource Manager

Vytvoření propojené služby k Apache Drill pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu pro Drill v uživatelském rozhraní portálu Azure.

1. Přejděte na kartu Spravovat v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a potom klikněte na Nový:

   Azure Data Factory

   

   Azure Synapse

   

2. Vyhledejte Drill a vyberte konektor Drill.

   

3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

   

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor Drill.

Vlastnosti propojené služby

Pro propojenou službu Drill jsou podporovány následující vlastnosti:

Vlastnost	Popis	Povinné
typ	Vlastnost typu musí být nastavená na: Drill	Ano
připojovací řetězec	Řetězec ODBC pro připojení k Drill. Můžete také vložit heslo do Azure Key Vault a oddělit konfiguraci pwd z připojovacího řetězce. Podrobnosti naleznete v následujících ukázkách a v článku o uložení přihlašovacích údajů do Azure Key Vault.	Ano
connectVia	Integration Runtime pro připojení k úložišti dat. Další informace najdete v části Požadavky . Pokud není zadaný, použije výchozí Azure Integration Runtime.	Ne

Příklad:

{
    "name": "DrillLinkedService",
    "properties": {
        "type": "Drill",
        "typeProperties": {
            "connectionString": "ConnectionType=Direct;Host=<host>;Port=<port>;AuthenticationType=Plain;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example: uložení hesla do Azure Key Vault

{
    "name": "DrillLinkedService",
    "properties": {
        "type": "Drill",
        "typeProperties": {
            "connectionString": "ConnectionType=Direct;Host=<host>;Port=<port>;AuthenticationType=Plain;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou Drill.

Pokud chcete kopírovat data z Drill, nastavte vlastnost typu datového souboru na DrillTable. Podporují se následující vlastnosti:

Vlastnost	Popis	Povinné
typ	Vlastnost typu datové sady musí být nastavená na: DrillTable	Ano
schéma	Název schématu	Ne (pokud je zadán dotaz ve zdroji aktivity)
tabulka	Název tabulky.	Ne (pokud je zadán dotaz ve zdroji aktivity)
tableName	Název tabulky se schématem Tato vlastnost je podporována pro zpětnou kompatibilitu. Používejte schema a table pro nové úlohy.	Ne (pokud je zadán dotaz ve zdroji aktivity)

Příklad

{
    "name": "DrillDataset",
    "properties": {
        "type": "DrillTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Drill linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem Drill.

DrillSource jako zdroj

Pokud chcete kopírovat data z Drill, nastavte typ zdroje v aktivitě kopírování na DrillSource. Ve zdrojové části aktivity kopírování jsou podporovány následující vlastnosti:

Vlastnost	Popis	Povinné
typ	Vlastnost typu zdroje aktivity kopírování musí být nastavená na: DrillSource.	Ano
dotaz	Ke čtení dat použijte vlastní dotaz SQL. Například: "SELECT * FROM MyTable".	Ne (pokud je v datové sadě zadán název tabulky)

Příklad:

"activities":[
    {
        "name": "CopyFromDrill",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Drill input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DrillSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Vlastnosti aktivity vyhledávání

Zjistit podrobnosti o vlastnostech můžete v aktivitě Vyhledávání.

Související obsah

Úložiště dat, která kopírovací aktivita podporuje jako zdroje a cíle, najdete v seznamu podporovaných úložišť dat.