Kopírování dat z Impala pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Návod

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory na Data Factory v Microsoft Fabric.

Tento článek popisuje, jak pomocí aktivity kopírování v pipeline Azure Data Factory nebo Synapse Analytics kopírovat data z Impaly. Vychází z článku s přehledem aktivity kopírování, který poskytuje obecný přehled této aktivity.

Poznámka:

Tento konektor je také k dispozici ve službě Data Factory v Microsoft Fabric. Informace o konfiguraci a funkcích specifických pro Fabric najdete v dokumentaci ke konektoru Fabric Impala.

Důležité

Konektor Impala verze 1.0 je ve fázi odebrání. Doporučujeme upgradovat konektor Impala z verze 1.0 na verzi 2.0.

Podporované funkce

Tento konektor Impala je podporovaný pro následující funkce:

Podporované funkce	IR
aktivita Copy (zdroj/-)	(1) (2)
Vyhledávací aktivita	(1) (2)

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky aktivitou kopírování najdete v tabulce Podporované úložiště dat.

Služba poskytuje integrovaný ovladač, který umožňuje připojení. Proto pro použití tohoto konektoru nemusíte ručně instalovat ovladač.

Požadavky

Pokud se vaše úložiště dat nachází uvnitř místní sítě, Azure virtuální sítě, nebo Amazon Virtual Private Cloud, musíte pro připojení nakonfigurovat self-hosted Integration Runtime.

Pokud je vaše úložiště dat spravovanou cloudovou datovou službou, můžete použít Azure Integration Runtime. Pokud je přístup omezený na IP adresy schválené v pravidlech brány firewall, můžete do seznamu povolených přidat ip adresy Azure Integration Runtime.

Funkci managed virtual network Integration Runtime můžete také použít v Azure Data Factory pro přístup k místní síti bez nutnosti instalace a konfigurace místního prostředí Integration Runtime.

Další informace o mechanismech zabezpečení sítě a možnostech podporovaných službou Data Factory najdete v tématu Strategie přístupu k datům.

Poznámka:

Verze 2.0 je podporovaná v místním prostředí Integration Runtime verze 5.55 nebo vyšší.

Začínáme

K provedení kopírovací činnosti s datovým tokem můžete použít jeden z následujících nástrojů nebo sady SDK:

• Nástroj pro kopírování dat
• portál Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• šablona Azure Resource Manager

Vytvoření propojené služby pro Impala pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu impala v uživatelském rozhraní portálu Azure.

1. Přejděte na kartu Spravovat v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a potom klikněte na Nový:

   Azure Data Factory

   

   Azure Synapse

   

2. Vyhledejte Impala a vyberte konektor Impala.

   

3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

   

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor Impala.

Vlastnosti propojené služby

Konektor Impala teď podporuje verzi 2.0. V této části najdete informace o upgradu verze konektoru Impala z verze 1.0. Podrobnosti o nemovitosti najdete v odpovídajících oddílech.

• Verze 2.0
• verze 1.0

Verze 2.0

Propojená služba Impala podporuje následující vlastnosti při použití verze 2.0:

Vlastnost	Popis	Požadováno
typ	Vlastnost typu musí být nastavena na Impala.	Ano
verze	Zadaná verze. Hodnota je 2.0.	Ano
hostitel	IP adresa nebo název hostitele serveru Impala (tj. 192.168.222.160).	Ano
port	TCP port, který server Impala používá k poslechu klientských připojení. Výchozí hodnota je 21050.	Ne
transportní protokol thrift	Přenosový protokol, který se má použít ve vrstvě Thrift. Povolené hodnoty jsou: Binary, HTTP. Výchozí hodnota je Binary.	Ano
typ autentizace	Typ ověřování, který se má použít. Povolené hodnoty jsou Anonymní a UsernameAndPassword.	Ano
uživatelské jméno	Uživatelské jméno používané pro přístup k serveru Impala.	Ne
heslo	Heslo, které odpovídá uživatelskému jménu při použití usernameAndPassword. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault.	Ne
enableSsl	Určuje, jestli jsou připojení k serveru šifrovaná pomocí protokolu TLS. Výchozí hodnota je true.	Ne
PovolitOvěřováníCertifikátuServeru	Určete, jestli se má při připojení povolit ověření certifikátu SSL serveru. Vždy používejte systémové důvěryhodné úložiště. Výchozí hodnota je true.	Ne
connectVia	Ke připojení k úložišti dat se použije prostředí Integration Runtime. Další informace najdete v části Požadavky . Pokud není zadaný, použije výchozí Azure Integration Runtime. Můžete použít místní prostředí Integration Runtime a jeho verze by měla být 5.55 nebo vyšší.	Ne

Příklad:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl": true,
            "thriftTransportProtocol": "Binary",
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Verze 1.0

Při použití verze 1.0 jsou pro propojenou službu Impala podporovány následující vlastnosti:

Pro propojenou službu Impala jsou podporovány následující vlastnosti.

Vlastnost	Popis	Požadováno
typ	Vlastnost typu musí být nastavena na Impala.	Ano
hostitel	IP adresa nebo název hostitele serveru Impala (tj. 192.168.222.160).	Ano
port	TCP port, který server Impala používá k poslechu klientských připojení. Výchozí hodnota je 21050.	Ne
typ autentizace	Typ ověřování, který se má použít. Povolené hodnoty jsou Anonymous, SASLUsername a UsernameAndPassword.	Ano
uživatelské jméno	Uživatelské jméno používané pro přístup k serveru Impala. Výchozí hodnota je anonymní při použití SASLUsername.	Ne
heslo	Heslo, které odpovídá uživatelskému jménu při použití usernameAndPassword. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault.	Ne
enableSsl	Určuje, jestli jsou připojení k serveru šifrovaná pomocí protokolu TLS. Výchozí hodnota je false.	Ne
důvěryhodná certifikační cesta	Úplná cesta k souboru .pem, který obsahuje důvěryhodné certifikáty certifikační autority sloužící k ověření serveru při připojení přes protokol TLS. Tuto vlastnost lze nastavit pouze v případě, že používáte protokol TLS v místním Integration Runtime. Výchozí hodnota je soubor cacerts.pem nainstalovaný s prostředím Integration Runtime.	Ne
Use System Trust Store (Použít systémový důvěryhodný úložiště)	Určuje, jestli se má použít certifikát certifikační autority z úložiště důvěryhodnosti systému nebo ze zadaného souboru PEM. Výchozí hodnota je false.	Ne
povolitNeshoduCNJménaHostitele	Určuje, jestli se má vyžadovat název certifikátu TLS/SSL vystavený certifikační autoritou, aby se při připojení přes protokol TLS shodovaly s názvem hostitele serveru. Výchozí hodnota je false.	Ne
povolitVlastnoručněPodepsanýServerovýCertifikát	Určuje, jestli chcete povolit certifikáty podepsané svým držitelem ze serveru. Výchozí hodnota je false.	Ne
connectVia	Ke připojení k úložišti dat se použije prostředí Integration Runtime. Další informace najdete v části Požadavky . Pokud není zadaný, použije výchozí Azure Integration Runtime.	Ne

Příklad:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku Datové sady . Tato část obsahuje seznam vlastností podporovaných datovou sadou Impala.

Chcete-li kopírovat data z Impala, nastavte vlastnost typu datové sady na ImpalaObject. Podporují se následující vlastnosti:

Vlastnost	Popis	Požadováno
typ	Vlastnost typu datové sady musí být nastavená na: ImpalaObject.	Ano
schéma	Název schématu	Ne (pokud je zadán dotaz ve zdroji aktivity)
tabulka	Název tabulky.	Ne (pokud je zadán dotaz ve zdroji aktivity)
název tabulky	Název tabulky se schématem Tato vlastnost je podporována pro zpětnou kompatibilitu. Používejte schema a table pro nové úlohy.	Ne (pokud je zadán dotaz ve zdroji aktivity)

Příklad

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných typem zdroje Impala.

Impala jako typ zdroje

Pokud chcete kopírovat data z Impala, nastavte typ zdroje v aktivitě kopírování na ImpalaSource. V části zdroj aktivity kopírování jsou podporovány následující vlastnosti.

Vlastnost	Popis	Požadováno
typ	Vlastnost typu zdroje aktivity kopírování musí být nastavena na ImpalaSource.	Ano
dotaz	Ke čtení dat použijte vlastní dotaz SQL. Příklad: "SELECT * FROM MyTable".	Ne (pokud je v datové sadě zadán název tabulky)

Příklad:

"activities":[
    {
        "name": "CopyFromImpala",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Impala input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ImpalaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Mapování datových typů pro Impala

Při kopírování dat z a do Impala se v rámci služby používají následující dočasná mapování datových typů. Informace o tom, jak aktivita kopírování mapuje zdrojové schéma a datový typ na jímku, najdete v tématu Mapování schématu a datového typu.

Datový typ Impala	Dočasný datový typ služby (pro verzi 2.0)	Dočasný datový typ služby (pro verzi 1.0)
POLE	Řetězec	Řetězec
BIGINT	Int64	Int64
BOOLEOVSKÝ	logický	logický
ČISTIČ	Řetězec	Řetězec
Datum	Datum a čas	Datum a čas
DESÍTKOVÁ SOUSTAVA	Desetinné číslo	Desetinné číslo
DVOJITÝ	Dvojitý	Dvojitý
PLOVAT	Jediný	Jediný
INT	Int32	Int32
MAPA	Řetězec	Řetězec
SMALLINT	Int16	Int16
ŘETĚZEC	Řetězec	Řetězec
STRUKTURA	Řetězec	Řetězec
ČASOVÁ ZNAČKA	Posun data a času	Datum a čas
TINYINT	SByte	Int16
VARCHAR	Řetězec	Řetězec

Vlastnosti aktivity vyhledávání

Podrobnosti o vlastnostech najdete v aktivitě Lookup activity

Životní cyklus a upgrade konektoru Impala

Následující tabulka uvádí protokoly fází vydání a změn pro různé verze konektoru Impala:

Verze	Fáze vydání	Záznam změn
Verze 1.0	Removed	Nelze použít.
Verze 2.0	Dostupná verze GA	• Verze místního prostředí Integration Runtime by měla být 5.55 nebo vyšší. • Výchozí hodnota enableSSL je true. enableServerCertificateValidation se podporuje. trustedCertPath useSystemTrustStore allowHostNameCNMismatch a allowSelfSignedServerCertnejsou podporovány. • TIMESTAMP se čte jako datový typ DateTimeOffset. • TINYINT se čte jako datový typ SByte. • Typ ověřování SASLUsername není podporován.

Upgrade konektoru Impala z verze 1.0 na verzi 2.0

1. Na stránce Upravit propojenou službu vyberte verzi 2.0 a nakonfigurujte propojenou službu odkazem na vlastnosti propojené služby verze 2.0.

2. Mapování datových typů pro propojenou službu Impala verze 2.0 se liší od mapování datového typu pro verzi 1.0. Informace o nejnovějším mapování datových typů najdete v tématu Mapování datových typů pro Impala.

3. Použijte místní prostředí Integration Runtime s verzí 5.55 nebo vyšší.

Související obsah

Seznam úložišť dat podporovaných jako zdroje a jímky aktivitou kopírování najdete v tématu Podporované úložiště dat.