Delen via

Gegevens uit Impala kopiëren met behulp van Azure Data Factory of Synapse Analytics

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Aanbeveling

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u kopieeractiviteit gebruikt in een Azure Data Factory- of Synapse Analytics-pijplijn om gegevens uit Impala te kopiëren. Het is gebaseerd op het artikel Overzicht van kopieeractiviteit met een algemeen overzicht van de kopieeractiviteit.

Belangrijk

De Impala-connector versie 1.0 bevindt zich in de verwijderingsfase. U wordt aangeraden om de Impala-connector te upgraden van versie 1.0 naar 2.0.

Ondersteunde mogelijkheden

Deze Impala-connector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden IR
Copy-activiteit (bron/-) (1) (2)
Activiteit Lookup (1) (2)

(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime

Zie de tabel Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen of sinks door de kopieeractiviteit.

De service biedt een ingebouwd stuurprogramma om connectiviteit mogelijk te maken. Daarom hoeft u geen stuurprogramma handmatig te installeren om deze connector te gebruiken.

Vereisten

Als uw gegevensarchief zich in een on-premises netwerk, een virtueel Azure-netwerk of een virtuele particuliere cloud van Amazon bevindt, moet u een zelf-hostende Integration Runtime configureren om er verbinding mee te maken.

Als uw gegevensarchief een beheerde cloudgegevensservice is, kunt u De Azure Integration Runtime gebruiken. Als de toegang is beperkt tot IP-adressen die zijn goedgekeurd in de firewallregels, kunt u IP-adressen van Azure Integration Runtime toevoegen aan de acceptatielijst.

U kunt ook de beheerde functie voor integratieruntime voor virtuele netwerken in Azure Data Factory gebruiken om toegang te krijgen tot het on-premises netwerk zonder een zelf-hostende Integration Runtime te installeren en te configureren.

Zie Strategieën voor gegevenstoegang voor meer informatie over de netwerkbeveiligingsmechanismen en -opties die door Data Factory worden ondersteund.

Opmerking

Versie 2.0 wordt ondersteund met de zelf-hostende Integration Runtime versie 5.55 of hoger.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

Een gekoppelde service maken voor Impala met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor Impala in de gebruikersinterface van Azure Portal.

  1. Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:

  2. Zoek naar Impala en selecteer de Impala-connector.

    Schermopname van de Impala-connector.

  3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

    Schermopname van de configuratie van de gekoppelde service voor Impala.

Configuratiedetails van connector

De volgende secties bevatten details over eigenschappen die worden gebruikt om Data Factory-entiteiten te definiëren die specifiek zijn voor de Impala-connector.

Eigenschappen van gekoppelde service

De Impala-connector ondersteunt nu versie 2.0. Raadpleeg deze sectie om uw Impala-connectorversie te upgraden vanaf versie 1.0. Raadpleeg de desbetreffende secties voor de details van de eigendom.

Versie 2.0

De gekoppelde Impala-service ondersteunt de volgende eigenschappen wanneer versie 2.0 wordt toegepast:

Eigenschappen Beschrijving Vereist
soort De typeeigenschap moet worden ingesteld op Impala. Ja
Versie De versie die je opgeeft. De waarde is 2.0. Ja
gastheer Het IP-adres of de hostnaam van de Impala-server (192.168.222.160). Ja
poort De TCP-poort die de Impala-server gebruikt om te luisteren naar clientverbindingen. De standaardwaarde is 21050. Nee
spaarzaamheidTransportProtocol Het transportprotocol dat moet worden gebruikt in de Thrift-laag. Toegestane waarden zijn: Binair, HTTP. De standaardwaarde is Binair. Ja
authenticatietype Het verificatietype dat moet worden gebruikt.
Toegestane waarden zijn Anoniem en UsernameAndPassword.		 Ja
gebruikersnaam De gebruikersnaam die wordt gebruikt voor toegang tot de Impala-server. Nee
wachtwoord Het wachtwoord dat overeenkomt met de gebruikersnaam wanneer u UsernameAndPassword gebruikt. Markeer dit veld als SecureString om het veilig op te slaan of verwijs naar een geheim dat is opgeslagen in Azure Key Vault. Nee
SSL inschakelen Hiermee geeft u op of de verbindingen met de server zijn versleuteld met behulp van TLS. De standaardwaarde is waar. Nee
inschakelenServerCertificaatValidatie Geef op of u ssl-certificaatvalidatie van de server wilt inschakelen wanneer u verbinding maakt. Gebruik altijd System Trust Store. De standaardwaarde is waar. Nee
connectVia De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Meer informatie vindt u in de sectie Vereisten . Als dit niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt. U kunt de zelf-hostende Integration Runtime gebruiken en de bijbehorende versie moet 5.55 of hoger zijn. Nee

Voorbeeld:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl": true,
            "thriftTransportProtocol": "Binary",
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Versie 1.0

De volgende eigenschappen worden ondersteund voor de gekoppelde Impala-service wanneer versie 1.0 wordt toegepast:

De volgende eigenschappen worden ondersteund voor de gekoppelde Impala-service.

Eigenschappen Beschrijving Vereist
soort De typeeigenschap moet worden ingesteld op Impala. Ja
gastheer Het IP-adres of de hostnaam van de Impala-server (192.168.222.160). Ja
poort De TCP-poort die de Impala-server gebruikt om te luisteren naar clientverbindingen. De standaardwaarde is 21050. Nee
authenticatietype Het verificatietype dat moet worden gebruikt.
Toegestane waarden zijn Anoniem, SASLUsername en UsernameAndPassword.		 Ja
gebruikersnaam De gebruikersnaam die wordt gebruikt voor toegang tot de Impala-server. De standaardwaarde is anoniem wanneer u SASLUsername gebruikt. Nee
wachtwoord Het wachtwoord dat overeenkomt met de gebruikersnaam wanneer u UsernameAndPassword gebruikt. Markeer dit veld als SecureString om het veilig op te slaan of verwijs naar een geheim dat is opgeslagen in Azure Key Vault. Nee
SSL inschakelen Hiermee geeft u op of de verbindingen met de server zijn versleuteld met behulp van TLS. De standaardwaarde is onwaar. Nee
trustedCertPath Het volledige pad van het PEM-bestand dat vertrouwde CA-certificaten bevat die worden gebruikt om de server te verifiëren wanneer u verbinding maakt via TLS. Deze eigenschap kan alleen worden ingesteld wanneer u TLS gebruikt voor zelf-hostende Integration Runtime. De standaardwaarde is het cacerts.pem-bestand dat is geïnstalleerd met de Integration Runtime. Nee
gebruikSystemTrustStore Hiermee geeft u op of u een CA-certificaat uit het systeemvertrouwensarchief of een opgegeven PEM-bestand wilt gebruiken. De standaardwaarde is onwaar. Nee
toestaanHostNameCNMismatch Hiermee geeft u op of een door een CA uitgegeven TLS/SSL-certificaatnaam moet overeenkomen met de hostnaam van de server wanneer u verbinding maakt via TLS. De standaardwaarde is onwaar. Nee
toestaanZelfondertekendServerCertificaat Hiermee geeft u op of zelfondertekende certificaten van de server moeten worden toegestaan. De standaardwaarde is onwaar. Nee
connectVia De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Meer informatie vindt u in de sectie Vereisten . Als dit niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt. Nee

Voorbeeld:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Impala-gegevensset.

Als u gegevens uit Impala wilt kopiëren, stelt u de typeeigenschap van de gegevensset in op ImpalaObject. De volgende eigenschappen worden ondersteund:

Eigenschappen Beschrijving Vereist
soort De typeeigenschap van de gegevensset moet worden ingesteld op: ImpalaObject Ja
overzicht Naam van het schema. Nee (als 'query' in de activiteitsbron is opgegeven)
tafel Naam van de tabel. Nee (als 'query' in de activiteitsbron is opgegeven)
tabelnaam Naam van de tabel met schema. Deze eigenschap wordt ondersteund voor compatibiliteit met eerdere versies. Gebruik schema en table voor nieuwe workload. Nee (als 'query' in de activiteitsbron is opgegeven)

Voorbeeld

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Eigenschappen van de kopieeractiviteit

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door het brontype Impala.

Impala als brontype

Als u gegevens uit Impala wilt kopiëren, stelt u het brontype in de kopieeractiviteit in op ImpalaSource. De volgende eigenschappen worden ondersteund in de sectie bron van de kopieeractiviteit.

Eigenschappen Beschrijving Vereist
soort De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op ImpalaSource. Ja
zoekopdracht Gebruik de aangepaste SQL-query om gegevens te lezen. Een voorbeeld is "SELECT * FROM MyTable". Nee (als 'tableName' in de gegevensset is opgegeven)

Voorbeeld:

"activities":[
    {
        "name": "CopyFromImpala",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Impala input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ImpalaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Gegevenstype-toewijzing voor Impala

Wanneer u gegevens kopieert van en naar Impala, worden de volgende tussentijdse toewijzingen van gegevenstypen in de service gebruikt. Zie Schema- en gegevenstypetoewijzingen voor meer informatie over hoe de kopieeractiviteit het bronschema en het gegevenstype toewijst aan de sink.

Impala-gegevenstype Tussentijds servicedatatype (voor versie 2.0) Interim service-gegevenssoort (voor versie 1.0)
ARRAY Snaar / Touwtje Snaar / Touwtje
BIGINT Int64 Int64
Booleaans Booleaan Booleaan
VERKOLEN Snaar / Touwtje Snaar / Touwtje
DATUM Datum/tijd Datum/tijd
Decimaal Decimaal Decimaal
Dubbel Dubbel Dubbel
Drijven Enkel Enkel
INT Int32 Int32
Kaart Snaar / Touwtje Snaar / Touwtje
SMALLINT Int16 Int16
TEKENREEKS Snaar / Touwtje Snaar / Touwtje
Structuur Snaar / Touwtje Snaar / Touwtje
TIJDSTEMPEL DatumTijdOffset Datum/tijd
TINYINT SByte Int16
VARCHAR Snaar / Touwtje Snaar / Touwtje

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.

Levenscyclus en upgrade van Impala-connector

In de volgende tabel ziet u de releasefase en wijzigingslogboeken voor verschillende versies van de Impala-connector:

Versie Releasefase Wijzigingslogboek
Versie 1.0 Removed Niet van toepassing.
Versie 2.0 GA-versie beschikbaar • De zelf-hostende Integration Runtime-versie moet 5.55 of hoger zijn.

• De standaardwaarde van enableSSL is waar. enableServerCertificateValidation wordt ondersteund.
trustedCertPath, useSystemTrustStoreallowHostNameCNMismatch en allowSelfSignedServerCert worden niet ondersteund.

• TIMESTAMP wordt gelezen als DateTimeOffset-gegevenstype.

• TINYINT wordt gelezen als SByte-gegevenstype.

• Verificatietype SASLUsername wordt niet ondersteund.

De Impala-connector upgraden van versie 1.0 naar versie 2.0

  1. Selecteer op de pagina Gekoppelde service bewerken versie 2.0 en configureer de gekoppelde service door te verwijzen naar de eigenschappen van de gekoppelde service versie 2.0.

  2. De toewijzing van het gegevenstype voor de gekoppelde Impala-service versie 2.0 verschilt van die voor versie 1.0. Bekijk Gegevenstypetoewijzing voor Impala om de laatste toewijzing van gegevenstypen te leren kennen.

  3. Pas een zelf-gehoste Integration Runtime toe met versie 5.55 of hoger.

Gerelateerde inhoud

Zie Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.

  • Last updated on