Delen via

Gegevens kopiëren uit Vertica met behulp van Azure Data Factory of Synapse Analytics

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u de kopieeractiviteit gebruikt in een Azure Data Factory- of Synapse Analytics-pijplijn om gegevens uit Vertica te kopiëren. Het is gebaseerd op het artikel over het overzicht van kopieeractiviteiten met een algemeen overzicht van de kopieeractiviteit.

Ondersteunde mogelijkheden

Deze Vertica-connector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden IR
Copy-activiteit (bron/-) (1) (alleen voor versie 1.0) (2)
Activiteit Lookup (1) (alleen voor versie 1.0) (2)

(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime

Zie de tabel Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen/sinks door de kopieeractiviteit.

De service biedt een ingebouwd stuurprogramma om connectiviteit in te schakelen, daarom hoeft u geen stuurprogramma handmatig te installeren met behulp van deze connector.

Voor versie 2.0 (preview) moet u handmatig een Vertica ODBC-stuurprogramma installeren. Voor versie 1.0 biedt de service een ingebouwd stuurprogramma om connectiviteit mogelijk te maken. Daarom hoeft u geen stuurprogramma handmatig te installeren.

Vereisten

Als uw gegevensarchief zich in een on-premises netwerk, een virtueel Azure-netwerk of een virtuele particuliere cloud van Amazon bevindt, moet u een zelf-hostende Integration Runtime configureren om er verbinding mee te maken. Als u versie 2.0 (preview) gebruikt, moet uw zelf-hostende Integration Runtime-versie 5.44.8984.1 of hoger zijn.

Zie Strategieën voor gegevenstoegang voor meer informatie over de netwerkbeveiligingsmechanismen en -opties die door Data Factory worden ondersteund.

Voor versie 1.0

Als uw gegevensarchief een beheerde cloudgegevensservice is, kunt u De Azure Integration Runtime gebruiken. Als de toegang is beperkt tot IP-adressen die zijn goedgekeurd in de firewallregels, kunt u IP-adressen van Azure Integration Runtime toevoegen aan de acceptatielijst.

U kunt ook de beheerde functie voor integratieruntime voor virtuele netwerken in Azure Data Factory gebruiken om toegang te krijgen tot het on-premises netwerk zonder een zelf-hostende Integration Runtime te installeren en te configureren.

Vertica ODBC-stuurprogramma installeren voor versie 2.0 (preview)

Als u de Vertica-connector wilt gebruiken met versie 2.0 (preview), installeert u het Vertica ODBC-stuurprogramma op de computer waarop de zelf-hostende Integration Runtime wordt uitgevoerd door de volgende stappen uit te voeren:

  1. Download de Vertica-clientinstallatie voor het ODBC-stuurprogramma van ClientStuurprogramma's | OpenText™ Vertica™. Stel windows-systeem in als voorbeeld:

    Schermopname van een voorbeeld van het instellen van een Windows-systeem.

  2. Open de gedownloade .exe om het installatieproces te starten. 

    Schermopname van het installatieproces.

  3. Selecteer het ODBC-stuurprogramma onder De Lijst met Onderdelen van Vertica en selecteer vervolgens Volgende om de installatie te starten.

    Schermopname van het selecteren van het ODBC-stuurprogramma.

  4. Nadat het installatieproces is voltooid, kunt u naar Start -> ODBC-gegevensbronbeheerder gaan om de geslaagde installatie te bevestigen.

    Schermopname van het bevestigen van de geslaagde installatie.

Aan de slag

U kunt een pijplijn met kopieeractiviteit maken met behulp van .NET SDK, Python SDK, Azure PowerShell, REST API of Azure Resource Manager-sjabloon. Zie Copy-activiteit zelfstudie voor stapsgewijze instructies voor het maken van een pijplijn met een kopieeractiviteit.

Een gekoppelde service maken voor Vertica met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor Vertica in de gebruikersinterface van Azure Portal.

  1. Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:

  2. Zoek naar Vertica en selecteer de Vertica-connector.

    Schermopname van de Vertica-connector.

  3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

    Schermopname van de configuratie van de gekoppelde service voor Vertica.

Configuratiedetails van connector

De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van Data Factory-entiteiten die specifiek zijn voor de Vertica-connector.

Eigenschappen van gekoppelde service

Als u versie 2.0 (preview) gebruikt, worden de volgende eigenschappen ondersteund voor de gekoppelde Vertica-service:

Eigenschappen Beschrijving Vereist
type De eigenschap type moet worden ingesteld op: Vertica Ja
server De naam of het IP-adres van de server waarmee u verbinding wilt maken. Ja
poort Het poortnummer van de serverlistener. Nee, standaard is 5433
database Naam van de Vertica-database. Ja
uid De gebruikers-id die wordt gebruikt om verbinding te maken met de database. Ja
Pwd Het wachtwoord dat de toepassing gebruikt om verbinding te maken met de database. Ja
version De versie wanneer u versie 2.0 (preview) selecteert. De waarde is 2.0. Ja
connectVia De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Meer informatie vindt u in de sectie Vereisten . U kunt alleen de zelf-hostende Integration Runtime gebruiken en de bijbehorende versie moet 5.44.8984.1 of hoger zijn. Nee

Voorbeeld:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Voorbeeld: wachtwoord opslaan in Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Als u versie 1.0 gebruikt, worden de volgende eigenschappen ondersteund:

Eigenschappen Beschrijving Vereist
type De eigenschap type moet worden ingesteld op: Vertica Ja
connectionString Een ODBC-verbindingsreeks om verbinding te maken met Vertica.
U kunt ook een wachtwoord in Azure Key Vault plaatsen en de pwd configuratie uit de verbindingsreeks halen. Raadpleeg de volgende voorbeelden en sla referenties op in het Artikel over Azure Key Vault met meer informatie.		 Ja
connectVia De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Meer informatie vindt u in de sectie Vereisten . Als dit niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt. Nee

Voorbeeld:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Vertica-gegevensset.

Als u gegevens uit Vertica wilt kopiëren, stelt u de typeeigenschap van de gegevensset in op VerticaTable. De volgende eigenschappen worden ondersteund:

Eigenschappen Beschrijving Vereist
type De typeeigenschap van de gegevensset moet worden ingesteld op: VerticaTable Ja
schema Naam van het schema. Nee (als 'query' in de activiteitsbron is opgegeven)
table Naam van de tabel. Nee (als 'query' in de activiteitsbron is opgegeven)

Voorbeeld

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Eigenschappen van de kopieeractiviteit

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door vertica-bron.

Vertica als bron

Als u gegevens uit Vertica wilt kopiëren, stelt u het brontype in de kopieeractiviteit in op VerticaSource. De volgende eigenschappen worden ondersteund in de sectie bron van kopieeractiviteit:

Eigenschappen Beschrijving Vereist
type De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op: VerticaSource Ja
query Gebruik de aangepaste SQL-query om gegevens te lezen. Voorbeeld: "SELECT * FROM MyTable". Nee (als 'schema+table' in de gegevensset is opgegeven)

Voorbeeld:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.

De Versie van Vertica upgraden

Hier volgen stappen waarmee u uw Vertica-versie kunt upgraden:

  1. Installeer een Vertica ODBC-stuurprogramma door de stappen in Vereisten te volgen.
  2. Selecteer op de pagina Gekoppelde service bewerken 2.0 (preview) onder Versie en configureer de gekoppelde service door te verwijzen naar de eigenschappen van de gekoppelde service.
  3. Pas een zelf-hostende Integration Runtime toe met versie 5.44.8984.1 of hoger. Azure Integration Runtime wordt niet ondersteund door versie 2.0 (preview).

Gerelateerde inhoud

Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.