Freigeben über

Kopieren von Daten aus Vertica mithilfe von Azure Data Factory oder Synapse Analytics

  • Artikel

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Tipp

Testen Sie Data Factory in Microsoft Fabric, eine All-in-One-Analyselösung für Unternehmen. Microsoft Fabric deckt alle Aufgaben ab, von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen, Business Intelligence und Berichterstellung. Erfahren Sie, wie Sie kostenlos eine neue Testversion starten!

In diesem Artikel wird beschrieben, wie Sie die Copy-Aktivität in Azure Data Factory- oder Azure Synapse Analytics-Pipelines verwenden, um Daten aus Vertica zu kopieren. Er baut auf dem Artikel zur Übersicht über die Kopieraktivität auf, der eine allgemeine Übersicht über die Kopieraktivität enthält.

Unterstützte Funktionen

Für den Vertica-Connector werden die folgenden Funktionen unterstützt:

Unterstützte Funktionen IR
Kopieraktivität (Quelle/-) ① (nur für Version 1.0) ②
Lookup-Aktivität ① (nur für Version 1.0) ②

① Azure Integration Runtime ② Selbstgehostete Integration Runtime

Eine Liste der Datenspeicher, die als Quellen oder Senken für die Kopieraktivität unterstützt werden, finden Sie in der Tabelle Unterstützte Datenspeicher.

Der Dienst enthält einen integrierten Treiber zum Herstellen der Konnektivität. Daher müssen Sie keinen Treiber manuell installieren, wenn dieser Connector verwendet wird.

Für Version 2.0 (Vorschau) müssen Sie manuell einen Vertica ODBC-Treiber installieren. Für Version 1.0 stellt der Dienst einen integrierten Treiber zum Aktivieren der Konnektivität bereit, daher müssen Sie keinen Treiber manuell installieren.

Voraussetzungen

Wenn sich Ihr Datenspeicher in einem lokalen Netzwerk, in einem virtuellen Azure-Netzwerk oder in einer virtuellen privaten Amazon-Cloud befindet, müssen Sie eine selbstgehostete Integration Runtime konfigurieren, um eine Verbindung herzustellen. Wenn Sie die Version 2.0 (Vorschau) verwenden, sollte Ihre selbst gehostete Integrationslaufzeitversion 5.44.8984.1 oder höher sein.

Weitere Informationen zu den von Data Factory unterstützten Netzwerksicherheitsmechanismen und -optionen finden Sie unter Datenzugriffsstrategien.

Für Version 1.0

Handelt es sich bei Ihrem Datenspeicher um einen verwalteten Clouddatendienst, können Sie die Azure Integration Runtime verwenden. Ist der Zugriff auf IP-Adressen beschränkt, die in den Firewallregeln genehmigt sind, können Sie Azure Integration Runtime-IPs zur Positivliste hinzufügen.

Sie können auch das Feature managed virtual network integration runtime (Integration Runtime für verwaltete virtuelle Netzwerke) in Azure Data Factory verwenden, um auf das lokale Netzwerk zuzugreifen, ohne eine selbstgehostete Integration Runtime zu installieren und zu konfigurieren.

Installieren des Vertica ODBC-Treibers für Version 2.0 (Vorschau)

Um den Vertica-Connector mit Version 2.0 (Vorschau) zu verwenden, installieren Sie den Vertica ODBC-Treiber auf dem Computer, auf dem die selbst gehostete Integrationslaufzeit ausgeführt wird, indem Sie die folgenden Schritte ausführen:

  1. Laden Sie das Vertica-Clientsetup für ODBC-Treiber von Client Drivers | OpenText™ Vertica™ herunter. Nehmen Sie das Windows-Systemsetup als Beispiel:

    Screenshot eines Windows-Systemsetupbeispiels.

  2. Öffnen Sie die heruntergeladene .exe, um den Installationsprozess zu starten. 

    Screenshot des Installationsvorgangs.

  3. Wählen Sie unter Vertica Component List den ODBC-Treiber und dann Weiter aus, um die Installation zu starten.

    Screenshot der Auswahl des ODBC-Treibers.

  4. Nachdem der Installationsvorgang erfolgreich abgeschlossen wurde, können Sie zum Start -> ODBC-Datenquellenadministrator wechseln, um die erfolgreiche Installation zu bestätigen.

    Screenshot der Bestätigung der erfolgreichen Installation.

Erste Schritte

Sie können mit dem .NET SDK, Python SDK, Azure PowerShell, der REST-API oder der Azure Resource Manager-Vorlage eine Pipeline mit einer Kopieraktivität erstellen. Im Tutorial zur Kopieraktivität finden Sie detaillierte Anweisungen, wie Sie eine Pipeline mit einer Kopieraktivität erstellen können.

Erstellen eines verknüpften Diensts mit Vertica über die Benutzeroberfläche

Verwenden Sie die folgenden Schritte, um einen verknüpften Dienst mit Vertica auf der Azure-Portal Ui zu erstellen.

  1. Navigieren Sie in Ihrem Azure Data Factory- oder Synapse-Arbeitsbereich zu der Registerkarte „Verwalten“, wählen Sie „Verknüpfte Dienste“ aus und klicken Sie dann auf „Neu“:

  2. Suchen Sie nach Vertica, und wählen Sie den Vertica-Connector aus.

    Screenshot vom Vertica-Connector.

  3. Konfigurieren Sie die Dienstdetails, testen Sie die Verbindung, und erstellen Sie den neuen verknüpften Dienst.

    Ein Screenshot, der die Konfiguration des verknüpften Diensts für Vertica zeigt.

Details zur Connector-Konfiguration

Die folgenden Abschnitte enthalten Details zu Eigenschaften, die zum Definieren von Data Factory-Entitäten speziell für den Vertica-Connector verwendet werden.

Eigenschaften des verknüpften Diensts

Wenn Sie Version 2.0 (Vorschau) verwenden, werden die folgenden Eigenschaften für den verknüpften Vertica-Dienst unterstützt:

Eigenschaft Beschreibung Erforderlich
type Die type-Eigenschaft muss auf Vertica festgelegt werden. Ja
server Der Name oder die IP-Adresse des Servers, mit dem Sie eine Verbindung herstellen möchten. Ja
port Die Portnummer des Serverlisteners. Nein, der Standardwert ist 5433
database Name der Vertica-Datenbank. Ja
uid Die Benutzer-ID, die zum Herstellen einer Verbindung mit der Datenbank verwendet wird. Ja
pwd Das Kennwort, das die Anwendung zum Herstellen einer Verbindung mit der Datenbank verwendet. Ja
version Die Version, wenn Sie Version 2.0 (Vorschau) auswählen. Der Wert ist 2.0. Ja
connectVia Die Integrationslaufzeit, die zum Herstellen einer Verbindung mit dem Datenspeicher verwendet werden muss. Weitere Informationen finden Sie im Abschnitt Voraussetzungen. Sie können nur die selbst gehostete Integrationslaufzeit verwenden und ihre Version sollte 5.44.8984.1 oder höher sein. No

Beispiel:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Beispiel: Speichern des Kennworts in Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Wenn Sie Version 1.0 verwenden, werden die folgenden Eigenschaften unterstützt:

Eigenschaft Beschreibung Erforderlich
type Die type-Eigenschaft muss auf Vertica festgelegt werden. Ja
connectionString Eine ODBC-Verbindungszeichenfolge zum Herstellen einer Verbindung mit Vertica.
Sie können auch das Kennwort in Azure Key Vault speichern und die pwd-Konfiguration aus der Verbindungszeichenfolge pullen. Ausführlichere Informationen finden Sie in den folgenden Beispielen und im Artikel Speichern von Anmeldeinformationen in Azure Key Vault.		 Ja
connectVia Die Integrationslaufzeit, die zum Herstellen einer Verbindung mit dem Datenspeicher verwendet werden muss. Weitere Informationen finden Sie im Abschnitt Voraussetzungen. Wenn keine Option angegeben ist, wird die standardmäßige Azure Integration Runtime verwendet. Nein

Beispiel:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Dataset-Eigenschaften

Eine vollständige Liste mit den Abschnitten und Eigenschaften, die zum Definieren von Datasets zur Verfügung stehen, finden Sie im Artikel zu Datasets. Dieser Abschnitt enthält eine Liste mit den Eigenschaften, die vom Vertica-Dataset unterstützt werden.

Legen Sie zum Kopieren von Daten aus Vertica die type-Eigenschaft des Datasets auf VerticaTable fest. Folgende Eigenschaften werden unterstützt:

Eigenschaft Beschreibung Erforderlich
type Die type-Eigenschaft des Datasets muss auf VerticaTable festgelegt werden. Ja
schema Name des Schemas. Nein (wenn „query“ in der Aktivitätsquelle angegeben ist)
table Der Name der Tabelle. Nein (wenn „query“ in der Aktivitätsquelle angegeben ist)

Beispiel

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Eigenschaften der Kopieraktivität

Eine vollständige Liste mit den Abschnitten und Eigenschaften zum Definieren von Aktivitäten finden Sie im Artikel Pipelines. Dieser Abschnitt enthält eine Liste mit den Eigenschaften, die von der Vertica-Quelle unterstützt werden.

Vertica als Quelle

Legen Sie zum Kopieren von Daten aus Vertica den Quelltyp in der Kopieraktivität auf VerticaSource fest. Folgende Eigenschaften werden im Abschnitt source der Kopieraktivität unterstützt:

Eigenschaft Beschreibung Erforderlich
type Die type-Eigenschaft der Quelle der Kopieraktivität muss auf VerticaSource festgelegt werden. Ja
Abfrage Verwendet die benutzerdefinierte SQL-Abfrage zum Lesen von Daten. Beispiel: "SELECT * FROM MyTable" Nein (wenn „schema+table“ im Dataset angegeben ist)

Beispiel:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Eigenschaften der Lookup-Aktivität

Ausführliche Informationen zu den Eigenschaften finden Sie unter Lookup-Aktivität.

Aktualisieren der Vertica-Version

Die folgenden Schritte helfen Ihnen beim Upgrade Ihrer Vertica-Version:

  1. Installieren Sie einen Vertica ODBC-Treiber, indem Sie die Schritte unter Voraussetzungen ausführen.
  2. Wählen Sie auf der Seite Verknüpften Dienst bearbeiten unter Version die Option 2.0 (Vorschau) aus, und konfigurieren Sie den verknüpften Dienst, indem Sie auf Eigenschaften des verknüpften Diensts verweisen.
  3. Richten Sie eine selbstgehostete Integration Runtime Version 5.44.8984.1 oder höher ein. Die Azure-Integrationslaufzeit wird von Version 2.0 (Vorschau) nicht unterstützt.

Zugehöriger Inhalt

Eine Liste der Datenspeicher, die als Quelles und Senken für die Kopieraktivität unterstützt werden, finden Sie in der Dokumentation für Unterstützte Datenspeicher.