Udostępnij za pośrednictwem

Kopiowanie danych z Vertica przy użyciu usługi Azure Data Factory lub Synapse Analytics

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano, jak używać kopiowania danych w pipeline usługi Azure Data Factory lub Synapse Analytics do kopiowania danych z Vertica. Opiera się na artykule dotyczącym przeglądu działania kopiowania, który przedstawia ogólny przegląd działania kopiowania.

Ważne

Łącznik Vertica w wersji 2.0 zapewnia ulepszoną natywną obsługę Vertica. Jeśli używasz łącznika Vertica w wersji 1.0 w rozwiązaniu, uaktualnij łącznik Vertica przed 31 lipca 2025 r. Zapoznaj się z tą sekcją , aby uzyskać szczegółowe informacje na temat różnic między wersją 2.0 a wersją 1.0.

Obsługiwane możliwości

Ten łącznik Vertica jest obsługiwany w przypadku następujących funkcjonalności:

Obsługiwane możliwości IR
Kopiuj działania (źródło/-) (1) (tylko w wersji 1.0) (2)
Działanie wyszukiwania (1) (tylko w wersji 1.0) (2)

(1) Środowisko uruchomieniowe integracji Azure (2) Samoobsługowe środowisko uruchomieniowe integracji

Aby uzyskać listę magazynów danych obsługiwanych jako źródła/ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność, dlatego nie trzeba ręcznie instalować żadnego sterownika przy użyciu tego łącznika.

W wersji 2.0 należy zainstalować sterownik Vertica ODBC ręcznie. W wersji 1.0 usługa udostępnia wbudowany sterownik umożliwiający łączność, dlatego nie trzeba ręcznie instalować żadnego sterownika.

Wymagania wstępne

Jeśli magazyn danych znajduje się wewnątrz sieci lokalnej, sieci wirtualnej platformy Azure lub Amazon Virtual Private Cloud, musisz skonfigurować samodzielnie hostowane środowisko uruchomienia integracji, aby się z nim połączyć. Jeśli używasz wersji 2.0, własne środowisko Integration Runtime powinno mieć wersję 5.44.8984.1 lub nowszą.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Dla wersji 1.0

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć środowiska Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP środowiska Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji zarządzanej sieci wirtualnej Integration Runtime w usłudze Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez konieczności instalowania i konfigurowania własnego środowiska Integration Runtime.

Zainstaluj sterownik Vertica ODBC dla wersji 2.0

Aby użyć łącznika Vertica w wersji 2.0, zainstaluj sterownik Vertica ODBC na maszynie z uruchomionym własnym środowiskiem Integration Runtime, wykonując następujące kroki:

  1. Pobierz konfigurację klienta Vertica dla sterownika ODBC ze sterowników klienta | OpenText™ Vertica™. Weź pod uwagę konfigurację systemu Windows jako przykład:

    Zrzut ekranu przedstawiający przykład konfiguracji systemu Windows.

  2. Otwórz pobrany .exe, aby rozpocząć proces instalacji. 

    Zrzut ekranu przedstawiający proces instalacji.

  3. Wybierz Sterownik ODBC z listy składników Vertica, a następnie wybierz Dalej, aby rozpocząć instalację.

    Zrzut ekranu przedstawiający wybieranie sterownika ODBC.

  4. Po pomyślnym zakończeniu procesu instalacji możesz przejść do pozycji Start —> administrator źródła danych ODBC, aby potwierdzić pomyślną instalację.

    Zrzut ekranu przedstawiający potwierdzenie pomyślnej instalacji.

Wprowadzenie

Potok danych można utworzyć za pomocą operacji kopiowania przy użyciu .NET SDK, Python SDK, Azure PowerShell, REST API lub szablonu Azure Resource Manager. Zobacz samouczek działania kopiowania, aby uzyskać instrukcje krok po kroku dotyczące tworzenia pipeline'u z działaniem kopiowania.

Utwórz powiązaną usługę do Vertica za pomocą interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z Vertica w interfejsie użytkownika witryny Azure Portal.

  1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

  2. Wyszukaj Vertica i wybierz konektor Vertica.

    Zrzut ekranu przedstawiający łącznik Vertica.

  3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

    Zrzut ekranu przedstawiający połączoną konfigurację usługi dla Vertica.

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika Vertica.

Właściwości połączonej usługi

Jeśli używasz wersji 2.0, następujące właściwości są obsługiwane dla połączonej usługi Vertica:

Własność Opis Wymagane
typ Właściwość type musi być ustawiona na: Vertica Tak
serwer Nazwa lub adres IP serwera, z którym chcesz nawiązać połączenie. Tak
port Numer portu odbiornika serwera. Nie, wartość domyślna to 5433
baza danych Nazwa bazy danych Vertica. Tak
Identyfikator UID Identyfikator użytkownika używany do nawiązywania połączenia z bazą danych. Tak
pwd Hasło używane przez aplikację do nawiązywania połączenia z bazą danych. Tak
wersja Wersja po wybraniu wersji 2.0. Wartość to 2.0. Tak
connectVia Środowisko Integration Runtime używane do połączenia z repozytorium danych. Dowiedz się więcej w sekcji Wymagania wstępne . Możesz używać tylko własnego środowiska Integration Runtime, a jego wersja powinna mieć wartość 5.44.8984.1 lub nowszą. Nie.

Przykład:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Przykład: przechowywanie hasła w usłudze Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Jeśli używasz wersji 1.0, obsługiwane są następujące właściwości:

Własność Opis Wymagane
typ Właściwość type musi być ustawiona na: Vertica Tak
Parametry połączenia Parametr połączenia ODBC do połączenia z Vertica.
Możesz również umieścić hasło w usłudze Azure Key Vault i pobrać konfigurację pwd z ciągu połączenia. Zapoznaj się z poniższymi przykładami i artykułem Przechowywanie poświadczeń w usłudze Azure Key Vault, aby uzyskać więcej szczegółów.		 Tak
connectVia Środowisko Integration Runtime używane do połączenia z repozytorium danych. Dowiedz się więcej w sekcji Wymagania wstępne . Jeśli nie zostanie określony, używa domyślnego środowiska Azure Integration Runtime. Nie.

Przykład:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Pełna lista sekcji i właściwości dostępnych do definiowania zestawów danych znajduje się w artykule dotyczącym zestawów danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Vertica.

Aby skopiować dane z Vertica, ustaw właściwość type zestawu danych na VerticaTable. Obsługiwane są następujące właściwości:

Własność Opis Wymagane
typ Właściwość type zestawu danych musi być ustawiona na: VerticaTable Tak
schema Nazwa schematu. Nie (jeśli w pochodzeniu działania określono "zapytanie")
stół Nazwa tabeli. Nie (jeśli w pochodzeniu działania określono "zapytanie")

Przykład

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło Vertica.

Vertica jako źródło

Aby skopiować dane z Vertica, ustaw typ źródła w działaniu kopiowania na VerticaSource. Następujące właściwości są obsługiwane w sekcji źródłowej działania kopiowania:

Własność Opis Wymagane
typ Właściwość type źródła działania kopiowania musi być ustawiona na: "VerticaSource" Tak
zapytanie Użyj niestandardowego zapytania SQL, aby odczytać dane. Na przykład: "SELECT * FROM MyTable". Nie (jeśli w zestawie danych określono wartość "schema+table")

Przykład:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Właściwości działania wyszukiwania

Aby dowiedzieć się szczegółów o właściwościach, sprawdź akcję Wyszukiwania.

Uaktualnianie łącznika Vertica

Poniżej przedstawiono kroki ułatwiające uaktualnienie wersji Vertica:

  1. Zainstaluj sterownik Vertica ODBC, wykonując kroki opisane w temacie Wymagania wstępne.
  2. Na stronie Edytuj połączoną usługę wybierz wersję 2.0 i skonfiguruj połączoną usługę, odwołując się do właściwości połączonej usługi .
  3. Zastosuj samodzielnie hostowane środowisko Integration Runtime w wersji 5.44.8984.1 lub nowszej. Środowisko Azure Integration Runtime nie jest obsługiwane przez wersję 2.0.

Różnice między wersją Vertica 2.0 a 1.0

Łącznik Vertica w wersji 2.0 oferuje nowe funkcje i jest zgodny z większością funkcji wersji 1.0. W poniższej tabeli przedstawiono różnice funkcji między wersją 2.0 a wersją 1.0.

Wersja 2.0 Wersja 1.0
Obsługuj tylko własne środowisko Integration Runtime w wersji 5.44.8984.1 lub nowszej. Musisz zainstalować sterownik Vertica ODBC na maszynie, na której działa samoobsługowe środowisko uruchomieniowe integracji. Obsługa środowiska uruchomieniowego integracji Azure i środowiska uruchomieniowego integracji lokalnego.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz obsługiwane magazyny danych.