Поделиться через

Копирование данных из Vertica с помощью Фабрики данных Azure или Synapse Analytics

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как с помощью действия копирования в Фабрике данных Azure и конвейерах Azure Synapse Analytics копировать данные из Vertica. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Vertica поддерживается для следующих возможностей:

Поддерживаемые возможности IR
Действие копирования (источник/-) (1) (только для версии 1.0) (2)
Действие поиска (1) (только для версии 1.0) (2)

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных и форматы.

Служба предоставляет встроенный драйвер для обеспечения подключения, поэтому вам не нужно вручную устанавливать какой-либо драйвер с помощью этого соединителя.

Для версии 2.0 (предварительная версия) необходимо вручную установить драйвер Vertica ODBC. Для версии 1.0 служба предоставляет встроенный драйвер для включения подключения, поэтому вам не нужно вручную устанавливать драйвер.

Необходимые компоненты

Если хранилище данных размещено в локальной сети, виртуальной сети Azure или виртуальном частном облаке Amazon, для подключения к нему нужно настроить локальную среду выполнения интеграции. При использовании версии 2.0 (предварительная версия) локальная версия среды выполнения интеграции должна быть 5.44.8984.1 или более поздней.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Для версии 1.0

Если же хранилище данных представляет собой управляемую облачную службу данных, можно использовать Azure Integration Runtime. Если доступ ограничен IP-адресами, утвержденными в правилах брандмауэра, можно добавить IP-адреса среды выполнения интеграции Azure в список разрешений.

Вы также можете использовать функцию среды выполнения интеграции в управляемой виртуальной сети в Фабрике данных Azure для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Установите драйвер ODBC Vertica для версии 2.0 (предварительная версия)

Чтобы использовать соединитель Vertica с версией 2.0 (предварительная версия), установите драйвер Vertica ODBC на компьютере, на котором запущена локальная среда выполнения интеграции, выполнив следующие действия:

  1. Скачайте настройку клиента Vertica для драйвера ODBC из клиентских драйверов | OpenText™ Vertica™. Пример настройки системы Windows:

    Снимок экрана: пример настройки системы Windows.

  2. Откройте скачанный .exe, чтобы начать процесс установки. 

    Снимок экрана: процесс установки.

  3. Выберите драйвер ODBC в списке компонентов Vertica, а затем нажмите кнопку "Далее ", чтобы начать установку.

    Снимок экрана: выбор драйвера ODBC.

  4. После успешного завершения процесса установки можно перейти к началу —> администратор источника данных ODBC, чтобы подтвердить успешную установку.

    Снимок экрана: подтверждение успешной установки.

Начало работы

Вы можете создать конвейер с помощью операции копирования, используя пакет SDK для .NET, пакет SDK для Python, Azure PowerShell, API REST или шаблон Azure Resource Manager. Пошаговые инструкции по созданию конвейера с действием копирования см. в руководстве по действию копирования.

Создание связанной службы для Vertica с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать связанную службу для Vertica с помощью пользовательского интерфейса на портале Azure.

  1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

  2. Выполните поиск Vertica и выберите соединитель Vertica.

    Снимок экрана с соединителем Vertica.

  3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

    Снимок экрана с конфигурацией связанной службы для Vertica.

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Vertica.

Свойства связанной службы

Если вы используете версию 2.0 (предварительная версия), для связанной службы Vertica поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
type Для свойства type необходимо задать значение Vertica Да
server Имя или IP-адрес сервера, к которому требуется подключиться. Да
port Номер порта прослушивателя сервера. Нет, значение по умолчанию — 5433
database Имя базы данных Vertica. Да
uid Идентификатор пользователя, используемый для подключения к базе данных. Да
pwd Пароль, который приложение использует для подключения к базе данных. Да
версия Версия при выборе версии 2.0 (предварительная версия). Значение — 2.0. Да
connectVia Среда выполнения интеграции, используемая для подключения к хранилищу данных. Дополнительные сведения см. в разделе Предварительные условия. Вы можете использовать только локальную среду выполнения интеграции, а ее версия должна быть 5.44.8984.1 или более поздней. No

Пример:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

При использовании версии 1.0 поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
type Для свойства type необходимо задать значение Vertica Да
connectionString Строка для подключения к Vertica через интерфейс ODBC.
Вы можете также поместить пароль в Azure Key Vault и извлечь конфигурацию pwd из строки подключения. Ознакомьтесь с приведенными ниже примерами и подробными сведениями в статье Хранение учетных данных в Azure Key Vault.		 Да
connectVia Среда выполнения интеграции, используемая для подключения к хранилищу данных. Дополнительные сведения см. в разделе Предварительные условия. Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure. No

Пример:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Vertica.

Чтобы скопировать данные из Vertica, установите свойство type набора данных VerticaTable. Поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
type Свойство type для набора данных должно иметь значение VerticaTable. Да
schema Имя схемы. Нет (если свойство query указано в источнике действия)
table Имя таблицы. Нет (если свойство query указано в источнике действия)

Пример

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе содержится список свойств, поддерживаемых Vertica как источником.

Vertica в качестве источника

Чтобы копировать данные из Vertica, установите тип источника VerticaSource в действии копирования. В разделе source действия копирования поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
type Свойство type источника действия копирования должно иметь значение VerticaSource. Да
query Используйте пользовательский SQL-запрос для чтения данных. Например: "SELECT * FROM MyTable". Нет (если указан параметр schema+table в наборе данных)

Пример:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление версии Vertica

Ниже приведены шаги, которые помогут вам обновить версию Vertica:

  1. Установите драйвер ODBC Vertica, выполнив действия, описанные в предварительных требованиях.
  2. На странице "Изменить связанную службу" выберите 2.0 (предварительная версия) в разделе "Версия" и настройте связанную службу, указав свойства связанной службы.
  3. Примените локальную среду выполнения интеграции с версией 5.44.8984.1 или более поздней. Среда выполнения интеграции Azure не поддерживается версией 2.0 (предварительная версия).

Связанный контент

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.