Копирование данных из Presto с помощью Фабрики данных Azure или Synapse Analytics

Статья
10/20/2023

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как с помощью действия Copy в конвейере Фабрики данных Azure или Synapse Analytics копировать данные из Presto. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Presto поддерживается для следующих возможностей:

Поддерживаемые возможности	IR
Действие копирования (источник/-)	① ②
Действие поиска	① ②

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных и форматы.

Служба предоставляет встроенный драйвер для обеспечения подключения, поэтому вам не нужно вручную устанавливать какой-либо драйвер с помощью этого соединителя.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

Создание связанной службы с Presto с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу с Presto в пользовательском интерфейсе портала Azure.

Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":
- Фабрика данных Azure
- Azure Synapse
Найдите Presto и выберите соединитель Presto.
Настройте сведения о службе, проверьте подключение и создайте связанную службу.

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения объектов фабрики данных, относящихся к соединителю Presto.

Свойства связанной службы

Для связанной службы Presto поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Для свойства type необходимо задать значение Presto	Да
host	IP-адрес или имя узла службы Presto. (например, 192.168.222.160)	Да
serverVersion	Версия сервера Presto (например, 0,148-t)	Да
сценариев	Контекст каталога для всех запросов к серверу.	Да
port	TCP-порт, используемый сервером Presto для прослушивания клиентских подключений. Значение по умолчанию — 8080.	No
authenticationType	Механизм аутентификации, используемый для подключения к серверу Presto. Допустимые значения — Анонимно или LDAP.	Да
username	Имя пользователя, используемое для подключения к серверу Presto.	No
password	Пароль, соответствующий имени пользователя. Пометьте это поле как SecureString, чтобы безопасно хранить его, или добавьте ссылку на секрет, хранящийся в Azure Key Vault.	No
enableSsl	Указывает, шифруются ли подключения к серверу с помощью протокола TLS. По умолчанию используется значение false.	No
trustedCertPath	Полный путь к PEM-файлу, который содержит сертификаты доверенного ЦС для проверки сервера при подключении по протоколу TLS. Это свойство можно установить только при использовании TLS в локальных средах выполнения интеграции. Значением по умолчанию является файл cacerts.pem, который устанавливается вместе с IR.	No
useSystemTrustStore	Указывает, следует ли использовать сертификат ЦС из доверенного хранилища системы или из указанного PEM-файла. По умолчанию используется значение false.	No
allowHostNameCNMismatch	Указывает, следует ли требовать, чтобы имя TLS/SSL-сертификата, выданного ЦС, совпадало с именем узла сервера при подключении по протоколу TLS. По умолчанию используется значение false.	No
allowSelfSignedServerCert	Указывает, следует ли разрешить использование самозаверяющих сертификатов с сервера. По умолчанию используется значение false.	No
timeZoneID	Локальный часовой пояс, используемый подключением. Допустимые значения для этого параметра указываются в базе данных часового пояса IANA. Значение по умолчанию — часовой пояс, используемый в системе.	No

Пример:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "typeProperties": {
            "host" : "<host>",
            "serverVersion" : "0.148-t",
            "catalog" : "<catalog>",
            "port" : "<port>",
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "timeZoneID" : "Europe/Berlin"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Presto.

Чтобы скопировать данные из Presto, установите свойство типа набора данных PrestoObject. Поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Для свойства type набора данных должно быть задано значение: PrestoObject	Да
schema	Имя схемы.	Нет (если свойство query указано в источнике действия)
table	Имя таблицы.	Нет (если свойство query указано в источнике действия)
tableName	Имя таблицы со схемой. Это свойство поддерживается только для обеспечения обратной совместимости. Для новых рабочих нагрузок используйте `schema` и `table`.	Нет (если свойство query указано в источнике действия)

Пример

{
    "name": "PrestoDataset",
    "properties": {
        "type": "PrestoObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Presto linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе содержится список свойств, поддерживаемых источником Presto.

Presto в качестве источника

Чтобы копировать данные из Presto, установите тип источника PrestoSource в действии копирования. В разделе source действия копирования поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Свойство type источника действия копирования должно иметь значение PrestoSource.	Да
query	Используйте пользовательский SQL-запрос для чтения данных. Например: `"SELECT * FROM MyTable"`.	Нет (если для набора данных задано свойство tableName)

Пример:

"activities":[
    {
        "name": "CopyFromPresto",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Presto input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "PrestoSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.