Копирование данных из хранилища данных IBM Informix и в него с помощью Фабрики данных Azure или Synapse Analytics

Статья
12/09/2023

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как с помощью действия Copy в конвейере Фабрики данных Azure или Synapse Analytics копировать данные из хранилища данных IBM Informix. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Informix предназначен для следующих возможностей:

Поддерживаемые возможности	IR
Действие копирования (источник/приемник)	②
Действие поиска	②

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных и форматы.

Необходимые компоненты

Чтобы использовать этот соединитель Informix, сделайте следующее:

Настроить локальную среду выполнения интеграции. Дополнительные сведения см. в статье Создание и настройка локальной среды выполнения интеграции.
Скачайте пакет SDK для 64-разрядной версии клиента для Informix, чтобы создать подключение ODBC для хранилища данных на компьютере Integration Runtime. Подробные сведения о скачивании и установке пакета SDK см. в этой статье или запросите руководство по установке драйвера в группе поддержки IBM.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

Создание связанной службы для Informix с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать связанную службу для Informix с помощью пользовательского интерфейса на портале Azure.

Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":
- Фабрика данных Azure
- Azure Synapse
Выполните поиск по слову "Informix" и выберите соединитель Informix.
Настройте сведения о службе, проверьте подключение и создайте связанную службу.

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Informix.

Свойства связанной службы

Для связанной службы Informix поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Для свойства type необходимо задать значение Informix	Да
connectionString	Строка подключения ODBC, исключающая учетные данные. Можно указать строку подключения или использовать системное имя источника данных (DSN), которое вы настроили на компьютере Integration Runtime (вы все равно должны указать соответствующие учетные данные в связанной службе). Вы можете также поместить пароль в Azure Key Vault и извлечь конфигурацию `password` из строки подключения. Дополнительные сведения см. в разделе Хранение учетных данных в Azure Key Vault.	Да
authenticationType	Тип проверки подлинности, используемый для подключения к хранилищу данных Informix. Допустимые значения: Basic, Anonymous.	Да
userName	При использовании обычной проверки подлинности укажите имя пользователя.	No
password	Введите пароль для учетной записи пользователя, указанной для выбранного имени пользователя. Пометьте это поле как SecureString, чтобы безопасно хранить его, или добавьте ссылку на секрет, хранящийся в Azure Key Vault.	No
учетные данные	Учетные данные в строке подключения, используемые для получения доступа и указанные в формате "драйвер-определенное свойство-значение". Пометьте это поле в качестве SecureString.	No
connectVia	Среда выполнения интеграции, используемая для подключения к хранилищу данных. Требуется локальная среда IR, как упоминалось в разделе Предварительные требования.	Да

Пример:

{
    "name": "InformixLinkedService",
    "properties": {
        "type": "Informix",
        "typeProperties": {
            "connectionString": "<Informix connection string or DSN>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Informix.

Для копирования данных из Informix поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Для свойства type набора данных необходимо задать значение InformixTable	Да
tableName	Имя таблицы в Informix.	Нет для источника (если свойство query указано в источнике действия). Да для приемника.

Пример

{
    "name": "InformixDataset",
    "properties": {
        "type": "InformixTable",
        "linkedServiceName": {
            "referenceName": "<Informix linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе содержится список свойств, поддерживаемых источником Informix.

Informix в качестве источника

Для копирования данных из Informix в разделе source для действия копирования поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Свойство type источника действия копирования должно иметь значение InformixSource	Да
query	Используйте пользовательский запрос для чтения данных. Например: `"SELECT * FROM MyTable"`.	Нет (если для набора данных задано свойство tableName)

Пример:

"activities":[
    {
        "name": "CopyFromInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Informix input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "InformixSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Informix в качестве приемника

Для копирования данных в Informix в разделе sink для действия копирования поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Свойство type для приемника действия копирования должно иметь значение InformixSink	Да
writeBatchTimeout	Время ожидания до выполнения операции пакетной вставки, пока не завершится срок ее действия. Допустимые значения: промежуток времени. Пример: 00:30:00 (30 минут).	No
writeBatchSize	Вставляет данные в таблицу SQL, когда размер буфера достигает значения writeBatchSize. Допустимые значения: целое число (количество строк).	Нет (по умолчанию — 0 (автоматическое обнаружение))
preCopyScript	Перед записью данных в хранилище данных при каждом запуске указывайте SQL-запрос для выполнения операции копирования. Это свойство можно использовать для очистки предварительно загруженных данных.	No
maxConcurrent Подключение ions	Верхний предел одновременных подключений, установленных для хранилища данных при выполнении действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.	Без

Пример:

"activities":[
    {
        "name": "CopyToInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Informix output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "InformixSink"
            }
        }
    }
]

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.

Копирование данных из хранилища данных IBM Informix и в него с помощью Фабрики данных Azure или Synapse Analytics

Поддерживаемые возможности

Необходимые компоненты

Начало работы

Создание связанной службы для Informix с помощью пользовательского интерфейса

Сведения о конфигурации соединителя

Свойства связанной службы

Свойства набора данных

Свойства действия копирования

Informix в качестве источника

Informix в качестве приемника

Свойства действия поиска

Связанный контент

Дополнительные ресурсы