Поделиться через

Подключение к Qlik Replicate

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Qlik Replicate помогает извлекать данные из нескольких источников данных (Oracle, Microsoft SQL Server, SAP, мэйнфреймов и др.) в Delta Lake. Автоматическая система отслеживания измененных данных (CDC) в Qlik Replicate позволяет избежать тяжелой работы по извлечению данных вручную, передаче с помощью сценария API, дроблению, помещению на промежуточное хранение и обработку и импорту. Qlik Compose автоматизирует процессы CDC в Delta Lake.

Примечание.

Сведения о Qlik Sense, решении, помогающем анализировать данные в Delta Lake, см. в разделе Подключение к Qlik Sense.

Общую демонстрацию функционала Qlik Replicate Replicate см. в следующем видео на YouTube (14 минут).

Демонстрацию конвейеров данных с помощью Qlik Replicate Replicate см. в следующем видео на YouTube (6 минут).

Ниже приведены инструкции по использованию Qlik Replicate с Azure Databricks.

Шаг 1. Создание личного маркера доступа Databricks

Qlik Replicate выполняет проверку подлинности для Azure Databricks с помощью личного маркера доступа Azure Databricks.

Примечание.

В качестве рекомендации по обеспечению безопасности при проверке подлинности с помощью автоматизированных средств, систем, сценариев и приложений Databricks рекомендуется использовать личные маркеры доступа, принадлежащие субъектам-службам, а не пользователям рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе "Управление маркерами" для субъекта-службы.

Шаг 2. Настройка кластера для поддержки потребностей интеграции

Qlik Replicate будет записывать данные в путь Azure Data Lake Storage, и кластер интеграции Azure Databricks будет считывать данные из этого расположения. Поэтому кластеру интеграции требуется безопасный доступ к пути Azure Data Lake Storage.

Безопасный доступ по пути в Azure Data Lake Storage

Для защиты доступа к данным в Azure Data Lake Storage (ADLS) можно использовать ключ доступа к учетной записи хранения Azure (рекомендуется) или субъект-службу идентификатора Microsoft Entra ID.

Использование ключа доступа к учетной записи хранения Azure

Вы можете настроить ключ доступа к учетной записи хранения в кластере интеграции как часть конфигурации Spark. Убедитесь, что у учетной записи хранения есть доступ к контейнеру ADLS и файловой системе, используемой для промежуточного хранения и обработки данных, а также к контейнеру ADLS и файловой системе, в которую вы хотите записать таблицы Delta Lake. Чтобы настроить кластер интеграции для использования ключа, выполните действия, описанные в разделе "Подключение к Azure Data Lake Storage 2-го поколения и хранилищу BLOB-объектов".

Использование субъекта-службы Идентификатора Microsoft Entra

Вы можете настроить субъект-службу в кластере интеграции Azure Databricks в составе конфигурации Spark. Убедитесь, что у субъекта-службы есть доступ к контейнеру ADLS, используемому для промежуточного хранения и обработки данных, и к контейнеру ADLS, в который вы хотите записать разностные таблицы. Чтобы настроить кластер интеграции для использования субъекта-службы, выполните действия, описанные в статье Доступ к ADLS 2-го поколения с помощью субъекта-службы.

Указание конфигурации кластера

  1. Задайте для параметра Режим кластера значение Стандартный.

  2. Укажите для параметра Версия Databricks Runtime версию среды выполнения Databricks.

  3. Включите оптимизированные операции записи и автоматическое сжатие , добавив следующие свойства в конфигурацию Spark:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Настройте кластер в соответствии с вашими потребностями в интеграции и масштабировании.

Сведения о конфигурации кластера см . в справочнике по конфигурации вычислений.

Сведения о подключении для вычислительного ресурса Azure Databricks см. в разделе "Получение сведений о подключении" для получения URL-адреса JDBC и ПУТИ HTTP.

Шаг 3. Получение сведений о подключении JDBC и ODBC для подключения к кластеру

Чтобы подключить кластер Azure Databricks к Qlik Replicate, вам потребуются следующие свойства подключения JDBC/ODBC:

  • URL-адрес JDBC
  • Путь HTTP

Шаг 4. Настройка Qlik Replicate с помощью Azure Databricks

Перейдите на страницу входа в Qlik и следуйте инструкциям.

Дополнительные ресурсы

Поддержка