Поделиться через

Подключение к Fivetran

Автоматизированная интеграция данных Fivetran адаптируется по мере изменений схем и API, обеспечивая надежный доступ к данным и упрощенный анализ с помощью готовых к запросам схем.

С помощью Hightouch вы можете интегрировать ваши хранилища Databricks SQL (прежнее название — конечные точки Databricks SQL) и кластеры Azure Databricks с помощью Fivetran. Интеграция Fivetran с Azure Databricks помогает централизовать данные из разнородных источников в Delta Lake.

Подключение к Fivetran с помощью Partner Connect

В этом разделе описывается, как подключиться к Fivetran с помощью Partner Connect. Каждый пользователь создает собственное подключение.

Примечание.

Опыт подключения каждого пользователя находится в публичной предварительной версии. Вы можете отключить возможность создания подключений для каждого пользователя, связавшись с командой по работе с учетными записями Azure Databricks.

Перед подключением с помощью Partner Connect

Прежде чем подключиться к Fivetran с помощью Partner Connect, убедитесь, что у вас есть следующее:

  • Роль администратора рабочей области или следующие разрешения:
    • Разрешение CAN USE для хранилища SQL
    • Разрешение CAN USE для использования маркеров
  • Для данных, управляемых Unity Catalog, необходимы следующие привилегии на объекты метахранилища для каталога, в который вы хотите, чтобы записывал Fivetran:
    • USE CATALOG иCREATE SCHEMA в каталоге.
    • (Необязательно) Чтобы указать расположение назначения и получить доступ к данным в облачном хранилище объектов, используйте CREATE EXTERNAL TABLE во внешнем расположении.
  • Для данных, управляемых устаревшим хранилищем метаданных Hive, следующие права объекта хранилища метаданных для каталога, в который требуется записать Fivetran:
    • USAGE и CREATE каталога
    • (Необязательно) Чтобы указать расположение назначения, получите доступ к данным в облачном хранилище объектов.

Привилегии для объектов хранилища метаданных каталога Unity могут предоставляться администратором хранилища метаданных, владельцем объекта или владельцем каталога или схемы, содержащей объект. Дополнительные сведения см. в разделе "Привилегии каталога Unity" и защищаемые объекты.

Привилегии для устаревших объектов хранилища метаданных Hive могут предоставляться администратором рабочей области или владельцем объекта. Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие версии).

Доступ к данным в облачном хранилище объектов должен быть настроен администратором рабочей области с достаточными разрешениями в учетной записи хранения объектов облака. Дополнительные сведения см. в разделе "Конфигурации доступа к данным".

Действия по подключению партнеров

Чтобы подключить рабочую область Azure Databricks к Fivetran с помощью Partner Connect, сделайте следующее:

  1. На боковой панели нажмите кнопку Partner Connect.

  2. Щелкните плитку Fivetran .

    В этом разделе описано, как создать пробную учетную запись на уровне пользователя Fivetran. Чтобы войти в существующую пробную учетную запись на уровне рабочей области Fivetran, нажмите кнопку "Использовать существующее подключение", выполните инструкции на экране, чтобы войти в Fivetran, и пропустить остальные действия, описанные в этой статье.

  3. Выберите хранилище SQL. Если хранилище SQL остановлено, нажмите кнопку "Пуск".

  4. Если рабочая область поддерживает Unity Catalog, выберите каталог Unity для записи данных Fivetran, а затем нажмите кнопку "Далее".

    Partner Connect создает личный маркер доступа Azure Databricks, связанный с пользователем.

  5. Нажмите кнопку "Подключиться к Fivetran".

    Откроется новая вкладка в веб-браузере, на котором отображается веб-сайт Fivetran.

  6. Выполните инструкции на экране на веб-сайте Fivetran, чтобы создать пробную учетную запись партнера.

Подключение к Fivetran вручную

Общие сведения о процедуре подключения вручную см. в видео на YouTube (2 минуты).

Примечание.

Чтобы ускорить процедуру подключения хранилища SQL к Fivetran, используйте Partner Connect.

Перед подключением вручную

Перед подключением к Fivetran вручную необходимо следующее:

Совет

Если на плитке Fivetran в Partner Connect в рабочей области есть значок галочки, вы можете получить сведения о подключении для подключенного хранилища SQL, щелкнув плитку, а затем разверните сведения о подключении. Маркер личного доступа скрыт; Необходимо создать замещающий личный маркер доступа и ввести этот новый маркер вместо того, когда Fivetran запрашивает его.

Создание вручную

Чтобы подключиться к Fivetran вручную, выполните следующие действия:

  1. Войдите в учетную запись Fivetran или создайте новую учетную запись на странице https://fivetran.com/login.

    Внимание

    Если вы войдете в учетную запись Fivetran вашей организации, возможно, появится страница Выбор назначения, которая перечисляет одну или несколько существующих записей назначения с логотипом Databricks. Эти записи могут содержать сведения о подключении для вычислительных ресурсов в рабочих областях, функционирующих отдельно от вашей. Если вы по-прежнему хотите повторно использовать одно из этих подключений, и вы доверяете вычислительному ресурсу и имеете к нему доступ, выберите это назначение, а затем перейдите к следующим шагам. Выберите любое доступное место назначения, чтобы продолжить.

  2. На странице панели мониторинга в Fivetran щелкните вкладку "Назначения ".

  3. Нажмите кнопку "Добавить назначение".

  4. Введите имя назначения и нажмите кнопку "Добавить".

  5. На странице Fivetran есть современная страница ELT , нажмите кнопку "Настройка соединителя".

  6. Щелкните источник данных и нажмите кнопку "Далее".

  7. Следуйте инструкциям на экране в руководстве по настройке в Fivetran, чтобы завершить настройку соединителя.

  8. Нажмите кнопку "Сохранить" и "Тест".

  9. После успешного выполнения теста нажмите кнопку "Продолжить".

  10. На странице "Выбор назначения данных" щелкните Databricks в Azure.

  11. Нажмите кнопку "Продолжить настройку".

  12. Выполните инструкции на экране в Fivetran, чтобы ввести сведения о подключении для существующего вычислительного ресурса Azure Databricks, в частности значения поля узла сервера и пути HTTP , а также маркер, созданный ранее.

  13. Нажмите кнопку "Сохранить" и "Тест".

  14. После выполнения тестового действия нажмите кнопку "Продолжить".

  15. Перейдите к следующим шагам.

Дополнительные ресурсы

Ознакомьтесь со следующими ресурсами на веб-сайте Fivetran: