Подключение к Fivetran

Автоматизированная интеграция данных Fivetran адаптируется по мере изменений схем и API, обеспечивая надежный доступ к данным и упрощенный анализ с помощью готовых к запросам схем.

С помощью Hightouch вы можете интегрировать ваши хранилища Databricks SQL (прежнее название — конечные точки Databricks SQL) и кластеры Azure Databricks с помощью Fivetran. Интеграция Fivetran с Azure Databricks помогает централизовать данные из разнородных источников в Delta Lake.

Подключение к Fivetran с помощью Partner Connect

В этом разделе описывается, как подключиться к Fivetran с помощью Partner Connect. Каждый пользователь создает собственное подключение.

Примечание

Взаимодействие с подключением для каждого пользователя находится в общедоступной предварительной версии. Вы можете отключить возможность создания подключений для каждого пользователя, связавшись с командой по работе с учетными записями Azure Databricks.

Перед подключением с помощью Partner Connect

Прежде чем подключиться к Fivetran с помощью Partner Connect, убедитесь, что у вас есть следующее:

• Роль администратора рабочей области или следующие разрешения:
  • Разрешение CAN USE для хранилища SQL
  • Разрешение CAN USE для использования маркеров
• Для данных, управляемых Unity Catalog, необходимы следующие привилегии на объекты метахранилища для каталога, в который вы хотите, чтобы записывал Fivetran:
  • USE CATALOG иCREATE SCHEMA в каталоге.
  • (Необязательно) Чтобы указать место назначения, создайте внешний источник данных с помощью CREATE EXTERNAL TABLE для доступа к данным в облачном объектном хранилище.
• Для данных, управляемых устаревшим хранилищем метаданных Hive, следующие права объекта хранилища метаданных для каталога, в который требуется записать Fivetran:
  • USAGE и CREATE каталога
  • (Необязательно) Чтобы указать расположение назначения, получите доступ к данным в облачном хранилище объектов.

Привилегии для объектов хранилища метаданных каталога Unity могут предоставляться администратором хранилища метаданных, владельцем объекта или владельцем каталога или схемы, содержащей объект. Дополнительные сведения см. в разделе привилегии каталога Unity и защищаемые объекты.

Привилегии для устаревших объектов хранилища метаданных Hive могут предоставляться администратором рабочей области или владельцем объекта. Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие версии).

Доступ к данным в облачном хранилище объектов должен быть настроен администратором рабочей области с достаточными разрешениями в учетной записи хранения объектов облака. Дополнительные сведения см. в конфигурациях доступа к данным.

Действия по подключению партнеров

Чтобы подключить рабочую область Azure Databricks к Fivetran с помощью Partner Connect, сделайте следующее:

1. На боковой панели нажмите кнопку Partner Connect.

2. Щелкните плитку Fivetran.

   В этом разделе описано, как создать пробную учетную запись на уровне пользователя Fivetran. Чтобы войти в существующую пробную учетную запись на уровне рабочей области Fivetran, нажмите кнопку "Использовать существующее подключение", выполните инструкции на экране, чтобы войти в Fivetran, и пропустить остальные действия, описанные в этой статье.

3. Выберите хранилище SQL. Если хранилище SQL остановлено, нажмите кнопку "Пуск".

4. Если ваша рабочая область поддерживает каталог Unity, выберите каталог для записи в Fivetran, а затем нажмите кнопку Далее.

   Partner Connect создает личный маркер доступа Azure Databricks, связанный с пользователем.

5. Нажмите кнопку "Подключиться к Fivetran".

   Откроется новая вкладка в веб-браузере, на котором отображается веб-сайт Fivetran.

6. Выполните инструкции на экране на веб-сайте Fivetran, чтобы создать пробную учетную запись партнера.

Подключение к Fivetran вручную

Общие сведения о процедуре подключения вручную см. в видео на YouTube (2 минуты).

Примечание

Чтобы ускорить процедуру подключения хранилища SQL к Fivetran, используйте Partner Connect.

Перед подключением вручную

Перед подключением к Fivetran вручную необходимо следующее:

• Кластер хранилища SQL в рабочей области Azure Databricks.

  • Справочник по конфигурации вычислений.
  • Создание хранилища SQL.

• Сведения о подключении для вашего кластера или хранилища SQL, в частности имя узла сервера , порт и значение пути HTTP .

  • Получение сведений о подключении для вычислительного ресурса Azure Databricks.

• Маркер личного доступа Azure Databricks или токен Microsoft Entra ID (ранее Azure Active Directory). Чтобы создать личный маркер доступа, выполните действия, описанные в разделе "Личные маркеры доступа Azure Databricks" для пользователей рабочей области.

  Примечание

  В качестве рекомендации по обеспечению безопасности при проверке подлинности с помощью автоматизированных средств, систем, сценариев и приложений Databricks рекомендуется использовать личные маркеры доступа, принадлежащие субъектам-службам, а не пользователям рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе "Управление маркерами" для субъекта-службы.

Совет

Если плитка Fivetran в Partner Connect в рабочей области имеет значок флажка, вы можете получить сведения о подключении для подключенного хранилища SQL, щелкнув плитку, а затем развернув сведения о подключении . Личный маркер доступа здесь скрыт; необходимо создать заменяющий личный маркер доступа и указать его по запросу Fivetran.

Создание вручную

Чтобы подключиться к Fivetran вручную, выполните следующие действия:

1. Войдите в учетную запись Fivetran или создайте новую учетную запись на странице https://fivetran.com/login.

   Важно!

   Если вы вошли в учетную запись Fivetran своей организации, может отобразиться страница Выбор назначения с одной или несколькими существующими целевыми записями с логотипом Databricks. Эти записи могут содержать сведения о подключении для вычислительных ресурсов в рабочих областях, функционирующих отдельно от вашей. Если вы по-прежнему хотите повторно использовать одно из этих подключений, и вы доверяете вычислительному ресурсу и имеете к нему доступ, выберите это назначение, а затем перейдите к следующим шагам. Выберите любое доступное место назначения, чтобы продолжить.

2. На странице панели мониторинга в Fivetran щелкните вкладку "Назначения".

3. Нажмите кнопку Добавить назначение.

4. Введите Имя назначения и нажмите кнопку Добавить.

5. На странице Fivetran находится современная страница ELT, щелкните Настройка соединителя.

6. Выберите источник данных, а затем нажмите кнопку Далее.

7. Следуйте инструкциям на экране в руководстве по установке в Fivetran, чтобы завершить настройку соединителя.

8. Нажмите кнопку "Сохранить" и " Тест".

9. Когда проверка будет успешно пройдена, нажмите кнопку Продолжить.

10. На странице Выбор целевого назначения данных щелкните на Databricks в Azure.

11. Нажмите кнопку Продолжить установку.

12. Выполните инструкции на экране в Fivetran, чтобы ввести данные подключения вашего существующего вычислительного ресурса Azure Databricks. В частности, укажите значения полей: имя хоста сервера (Server Hostname) и путь HTTP (HTTP Path), а также ранее созданный токен.

13. Нажмите кнопку "Сохранить" и " Тест".

14. Когда проверка будет успешно пройдена, нажмите кнопку Продолжить.

15. Перейдите к следующим шагам.

Дополнительные ресурсы

Ознакомьтесь со следующими ресурсами на веб-сайте Fivetran:

• Начало работы
• Архитектура
• Соединители
• Назначения
• Обзор синхронизации
• Преобразования
• Документация по Fivetran
• Поддержка Fivetran