Поделиться через

Подключение к Fivetran

  • Статья

Автоматизированная интеграция данных Fivetran адаптируется по мере изменений схем и API, обеспечивая надежный доступ к данным и упрощенный анализ с помощью готовых к запросам схем.

С помощью Hightouch вы можете интегрировать ваши хранилища Databricks SQL (прежнее название — конечные точки Databricks SQL) и кластеры Azure Databricks с помощью Fivetran. Интеграция Fivetran с Azure Databricks помогает централизовать данные из разнородных источников в Delta Lake.

Подключение к Fivetran с помощью Partner Connect

В этом разделе описывается, как подключиться к Fivetran с помощью Partner Connect. Каждый пользователь создает собственное подключение.

Примечание.

Взаимодействие с подключением для каждого пользователя находится в общедоступной предварительной версии. Вы можете отключить возможность создания подключений для каждого пользователя, связався с командой учетной записи Azure Databricks.

Перед подключением с помощью Partner Connect

Прежде чем подключиться к Fivetran с помощью Partner Connect, убедитесь, что у вас есть следующее:

  • Роль администратора рабочей области или следующие разрешения:
  • Для данных, управляемых каталогом Unity, следующие привилегии объекта хранилища метаданных для каталога, в который требуется записать fivetran:
    • USE CATALOG иCREATE SCHEMA в каталоге.
    • (Необязательно) Чтобы указать расположение назначения, СОЗДАЙТЕ ВНЕШНЮЮ ТАБЛИЦу во внешнем расположении и доступе к данным в облачном хранилище объектов.
  • Для данных, управляемых устаревшим хранилищем метаданных Hive, следующие права объекта хранилища метаданных для каталога, в который требуется записать Fivetran:
    • USAGE и CREATE в каталоге
    • (Необязательно) Чтобы указать расположение назначения, получите доступ к данным в облачном хранилище объектов.

Привилегии для объектов хранилища метаданных каталога Unity могут предоставляться администратором хранилища метаданных, владельцем объекта или владельцем каталога или схемы, содержащей объект. Дополнительные сведения см. в разделе "Привилегии каталога Unity" и защищаемые объекты.

Привилегии для устаревших объектов хранилища метаданных Hive могут предоставляться администратором рабочей области или владельцем объекта. Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие версии).

Доступ к данным в облачном хранилище объектов должен быть настроен администратором рабочей области с достаточными разрешениями в учетной записи хранения объектов облака. Дополнительные сведения см. в разделе "Включение конфигурации доступа к данным".

Действия по подключению партнеров

Чтобы подключить рабочую область Azure Databricks к Fivetran с помощью Partner Connect, сделайте следующее:

  1. На боковой панели нажмите кнопку Partner Connect.

  2. Щелкните плитку Fivetran.

    В этом разделе описано, как создать пробную учетную запись на уровне пользователя Fivetran. Чтобы войти в существующую пробную учетную запись на уровне рабочей области Fivetran, нажмите кнопку "Использовать существующее подключение", выполните инструкции на экране, чтобы войти в Fivetran, и пропустить остальные действия, описанные в этой статье.

  3. Выберите хранилище SQL. Если хранилище SQL остановлено, нажмите кнопку "Пуск".

  4. Если рабочая область включена для каталога Unity, выберите каталог для записи Fivetran, а затем нажмите кнопку "Далее".

    Partner Connect создает личный маркер доступа Azure Databricks, связанный с пользователем.

  5. Нажмите кнопку "Подключиться к Fivetran".

    Откроется новая вкладка в веб-браузере, на котором отображается веб-сайт Fivetran.

  6. Выполните инструкции на экране на веб-сайте Fivetran, чтобы создать пробную учетную запись партнера.

Подключение к Fivetran вручную

Общие сведения о процедуре подключения вручную см. в видео на YouTube (2 минуты).

Примечание.

Чтобы ускорить процедуру подключения хранилища SQL к Fivetran, используйте Partner Connect.

Перед подключением вручную

Перед подключением к Fivetran вручную необходимо следующее:

  • Кластер хранилища SQL в рабочей области Azure Databricks.

  • Сведения о подключении для кластера или хранилища SQL, в частности имя узла сервера, порт и путь HTTP.

  • Маркер личного доступа Azure Databricks или токен Microsoft Entra ID (ранее Azure Active Directory). Чтобы создать личный маркер доступа, сделайте следующее:

    1. В рабочей области Azure Databricks щелкните имя пользователя Azure Databricks в верхней строке и выберите "Параметры " в раскрывающемся списке.
    2. Щелкните "Разработчик".
    3. Рядом с маркерами доступа нажмите кнопку "Управление".
    4. Щелкните Generate new token (Создание нового маркера).
    5. (Необязательно) Введите комментарий, который поможет определить этот маркер в будущем и изменить время существования маркера по умолчанию в течение 90 дней. Чтобы создать маркер без времени существования (не рекомендуется), оставьте поле время существования (дни) пустым (пустым).
    6. Щелкните Создать.
    7. Скопируйте отображаемый маркер в безопасное расположение и нажмите кнопку "Готово".

    Примечание.

    Не забудьте сохранить скопированный маркер в безопасном расположении. Не делитесь скопированным маркером с другими пользователями. Если вы потеряете скопированный маркер, вы не сможете повторно создать тот же маркер. Вместо этого необходимо повторить эту процедуру, чтобы создать новый маркер. Если вы потеряете скопированный маркер или считаете, что маркер скомпрометирован, Databricks настоятельно рекомендует немедленно удалить этот маркер из рабочей области, щелкнув значок корзины (отозвать) рядом с маркером на странице маркеров доступа.

    Если вы не можете создавать или использовать маркеры в рабочей области, это может быть связано с тем, что администратор рабочей области отключил маркеры или не предоставил вам разрешение на создание или использование маркеров. Ознакомьтесь с администратором рабочей области или следующими разделами:

    Примечание.

    В качестве рекомендации по обеспечению безопасности при проверке подлинности с помощью автоматизированных средств, систем, сценариев и приложений Databricks рекомендуется использовать личные маркеры доступа, принадлежащие субъектам-службам, а не пользователям рабочей области. Сведения о создании маркеров для субъектов-служб см. в разделе "Управление маркерами" для субъекта-службы.

Совет

Если на плитке Fivetran в Partner Connect в рабочей области есть значок галочки, вы можете получить сведения о подключении для подключенного хранилища SQL, щелкнув плитку, а затем разверните сведения о подключении. Личный маркер доступа здесь скрыт; необходимо создать заменяющий личный маркер доступа и указать его по запросу Fivetran.

Создание вручную

Чтобы подключиться к Fivetran вручную, выполните следующие действия:

  1. Войдите в учетную запись Fivetran или создайте новую учетную запись на странице https://fivetran.com/login.

    Внимание

    Если вы вошли в учетную запись Fivetran своей организации, может отобразиться страница Выбор назначения с одной или несколькими существующими целевыми записями с логотипом Databricks. Эти записи могут содержать сведения о подключении для вычислительных ресурсов в рабочих областях, функционирующих отдельно от вашей. Если вы по-прежнему хотите повторно использовать одно из этих подключений, и вы доверяете вычислительному ресурсу и имеете к нему доступ, выберите это назначение, а затем перейдите к следующим шагам. В противном случае выберите любое доступное назначение, чтобы пройти эту страницу.

  2. На странице панели мониторинга в Fivetran щелкните вкладку "Назначения".

  3. Нажмите кнопку Добавить назначение.

  4. Введите Имя назначения и нажмите кнопку Добавить.

  5. На странице Fivetran — современная платформа ELT щелкните Настроить соединитель.

  6. Выберите источник данных, а затем нажмите кнопку Далее.

  7. Следуйте инструкциям на экране в руководстве по установке в Fivetran, чтобы завершить настройку соединителя.

  8. Нажмите кнопку "Сохранить" и " Тест".

  9. Когда проверка будет успешно пройдена, нажмите кнопку Продолжить.

  10. На странице Выбор назначения данных щелкните Databricks в Azure.

  11. Нажмите кнопку Продолжить установку.

  12. Выполните инструкции на экране в Fivetran, чтобы ввести сведения о подключении для имеющегося вычислительного ресурса Azure Databricks, в частности значения полей Имя узла сервера и Путь HTTP, а также созданный ранее токен.

  13. Нажмите кнопку "Сохранить" и " Тест".

  14. Когда проверка будет успешно пройдена, нажмите кнопку Продолжить.

  15. Перейдите к следующим шагам.

Дополнительные ресурсы

Ознакомьтесь со следующими ресурсами на веб-сайте Fivetran: