Что такое Федерация Lakehouse?

Lakehouse Federation — это платформа федерации запросов для Databricks. Федерация запросов терминов описывает коллекцию функций, позволяющих пользователям и системам выполнять запросы к нескольким источникам данных без необходимости переносить все данные в единую систему.

Существует два типа федерации: федерация запросов и федерация каталога. На этой странице рассматриваются различия между типами.

Сравнение федерации запросов и федерации каталогов

В следующей таблице приведены основные различия между федерацией запросов и федерацией каталогов:

Attribute Федерация запросов Федерация каталогов
Путь запроса Запросы каталога Unity отправляются в внешнюю базу данных с помощью JDBC. Запрос выполняется как в Databricks, так и с помощью удаленных вычислений. Запросы в Каталоге Unity непосредственно обращаются к внешней таблице в объектном хранилище. Федерация каталогов доступна для платформ, поддерживающих прямой доступ к службам каталога и хранилища. Запрос выполняется только в вычислительных ресурсах Databricks, что означает, что федерация каталогов является более экономичной и оптимизированной для производительности, чем федерация запросов.
Сценарий использования
  • Вам требуется создание отчетов по мере необходимости или доступ для проверки концепции к операционным данным, хранящимся во внешних базах данных.
  • Вы хотите свести к минимуму перемещение данных и поддерживать динамический доступ к внешним системам.

Если ваш источник поддерживает как Lakehouse Federation, так и Lakeflow Connect, Databricks рекомендует использовать Lakeflow Connect, если приоритетом является высокая производительность при больших объемах данных и низкая задержка.
  • Вы выполняете миграцию в каталог Unity, но необходимо поэтапно интегрировать данные, управляемые из другого каталога.
  • Требуется долгосрочная гибридная модель, в которой некоторые данные остаются во внешнем каталоге, а некоторые данные управляются каталогом Unity.
Обзор действий
  • Создайте подключение в каталоге Unity с учетными данными доступа и URL-адресом JDBC.
  • Создайте внешний каталог с помощью подключения.
  • Предоставьте пользователям права доступа к таблицам в внешнем каталоге.
  • Выполняйте запросы. Они отправляются в внешнюю базу данных.
  • Создайте подключение в каталоге Unity для доступа к внешнему каталогу.
  • Создайте учетные данные хранилища и внешнее местоположение для путей таблицы.
  • Создайте внешний каталог с помощью подключения и внешнего местоположения.
  • Предоставьте пользователям права доступа к таблицам в внешнем каталоге.
  • Выполняйте запросы. Они выполняются непосредственно в хранилище объектов.

Поддерживаемые источники данных

Подключитесь к следующим источникам с помощью федерации запросов:

Подключитесь к следующим источникам с помощью федерации каталога:

Дополнительные ресурсы

  • Last updated on