Поделиться через

Регистрация базы данных Lakebase в каталоге Unity

Это важно

Автомасштабирование Lakebase находится в бета-версии в следующих регионах: eastus2, westeurope, westus.

Автомасштабирование Lakebase — это последняя версия Lakebase с автомасштабированием вычислений, масштабированием до нуля, ветвлением и мгновенным восстановлением. Сравнение функций с Lakebase Provisioned см. в разделе выбора между версиями.

Регистрация базы данных Lakebase в каталоге Unity создает каталог с доступом только для чтения, который представляет базу данных Postgres, обеспечивая единое управление данными и кросс-исходную аналитику в вашем lakehouse и транзакционных задачах.

Почему регистрация в каталоге Unity

Регистрация предоставляет несколько преимуществ:

Единое управление: применение элементов управления каталога Unity — разрешений, отслеживания происхождения и журналов аудита — к данным Lakebase вместе с данными Lakehouse.

Запросы между источниками: запросы как таблиц каталога Unity, так и баз данных Lakebase из одного интерфейса SQL, что позволяет анализировать данные транзакций и аналитических данных.

Централизованное обнаружение: просмотр и обнаружение баз данных Lakebase, схем и таблиц с помощью обозревателя каталогов вместе с другими источниками данных в рабочей области.

Интегрированные рабочие процессы. Использование данных Lakebase в панелях мониторинга и приложениях Databricks без переключения контекстов или управления отдельными подключениями.

Принцип работы

Регистрация создает каталог каталога Unity только для чтения, который отражает структуру базы данных Postgres, предоставляя доступ к метаданным к объектам базы данных (схемам, таблицам, представлениям) через уровень управления каталога Unity.

Вы инициируете регистрацию из обозревателя каталогов, а не из интерфейса Lakebase, который интегрируется естественно с рабочим процессом создания каталога Unity.

После регистрации:

  • Ваша база данных Lakebase отображается как каталог в Unity Catalog
  • Разрешения каталога Unity контролируют, кто может просматривать и выполнять запросы к базе данных.
  • Каталог остается доступным только для чтения— вы управляете фактической базой данных с помощью Lakebase.

Предпосылки

  • Существующий проект Lakebase с хотя бы одной базой данных
  • CREATE CATALOG Привилегии в хранилище метаданных каталога Unity
  • Бессерверное хранилище SQL для запроса зарегистрированного каталога

Регистрация базы данных

Чтобы зарегистрировать базу данных Lakebase в каталоге Unity:

  1. Используйте переключатель приложений для перехода в Lakehouse.
  2. В обозревателе каталогов щелкните значок плюса и создайте каталог.
  3. Введите имя каталога (например, lakebase_catalog).
  4. Выберите Lakebase Postgres в качестве типа каталога, а затем выберите параметр автомасштабирования .
  5. Выберите проект, ветвь и базу данных Postgres.
  6. Нажмите кнопку "Создать".

Регистрация базы данных LKB в каталоге Unity

Каталог отображается в обозревателе каталогов, где можно просматривать схемы, таблицы и представления, а также запрашивать их с помощью хранилищ SQL.

Изучение зарегистрированных баз данных

После регистрации перейдите к каталогу в обозревателе каталогов, чтобы просмотреть схемы, таблицы и представления. Щелкните любую таблицу, чтобы просмотреть сведения о схеме, примеры данных и сведения о происхождении.

Каталог Unity автоматически синхронизирует метаданные из базы данных Lakebase. При добавлении или изменении таблиц в Lakebase обновите представление каталога, чтобы увидеть обновления.

Запрос зарегистрированных баз данных

Запрос зарегистрированных баз данных Lakebase с помощью хранилищ SQL или любого средства, подключающегося к каталогу Unity:

-- Query a registered :re[LKB] database
SELECT * FROM chatbot_catalog.public.conversations
WHERE created_at >= current_date - INTERVAL 7 DAYS;

-- Join :re[LKB] and lakehouse data
SELECT
  c.conversation_id,
  c.user_id,
  c.agent_response,
  u.user_name,
  u.subscription_tier
FROM chatbot_catalog.public.conversations c
JOIN main.user_analytics.users u
  ON c.user_id = u.user_id;

Каталог только для чтения гарантирует, что запросы не изменяют базу данных Lakebase через каталог Unity. Чтобы изменить данные, используйте редактор SQL Lakebase или подключитесь непосредственно к базе данных.

Разрешения и управление доступом

Разрешения каталога Unity управляют доступом к зарегистрированным базам данных Lakebase:

  • Владение каталогом: пользователь, который регистрирует базу данных, становится владельцем каталога.
  • Доступ на чтение: предоставление USE CATALOG и SELECT привилегии, позволяющие другим пользователям запрашивать базу данных.
  • Администратор хранилища метаданных: администраторы хранилища метаданных могут управлять всеми зарегистрированными каталогами

Чтобы предоставить доступ к зарегистрированной базе данных, выполните приведенные действия.

-- Grant read access to a group
GRANT USE CATALOG ON CATALOG chatbot_catalog TO `ai-engineering`;
GRANT SELECT ON CATALOG chatbot_catalog TO `ai-engineering`;

Разрешения, заданные в Unity Catalog, управляют доступом к запросам через SQL-хранилища. Прямые подключения к базе данных Lakebase используют роли и разрешения Postgres независимо.

Отмена регистрации базы данных

Чтобы отменить регистрацию базы данных Lakebase из каталога Unity, выберите каталог в обозревателе каталогов, щелкните значок круга точек и нажмите кнопку "Удалить".

Удаление каталога удаляет его из каталога Unity, но не влияет на базу данных Lakebase. База данных остается доступной через Lakebase и прямые подключения Postgres.

Замечание

Если вы создали синхронизированные таблицы из зарегистрированной базы данных, сначала удалите эти таблицы. Каждая исходная таблица может использоваться только для создания 20 синхронизированных таблиц, при этом синхронизированные таблицы, ожидающие удаления, также учитываются в этом ограничении.

Ограничения

Доступ только для чтения: каталоги, зарегистрированные из баз данных Lakebase, доступны только для чтения. Невозможно изменить данные с помощью запросов каталога Unity.

Отдельная база данных для каждого каталога: каждый каталог каталога Unity представляет одну базу данных Lakebase. Чтобы предоставить несколько баз данных, зарегистрируйте каждую отдельно.

Синхронизация метаданных: каталог Unity кэширует метаданные для уменьшения запросов Postgres. Новые объекты могут отображаться не сразу. Нажмите кнопку , чтобы активировать полное обновление.

Изоляция ветви: каталоги регистрируют базы данных из определенных ветвей. Чтобы получить доступ к данным из нескольких ветвей, зарегистрируйте базу данных из каждой ветви в качестве отдельного каталога.

Дальнейшие шаги

  • Last updated on