Руководство по настройке каталога Unity

На этой странице описывается начальная настройка каталога Unity для администраторов рабочих областей в новой рабочей области Azure Databricks, в том числе:

  • Проверка, включена ли ваша рабочая область для Unity Catalog
  • Управление доступом к рабочей области и учётными записями
  • Создание вычислительных ресурсов, совместимых с каталогом Unity
  • Создание каталога и схемы для данных
  • Предоставление пользователям необходимых им привилегий

Перед тем как начать

Прежде чем начать, ознакомьтесь со следующими понятиями каталога Unity:

  • Хранилище метаданных: контейнер каталога Unity верхнего уровня, охватывающий один облачный регион. Он содержит все защищаемые объекты: каталоги, учётные данные для доступа к хранилищу, внешние местоположения и многое другое. См. раздел "Хранилище метаданных".
  • Каталог: объект контейнера данных самого высокого уровня в хранилище метаданных. Каталоги содержат схемы, в которых, в свою очередь, содержатся таблицы, представления, тома и функции. См. Каталог.
  • Роли администратора: каталог Unity имеет три основные роли администратора, администратора учетной записи, администратора рабочей области и администратора хранилища метаданных, каждая из которых имеет разные области и обязанности. См. раздел "Права администратора в Unity Catalog".

Кроме того, необходимо следующее:

  • Рабочая область Azure Databricks плана Premium.
  • Права администратора рабочей области. В следующих случаях может потребоваться права администратора учетной записи :
    • Если рабочая область еще не имеет вычислительных ресурсов, для проверки включения каталога Unity в консоли учетной записи на шаге 1 необходима привилегия администратора учетной записи . Убедитесь, что рабочая область включена для каталога Unity.
    • Если ваша рабочая область не подключена к хранилищу метаданных каталога Unity, для его подключения требуются права администратора учетной записи.
    • Если хранилище метаданных не существует, для его создания требуются права администратора учетной записи.

Шаг 1. Убедитесь, что ваше рабочее пространство включено для использования с Unity Catalog

Используйте один из следующих методов, чтобы убедиться, что рабочая область подключена к хранилищу метаданных каталога Unity.

Использование консоли учетной записи

Для этого метода требуются права администратора учетной записи.

  1. Как администратор учетной записи Azure Databricks войдите в консоль учетной записи.
  2. Щелкните значок рабочих областей.Рабочие области.
  3. Найдите рабочую область и проверьте столбец хранилища метаданных. Если указано имя хранилища метаданных, в вашей рабочей области включена поддержка Unity Catalog.

Запуск SQL-запроса

Для этого метода не требуются права администратора, но требуется вычислительный ресурс, совместимый с каталогом Unity. Шаг 3. Создайте вычислительные ресурсы, совместимые с Unity Catalog поможет вам создать вычислительные ресурсы, совместимые с Unity Catalog.

Выполните следующую команду в редакторе запросов SQL или записной книжке, подключенной к вычислительному ресурсу:

SELECT CURRENT_METASTORE();

Если запрос возвращает идентификатор хранилища метаданных, значит, ваша рабочая область настроена для использования Unity Catalog.

Текущие выходные данные хранилища метаданных

Если ваша рабочая область не поддерживает Unity Catalog, см. раздел Перевод рабочей области Azure Databricks на Unity Catalog.

Шаг 2. Управление доступом к рабочей области и удостоверениями

Администраторы рабочей области могут добавлять пользователей и группы, назначать роли администратора и управлять субъектами-службами.

Добавить пользователей

Добавьте отдельных пользователей, которым требуется доступ к этой рабочей области. Инструкции см. в разделе "Управление пользователями".

Упорядочение пользователей в группы

Databricks рекомендует управлять доступом через группы, а не отдельными пользователями. Предоставление привилегий группе применяет их ко всем участникам, что снижает административные издержки по мере роста вашей команды.

  • Если у вашей организации уже есть группы в поставщике удостоверений (IdP): синхронизируйте их с Azure Databricks с помощью автоматического управления удостоверениями или SCIM-подготовки, чтобы членство в группах автоматически оставалось синхронизированным. См. раздел "Автоматическое управление удостоверениями".
  • Если у вас еще нет групп: как администратор рабочего пространства создайте группы на уровне учетной записи, перейдя в Настройки>Идентификация и доступ>Управление рядом с Группы. См. раздел Управление группами.

Назначение ролей администратора

Администраторы рабочей области могут выполнять большинство повседневных административных задач: добавление и удаление пользователей, управление вычислениями, настройка параметров рабочей области и предоставление доступа к данным. Эта роль подходит для членов центральной платформы данных или ИТ-группы, которые отвечают за обслуживание рабочей области. Тщательно выбирайте, кому назначать эту роль. Администраторы рабочей области имеют широкий доступ к ресурсам и параметрам рабочей области.

Как правило, роль администратора рабочей области является единственной ролью администратора, необходимой для назначения. При необходимости администраторы хранилища метаданных можно назначать для специальных вариантов использования. Например, вы можете назначить эту роль выделенной группе управления данными или небольшой группе старших инженеров платформ, если вам нужно:

  • Разрешить администраторам, не являющимся администраторами рабочих пространств, создавать каталоги.
  • Управление скриптом init и списком разрешений JAR.
  • Получение общих данных через OpenSharing.
  • Передача владения объектами при выходе члена команды.

Инструкции по назначению этих ролей см. в разделе "Права администратора" в каталоге Unity.

Шаг 3. Создание вычислительных ресурсов, совместимых с каталогом Unity

Для выполнения рабочих нагрузок каталога Unity вычислительные ресурсы должны соответствовать требованиям безопасности каталога Unity. В следующей таблице показано, какие типы вычислений соответствуют требованиям:

Тип вычислений Соответствующий требованиям UC
Хранилище SQL Да
Бессерверные вычисления (записные книжки, задания, конвейеры) Да
Кластер — режим доступа к одному пользователю Да
Кластер — режим общего доступа Да
Кластер — режим общего доступа без изоляции Нет

Чтобы создать вычислительные ресурсы, совместимые с UC, выполните приведенные действия.

Администратор рабочей области может ограничить создание кластера только администраторами или использовать политики кластера, чтобы пользователи могли создавать собственные кластеры, совместимые с каталогом Unity. См. сведения о разрешениях вычислений и создании политик вычислений и управлении ими.

Шаг 4. Создание каталогов и схем

Каталоги — это основная единица изоляции данных в каталоге Unity. Все схемы, таблицы, тома, представления и функции живут в каталогах.

Когда создавать новый каталог

Новые рабочие области автоматически создаются с каталогом рабочей области — по умолчанию этот каталог называется так же, как ваша рабочая область. Чтобы проверить наличие каталога рабочей области, щелкните значок данных.Каталог на боковой панели и найдите каталог, соответствующий имени рабочей области. Если он существует, вам может не потребоваться сразу создать дополнительные каталоги.

Со временем рассмотрите возможность создания новых каталогов по мере роста использования, упорядоченных вокруг логических границ, таких как:

  • Команды или бизнес-подразделения: отдельные каталоги для разработки, финансов и маркетинга
  • Среды: отдельные dev, stagingи prod каталоги для изоляции разработки от рабочих данных
  • Проекты: выделенный каталог для каждого основного продукта или инициативы данных

Если границы данных вашей организации уже определены, вы можете создавать каталоги сейчас.

Создание каталога

Чтобы создать каталог, запустите следующий SQL.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Note

Управляемые данные в этом каталоге хранятся в расположении управляемого хранилища метаданных по умолчанию. Чтобы использовать другое расположение, укажите MANAGED LOCATION. См. статью "Подключение к облачному хранилищу объектов" с помощью каталога Unity.

Затем создайте схему для упорядочивания таблиц и других объектов данных:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Подробные инструкции и способы использования обозревателя каталогов см. в разделе "Создание каталогов" и "Создание схем".

Шаг 5. Предоставление пользователям привилегий

В каталоге Unity пользователи по умолчанию не имеют доступа к данным. Администраторы рабочей области могут предоставлять права защищаемым объектам в рабочей области. Databricks рекомендует предоставлять привилегии группам, а не отдельным пользователям. Это упрощает управление по мере роста вашей команды.

Включение обнаружения данных

Azure Databricks рекомендует предоставить привилегии BROWSE для всех каталогов группе All account users. BROWSE позволяет пользователям видеть, что объекты существуют и просматривать их метаданные в обозревателе каталогов без предоставления доступа к базовым данным. Это позволяет пользователям обнаруживать данные и запрашивать доступ без необходимости предоставлять администраторам разрешения предварительно.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Предоставление доступа к данным

Чтобы получить доступ к данным в каталоге Unity, пользователям обычно требуется определенная привилегия для операции (например, для чтения таблицы) и соответствующие SELECT (например USE CATALOG, в родительском каталоге и USE SCHEMA родительской схеме). См. основные понятия модели разрешений Unity Catalog.

Предоставьте эти привилегии только пользователям и группам, которым требуется доступ к определенным каталогам и схемам. Например, чтобы предоставить доступ только для чтения к схеме, используйте следующий SQL:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Для доступа на чтение и запись:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

С течением времени шаблоны доступа изменяются. При управлении привилегиями в каталоге Unity используйте следующие страницы в качестве ссылки:

Контрольный список настройки

Если вы выполнили все пять шагов, каталог Unity настраивается в рабочей области, и пользователи могут начать работу с данными. Используйте следующий контрольный список, чтобы подтвердить, что все выполняется.

Дальнейшие действия

Настроив каталог Unity, вы можете приступить к применению более расширенных возможностей управления к рабочей области.

Управление доступом на основе атрибутов

Управление доступом на основе атрибутов (ABAC) позволяет определять динамические, детализированные политики доступа на основе атрибутов данных и пользователей, обращаюющихся к нему. Вместо управления таблицами разрешений можно создавать политики, которые автоматически применяют фильтрацию на уровне строк и маскирование на уровне столбцов. Например, можно скрыть конфиденциальные столбцы от пользователей вне определенного региона или маскировать персональные данные для непривилегированных ролей.

Маскирование столбцов ABAC в действии

Классификация данных

Классификация данных использует агент для автоматического сканирования каталога и тега конфиденциальных данных, таких как PII, финансовая информация и учетные данные. После классификации теги могут напрямую интегрироваться с политиками ABAC, позволяя применять меры контроля исходя из фактического содержимого данных, а не управлять доступом к каждому объекту по отдельности.

Результаты классификации данных

Мониторинг качества данных

Мониторинг качества данных обеспечивает обнаружение аномалий во всех таблицах в схеме и профилировании данных на уровне таблицы. Система обнаружения аномалий автоматически отслеживает свежесть и полноту данных на основе исторических закономерностей в данных, выявляя проблемы без ручной настройки. Профилирование данных фиксирует статистические распределения с течением времени, что позволяет отслеживать целостность данных и задавать оповещения для непредвиденных изменений.

Панель мониторинга качества данных

Управление ИИ с помощью шлюза ИИ Unity

Шлюз ИИ Unity расширяет управление каталогом Unity до ИИ. Она обеспечивает корпоративное управление конечными точками LLM, агентами и серверами MCP, что позволяет реализовать управление доступом, ведение журнала аудита и наблюдаемость во всех взаимодействиях с ИИ в едином пользовательском интерфейсе.

  • Last updated on