Управление удостоверениями, разрешениями и привилегиями для конвейеров

В этой статье представлен обзор удостоверений, разрешений и привилегий для декларативных конвейеров Spark Lakeflow.

Databricks рекомендует использовать каталог Unity для всех новых конвейеров. По умолчанию материализованные представления и потоковые таблицы, созданные конвейерами, настроенными в каталоге Unity, могут запрашиваться только владельцем конвейера. См. раздел "Использование каталога Unity с конвейерами".

Если ваши конвейеры публикуют наборы данных в устаревшем хранилище метаданных Hive, см. статью Использование декларативных конвейеров Lakeflow Spark с устаревшим хранилищем метаданных Hive.

Общие рекомендации по конфигурациям удостоверений см. в рекомендациях по идентификации.

Какое удостоверение используется для обновлений конвейера?

Конвейеры обрабатывают обновления, используя идентификацию владельца конвейера. Назначьте нового владельца конвейера, чтобы изменить удостоверение, используемое для запуска конвейера.

Databricks рекомендует задать субъект-службу в качестве владельца конвейера. См. Субъекты-службы.

Кто может запустить обновление конвейера?

Обновления конвейера могут выполняться любым пользователем или субъектом-службой с разрешениями CAN RUN, CAN MANAGE или IS OWNER.

Настройка разрешений конвейера

Для управления разрешениями необходимо иметь CAN MANAGE или IS OWNER разрешение на конвейер. Конвейеры используют списки управления доступом (ACLs) для управления разрешениями. Полный список разрешений и их возможностей см. в разделе ACL декларативных конвейеров Spark Lakeflow.

1. На боковой панели щелкните "Задания и конвейеры".
2. Выберите имя конвейера.
3. Нажмите Поделиться. Откроется диалоговое окно "Параметры разрешений ".
4. Выберите пользователя, группу или субъект-службу... и выберите пользователя, группу или субъект-службу.
5. Выберите разрешение в раскрывающемся меню разрешений.
6. Нажмите кнопку "Добавить".
7. Нажмите кнопку Сохранить.

Разрешить пользователям без администратора просматривать журналы драйверов из конвейера с поддержкой каталога Unity

По умолчанию только администраторы конвейера и администраторы рабочей области могут просматривать журналы драйверов из кластера, на котором запущен конвейер с поддержкой каталога Unity. Вы можете включить доступ к журналам драйверов для любого пользователя с разрешениями CAN MANAGE, CAN VIEW или CAN RUN , добавив следующий параметр конфигурации Spark в configuration объект в параметрах конвейера:

{
  "configuration": {
    "spark.databricks.acl.needAdminPermissionToViewLogs": "false"
  }
}