Gerenciar identidades, permissões e privilégios para pipelines

Este artigo fornece uma visão geral sobre identidades, permissões e privilégios para Pipelines Declarativos do Lakeflow Spark.

O Databricks recomenda usar o Catálogo do Unity para todos os novos pipelines. Por padrão, exibições materializadas e tabelas de streaming criadas por pipelines configurados com o Catálogo do Unity só podem ser consultadas pelo proprietário do pipeline. Consulte Usar o Catálogo do Unity com pipelines.

Se os seus pipelines publicarem conjuntos de dados no metastore de Hive herdado, consulte Use Lakeflow Spark Declarative Pipelines com o metastore herdado do Hive.

Para obter práticas recomendadas gerais sobre configurações de identidade, consulte as práticas recomendadas de identidade.

Qual identidade é usada para atualizações de pipeline?

Os pipelines processam atualizações usando a identidade do proprietário do pipeline. Defina um novo responsável pelo pipeline para alterar a identidade usada na execução do pipeline.

O Databricks recomenda definir um principal de serviço como o proprietário do pipeline. Confira Entidades de serviço.

Quem pode executar uma atualização de pipeline?

As atualizações de pipeline podem ser executadas por qualquer usuário ou principal de serviço com permissões CAN RUN, CAN MANAGE ou IS OWNER.

Configurar permissões de pipeline

Você deve ter a permissão CAN MANAGE ou IS OWNER no pipeline para gerenciar permissões. Os pipelines usam ACLs (listas de controle de acesso) para controlar permissões. Para obter uma lista completa de permissões e suas habilidades, consulte ACLs de Pipelines Declarativos do Lakeflow Spark.

1. Na barra lateral, clique em Trabalhos &Pipelines.
2. Selecione o Nome de um pipeline.
3. Clique em Compartilhar. A caixa de diálogo Configurações de Permissões é exibida.
4. Clique em Selecionar Usuário, Grupo ou Entidade de Serviço... e selecione um usuário, grupo ou entidade de serviço.
5. Selecione uma permissão no menu suspenso de permissões.
6. Clique em Adicionar.
7. Clique em Salvar.

Permitir que usuários não administradores exibam os logs de driver de um pipeline habilitado para Unity Catalog

Por padrão, somente o proprietário do pipeline e os administradores do workspace podem exibir os logs de driver do cluster que executa um pipeline habilitado para Catálogo do Unity. Você pode permitir o acesso aos logs do driver para qualquer usuário que possua permissões CAN MANAGE, CAN VIEW ou CAN RUN ao adicionar o seguinte parâmetro de configuração do Spark ao objeto nas configurações do pipeline:

{
  "configuration": {
    "spark.databricks.acl.needAdminPermissionToViewLogs": "false"
  }
}