Acessar os dados compartilhados com você utilizando o Compartilhamento Delta (para destinatários)
Este artigo mostra como acessar dados que foram compartilhados com você usando o Compartilhamento Delta.
Compartilhamento Delta e destinatários de dados
O Compartilhamento Delta é um padrão aberto para o compartilhamento de dados seguro. Um usuário do Databricks, conhecido como provedor de dados nesse contexto, pode usar o Compartilhamento Delta no Azure Databricks para compartilhar dados com uma pessoa ou grupo fora de sua organização, chamado de destinatário de dados.
Compartilhamento de Databricks para Databricks e compartilhamento aberto
A maneira como você acessa os dados depende se você mesmo é um usuário do Databricks e se o provedor de dados configurou ou não os dados que estão sendo compartilhados com você para compartilhamento do Databricks para Databricks ou compartilhamento aberto.
No modelo do Databricks para o Databricks, você deve ser um usuário em um workspace do Databricks habilitado para o Catálogo do Unity. Um membro da sua equipe fornece ao provedor de dados um identificador exclusivo para o metastore do Catálogo do Unity, e o provedor de dados usa isso para criar uma conexão de compartilhamento segura. Os dados compartilhados ficam disponíveis para acesso em seu workspace. Se necessário, um membro da sua equipe configura o controle de acesso granular nesses dados.
No modelo de compartilhamento aberto, você pode usar qualquer ferramenta que desejar (incluindo o Databricks) para acessar os dados compartilhados. O provedor de dados envia uma URL de ativação por um canal seguro. Siga-a para baixar um arquivo de credencial que permite acessar os dados compartilhados com você.
Os dados compartilhados não são fornecidos diretamente pelo Databricks, mas por provedores de dados em execução no Azure Databricks.
Observação
A Databricks pode coletar informações sobre o uso e o acesso dos destinatários dos dados aos dados compartilhados (incluindo a identificação de qualquer indivíduo ou empresa que acesse os dados usando o arquivo de credenciais em conexão com essas informações) e pode compartilhá-las com o provedor de dados aplicável.
Obtenha acesso aos dados compartilhados com você
A forma como você acessa os dados depende se o provedor de dados compartilhou dados com você usando o protocolo de compartilhamento aberto ou o protocolo de compartilhamento Databricks para Databricks. Consulte Compartilhamento de Databricks para Databricks e compartilhamento aberto.
Obter acesso no modelo do Databricks para o Databricks
No modelo do Databricks para o Databricks:
O provedor de dados envia instruções para localizar um identificador exclusivo para o metastore do Catálogo do Unity associado ao workspace do Databricks e você o envia para eles.
O identificador de compartilhamento é uma cadeia de caracteres que consiste na nuvem, região e UUID do metastore (o identificador exclusivo do metastore), no formato
<cloud>:<region>:<uuid>. Por exemplo,aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.Para obter o identificador de compartilhamento usando o Gerenciador de Catálogos:
No workspace do Azure Databricks, clique em
Catálogo.Na parte superior do painel Catálogo, clique no ícone de engrenagem
e selecione Compartilhamento Delta.Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta >.
- Na guia Compartilhado comigo, clique no nome da organização de compartilhamento do Databricks no canto superior direito e selecione Copiar identificador de compartilhamento.
Para obter o identificador de compartilhamento usando um notebook ou uma consulta SQL do Databricks, use a função SQL padrão
CURRENT_METASTORE. Se você usar um notebook, ele deverá ser executado em um cluster de usuário compartilhado ou único no workspace que você usará para acessar os dados compartilhados.SELECT CURRENT_METASTORE();O provedor de dados cria:
- Um destinatário em sua conta do Databricks para representar você e os usuários em sua organização que acessarão os dados.
- Um compartilhamento, que é uma representação das tabelas,volumes e exibições a serem compartilhadas com você.
Você acessa os dados compartilhados com você. Você ou alguém da sua equipe pode, se necessário, configurar o acesso granular a dados nesses dados para seus usuários. Consulte Leitura de dados compartilhados utilizando o compartilhamento Delta do Databricks para o Databricks (para destinatários).
Obter acesso no modelo de compartilhamento aberto
No modelo de compartilhamento aberto:
O provedor de dados cria:
- Um destinatário em sua conta do Databricks para representar você e os usuários em sua organização que acessarão os dados. Um token e um arquivo de credencial são gerados como parte dessa configuração.
- Um compartilhamento, que é uma representação das tabelas e exibições a serem compartilhadas com você.
O provedor de dados envia uma URL de ativação por um canal seguro. Siga-a para baixar um arquivo de credencial que permite acessar os dados compartilhados com você.
Importante
Não compartilhe o link de ativação com ninguém. Você pode baixar um arquivo de credenciais apenas uma vez. Se você acessar o link de ativação novamente depois de já ter baixado o arquivo de credenciais, o botão Baixar Arquivo de Credenciais estará desabilitado.
Caso perca o link de ativação antes de usá-lo, entre em contato com o provedor de dados.
Armazene o arquivo de credenciais em um local seguro.
Não compartilhe o arquivo de credencial com ninguém fora do grupo de usuários que devem ter acesso aos dados compartilhados. Caso você precise compartilhá-lo com alguém da sua organização, o Databricks recomenda usar um gerenciador de senhas.
Ler os dados compartilhados
A forma como você lê dados que foram compartilhados com segurança com você usando o Compartilhamento Delta depende se você recebeu um arquivo de credencial (o modelo de compartilhamento aberto) ou se está usando um workspace do Databricks e forneceu ao provedor de dados seu identificador de compartilhamento (o modelo do Databricks para o Databricks).
Ler dados compartilhados usando um arquivo de credencial (compartilhamento aberto)
Se os dados tiverem sido compartilhados com você usando o protocolo de compartilhamento aberto do Compartilhamento Delta, você usará o arquivo de credencial baixado para autenticar na conta do Databricks do provedor de dados e ler os dados compartilhados. O acesso persiste enquanto o token subjacente for válido e o provedor continuar compartilhando os dados. Os provedores gerenciam a validade e a rotação dos tokens. As atualizações dos dados ficam disponíveis quase em tempo real. Você pode ler e fazer cópias dos dados compartilhados, mas não pode modificar os dados de origem.
Para saber como acessar e ler dados compartilhados utilizando o arquivo de credenciais no Azure Databricks, Apache Spark, pandas e Power BI, consulte Leitura de dados compartilhados utilizando o compartilhamento aberto Compartilhamento Delta (para destinatários).
Ler dados compartilhados usando o compartilhamento do Databricks para o Databricks
Se os dados tiverem sido compartilhados com você usando o modelo do Databricks para o Databricks, nenhum arquivo de credencial será necessário para acessar os dados compartilhados. O Databricks cuida da conexão segura e os dados compartilhados são detectáveis automaticamente no workspace do Databricks.
Para saber como encontrar, ler e gerenciar esses dados compartilhados no seu espaço de trabalho do Databricks, consulte Leitura de dados compartilhados utilizando o Compartilhamento Delta do Databricks para o Databricks (para destinatários).
Uso de auditoria dos dados compartilhados
Se você tiver acesso a um workspace do Azure Databricks, poderá usar os logs de auditoria do Azure Databricks para entender quem em sua organização está acessando quais dados usando o Compartilhamento Delta. Veja Auditar e monitorar o compartilhamento de dados.